Bugüne kadar ne yaptık ve bundan sonra ne yapmayı düşünüyoruz?

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ

SİNİRBİLİME MERAKLI MÜHENDİSLER

SELİN METİN & NESLİHAN S. ŞENGÖR

Bugüne kadar ne yaptık ve

bundan sonra ne yapmayı düşünüyoruz?


2

Davranışlarımızın ardındaki oluşumları ve mekanizmaları sinirbilimdeki açıklamalar çerçevesinde incelemek, anlamak.

Davranışlara ilişkin farklı hipotezleri sınamak için farklı seviyelerdeki süreçlere ilişkin modeller elde etmek.

AMACIMIZ

Modeller aracılığı ile süreçlere ilişkin test ortamı oluşturmak, yapay zeka uygulamalarına yönelik yeni yaklaşımlar önermek.


3

BUGÜNE KADAR NELER YAPTIK?

Araç: Yapay Sinir Ağları

Yaklaşım: Deneklerin nöropsikolojik testler süresince davranışlarını modellemek

Wisconsin Kart Sıralama Testi Stroop Testi

MAVİMAVİ YEŞİLYEŞİL KIRMIZI KIRMIZI SARISARI

YEŞİLYEŞİL MAVİMAVİ SARISARI KIRMIZIKIRMIZI

SARISARI KIRMIZIKIRMIZI YEŞİLYEŞİL MAVİMAVİ

KIRMIZIKIRMIZI YEŞİLYEŞİL MAVİMAVİ SARISARI

MAVİMAVİ SARISARI KIRMIZIKIRMIZI YEŞİLYEŞİL



Wisconsin Kart Sıralama Testi

• soyutlama,

• hipotez sınama,

• zihinsel esneklik.

Referans kartlar


WCST-Testin Değerlendirilmesi

• Doğru yanıtlar

• Tamamlanan kategoriler

• Perseveratif (ısrarcı) yanıtlar

• Kurulumu sürdürmede başarısızlık (FMS)

WCST- önerilen model

• Kuralın belirlenmesiSınıflama kuralını belirlemekUygulayıcının yanıtı “doğru” ise kuralı tutmak, “yanlış” ise kuralı değiştirmek

• Kart Seçimi Sınıflama kuralına uygun referans kartı belirlemek


Referans Kartlar

Kart belirleme

Çalışma belleği

Bir önceki kuralı tutmak veya yeni kuralı belirlemek için uygulayıcının yanıtını tutmak

Hipotez üreteci

Uygulayıcının yanıtı”yanlış” ise alternatif kural üretme ve çalışma belleğine sunma

Rule Specifier

Hypothesis Generator


8

Benzetim SonuçlarıKoşul Ham.

uzakHop.eşik

#Doğrucevap

#Kategori % Pers.hata

FMS Yorum

1 3 T 64.6 3.5 6.0 0 9.9 2.8 0 0 Esnek

4 3-2 T 64 1.8 6.0 0 9.5 2.1 0 0 Esnek

7 2 T 67.6 3.7 6.0 0 14.2 4.6 0 0 Az Esnek

10 2-1 T 70.7 5.5 6.0 0 17.9 3.7 0 0 Az Esnek

2 3 T1 73.7 6.1 1.1 0.5 19.7 2.9 3.2 1.6 Zihni dağınık

5 3-2 T1 75.9 6.1 1.6 1.0 17.7 3.4 2.7 1.3 Zihni dağınık

8 2 T1 66.3 9.1 0.4 0.5 24.6 4.9 2.6 2.1 Katı/Dağ.

11 2-1 T1 73.2 6.3 1.3 0.5 21.2 5.0 2.4 1.2

3 3 T2 66.2 8.4 0.3 0.5 26.5 6.4 2.4 1.8 Katı/Dağ.

6 3-2 T2 72.6 7.9 0.8 0.8 25.9 6.2 3.1 1.7 Katı/Dağ.

9 2 T2 66.7 9.9 0.5 0.7 27.9 8.6 2.0 1.5 Katı/Dağ.

12 2-1 T2 59.8 6.3 0.1 0.3 29.1 6.9 2.0 0.9 Katı/Dağ.

14 1 T1 58.8 6.9 1.1 0.4 32.4 6.2 1.1 0.6 Katı

17 0 T1 31.5 4.7 0 0 38.6 4.8 0 0 Katı

15 1 T2 61.9 8.3 0 0 27.7 6.8 2.4 1.2 Katı

18 0 T2 30.4 4.1 0 0 39.4 3.5 0 0 Katı

13 1 T 39.4 0.5 1.0 0 67.8 0.5 0 0 Çok Katı

16 0 T 32.8 2.5 0.1 0.3 73.0 1.5 0 0 Çok Katı

Katı/Dağ.


9

MAVİMAVİ YEŞİLYEŞİL KIRMIZI KIRMIZI SARISARI


SARISARI KIRMIZIKIRMIZI YEŞİLYEŞİL MAVİMAVİ

KIRMIZIKIRMIZI YEŞİLYEŞİL MAVİMAVİ SARISARI

MAVİMAVİ SARISARI KIRMIZIKIRMIZI YEŞİLYEŞİL


Stroop Testi


Stroop Testi• Seçici Dikkat özgün ödev için otomatik olan davranışı bastırmak

• Ölçütler

testin süresi hata sayısı, düzeltme sayısı

Stroop testi için önerilen model

Duyusal ve motor devreler:Duyusal ve motor devreler: Hopfield ağları

Basal Çekirdekler:Basal Çekirdekler: Maxnet ,

OF tarafından modüle edilen otomatik işlem

Hata Sezici :Hata Sezici : Perceptron yapıları,

ödev ile yanıtın uyuşmadığı durumlarda OF’yi uyaracak hata işaretini üretmek için

Seçici dikkat:Seçici dikkat: Kazanan hepsini alır,

Özgün bilgi geldiğinde OF’yi uyarmak için


Benzetim Sonuçları

Baz Ol. Süre (sec)

# Hata # Düz. Yorum

0.4 0.1 28.4 ± 3.2 0.4 ± 0.6

0.08 ± 0.3

0.4 0.9 28.9 ± 2.4 0.3 ± 0.5

0.08 ± 0.3

0.3 0.1 31.7 ± 1.8 2 ± 0.7

0.08 ± 0.3

0.3 0.9 33.6 ± 4 2.8 ± 1.5

0.9 ± 0.9

0.2 0.1 36.6 ± 2.2 5.6 ± 1.9

0.3 ± 0.5

0.2 0.9 39.7 ± 2 5 ± 1.3

1.75 ± 1.2

0.1 0.1 39.5 ± 2.5 9.6 ± 2.3

0.4 ± 0.6

0.1 0.9 47 ± 2.8 9.2 ± 2.7

3.3 ± 1.7

0.05 0.1 40.4 ± 2.8 11.3 ± 2.2

0.3 ± 0.7

0.05 0.9 48.3 ± 2.5 11.4 ± 1.8

3 ± 1.5

bastırmabastırma

süresüre


BU YAPTIKLARIMIZI DEĞERLENDİRDİK ve .....

Araç: Doğrusal olmayan dinamik sistemlere ilişkin matematik

Yaklaşım: Süreçleri modellemek

Davranış seçme işlevinde dopaminin etkisine ilişkin dinamik bir model önerisi

Korteks

StriatumD1 D2

SNc

GPi/SNr GPe

STN

TalamusBazal

Çekirdekler

arttırıcıazaltıcı

Korteks-Bazal Çekirdekler-Talamus Döngüsü

korteks

Talamus

GPi/SNr

STRSTN

BazalÇekirdekler

arttırıcıazaltıcı


Biraz da Matematik

)tanh(ˆ)(, ))(()1( uuftufwtu

wu

f(u)

Geri beslemeli sinir hücresi


Biraz daha matematik

dallanma diyagramları


15

• Tek bir sinir hücresinin çalışması...

MATEMATİKSEL MODELLEMEHangi seviyede ve nasıl?

• Bir sinir sistemi alt yapısının çalışması....

• Bir bilişsel süreç için birden fazla alt yapının çalışması....

• Bilişsel süreçleri modellemede yararlanılan modelleme yaklaşımları:

Kural tabanlı yapılar

Yapay sinir ağları

Makina öğrenmesi

Doğrusal olmayan dinamik sistemler


16

• Doğadaki süreçler doğrusal değil…

• Dinamik sistem temelleri

• Bir dinamik sistemin zaman içindeki değişimi

• Denge Noktası (Sabit Nokta)

DOĞRUSAL OLMAYAN DİNAMİK SİSTEMLER

DAHA FAZLA MATEMATİK


17

DALLANMALAR (BIFURCATIONS)

Parametrelere bağlı bir dinamik sistem düşünelim:

),( xfx x Є Rn ve α Є Rm

durum değişkeni parametreTürev, zamanla değişimi gösterir

Tanım: Bir dinamik sisteme ait bir (veya daha fazla) parametrenin değişimine bağlı olarak bu sistemin denge noktalarında (çözüm noktalarında) veya bunların kararlılık niteliklerinde gözlenen değişimlerdir.

Parametreler değiştikçe …

• Değişmiş sistem, orijinal sisteme eşdeğer kalır

• Sistem de [f(x)=0 denkleminin çözümü] değişir.


18

Dallanmalar bizim için neden önemli?

Nöral Dinamik Sistemlerde Dallanmaları Neden İnceliyoruz?

Dinamik sistemlerde dallanmaları nasıl inceliyoruz?

Peki her denge/sabit noktası, dallanma oluşturmak için uygun mudur?

j j j

w w w

Kararlı Kararsız ama yapısal kararlı

İmajiner eksendeki denge noktalarını çok az oynatmak bile kararlı/kararsız olmalarına yol açıyor.


19

Dallanmaları aramaya nereden başlamalı?Tanımımıza göre, dallanma sonucu denge noktalarının sayısı veya kararlılık niteliği değişebiliyordu. O halde dallanmaları incelemeye başlamak için doğrusal olmayan sistemin denge noktası civarındaki yaklaşık davranışını inceleriz.

)(xfx dinamik sisteminin sabit noktası civarındaki yaklaşık davranışını incelemek için bu sistem sabit noktasında doğrusallaştırılır.

Doğrusallaştırma, en genel haliyle bir fonksiyona bir noktadaki teğeti, yani türevi ile yaklaşmaktır.

Bu noktadaki fonksiyon eğrisi yerine fonksiyonun türevi (teğeti) ile yaklaşım yapıyoruz.


20

Eyer Noktası (Saddle-Node) Dallanması• Bir dinamik sisteme ait sabit noktaların sayısının değiştirildiği en temel dallanma mekanizması

Eyer dallanması için prototip olabilecek birinci dereceden bir sistem ile gösterilebilir. r parametresinin değeri -∞, 0, ∞ arasında değişirken fonksiyon eğrisi de orijine göre yukarı kaymaya başlar. Böylece başlangıçta iki tane olan denge noktalarının sayısı da önce bire, sonra sıfıra düşer.

2xrx

Eyer noktası dallanmasında varolan iki denge noktası bir parametre değiştikçe giderek birbirlerine yaklaşırlar ve en sonunda çarpışırlar. Çarpışmadan sonra da parametreyi değiştirmeye devam edersek artık bu sistemin denge noktası olmayacaktır.


21

Eyer noktası dallanmasını r’nin ayrık değerlerine göre değişen vektör alanları olarak gösterebiliriz.

r > 0

r = 0

r < 0

x

Soldaki şekil, farklı r değerleri için sabit noktalar ile bunların kararlılıklarını göstermektedir. Noktaları birleştirdiğimizde elde ettiğimiz eğri ise r = -x2 fonksiyonunun grafiğidir.

r > 0

r = 0

r < 0

x

r’yi değişken alarak grafiği çizdiğimizde yandaki dallanma diyagramını elde ederiz.


Şimdi de davranış ile ilgilenelim...

))(()()1(1 kxFkxkx Korteks(p)

Talamus(m)

GPi/SNr(d)

C-BG-TH-C çevrimi

STR(r)

STN(n)

BASAL GANGLIA

AZALTICI BAĞLANTILAR

ARTTIRICI BAĞLANTILAR

Bir hücrenin aktivasyon fonksiyonu ve doyma bölgeleri

dd

nn

rr

mm

pp

akdfaknfakrfakmfakpf

kdknkrkmkp

kdknkrkmkp

,,,,,,,,,,

01100000010000110001

00010

000000000000000000000000

11111

Kaldığımız yere dönersek


… yapılıyor mu, yapılmıyor mu?


İki davranıştan birini nasıl seçeriz?

,,

00

11

:2

1

2

1

2

12 kxF

kxFkxkx

kxkx

))(()()1( 1 kxFkxkx



θ = 0.7



θ = 1



θ = 1.3


Stroop testi için ne yaptık?

Korteks

Talamus

GPi/SNr

C-BG-TH-C çevrimi

STR

STN

BASAL GANGLIA


Ne elde ettik …..

θ = 0.6


Ne elde ettik …….

θ = 1


Ne elde ettik …….

θ = 1.2


....nasıl yorumladık?

DopaminDopamin seviyesi (θsel) Hata Doğru yanıt süresi

2 _ > 30000

1.6 _ 1396

1.4 _ 1261

1.2 _ 1129

1 _ 396

0.8 _ 390

0.6 + 405

0.55 + 440

0.5 + > 30000


34

• Sinir hücrelerini modellemek için YSA kullanılıyordu

• YSA Yetersizlikleri…

YSA’DAN DİNAMİK SİSTEMLERE

• Sonra Dinamik Sistemden yararlanılarak yapılanlar…

• Ödül sistemi için bir model

• Eylemlere karar vermek için bir model

• Şimdi Pekiştirmeli Öğrenme ve dinamik sistemler

X

X


35

• Ödül mekanizmasını anlamak

• Karşıt süreçlerin ödül sistemindeki yerini kavramak

YENİ HEDEFİMİZ

• Bağımlılığı açıklayan bir hesaplamalı model geliştirmek

• Ödül sistemi için bir model

• Eylemlere karar vermek için bir model

• Duygusal süreçler için genel bir sistem ortaya koymak

X

X


36

NİKOTİN BAĞIMLILIĞI İÇİN KULLANDIĞIMIZ MODEL

Wr

Pekiştirmeli Öğrenme

Eylem Seçici Devre

Eylem Değerlendirme

Değer Atama

DA

ri


37

DAVRANIŞ SEÇMEYE İLİŞKİN MODEL

))()(()1(

))(()1(

))(()1(

))()(()1(

))()()(()1(

krknWdfkd

kpfkn

kpfWrkr

kdkpfkm

kIWckmkpfkp

pmpmpmpm

pmpm

pmpmpm

pmpmpm

pmpmpmpm

Bu modelin dallanma diyagramı

Korteks

Talamus

Striatum

Subthalamic nukleus

GPi/S.Nigra


38

Ve kalıcı hal çözümleri

Kararsız Kararlı Kararlı


40

Modelde kullanılan limbik altyapılar başlangıçta şunlardı:


41

SİSTEM DAVRANIŞI - BAĞIMLILIK

δ hata işareti ve sigara içme seçimleri


42

SİSTEM DAVRANIŞI – BAĞIMLILIK GELİŞTİRMEYEN

δ hata işareti ve sigara içmeme seçimleri


43

SİSTEM DAVRANIŞI - KARARSIZLIK

İki davranış da öğrenilmediğinde δ hata işareti


44

W PARAMETRELERİNİN DEĞERLERİ

Bağımlılık halinde:

0801.08120.0

7212.01663.00419.00664.1

113116.01

v

c

r

W

W

eW

0176.00185.04624.03310.01935.05410.0

5061.05061.0

vcr WWW

İlk değerler:


45


8121.00

9649.00628.01453.00284.1

10057.0

v

c

r

W

W

W

Bağımlılık gelişmeyen durum:

0176.00185.04624.03310.01935.05410.0

5061.05061.0

vcr WWW

İlk değerler:


46


Kararsızlık durumunda:

5090.08946.0

5623.00999.17427.04140.1

9400.01

v

c

r

W

W

W

0176.00185.04624.03310.01935.05410.0

5061.05061.0

vcr WWW

İlk değerler:


47

NİKOTİN BAĞIMLILIĞI İÇİN ÖNERİLEN MODELİN GELİŞTİRİLMESİ

Modelde neler temsil edilmeli ki daha gerçekçi olsun?

Nikotinin fizyolojik etkileri önemli çünkü:• Haz ile doyuma ulaşma ve• Yoksunluk

Bağımlılığı açıklamada karşıt süreçler• Eşleştirilmiş duygular• Bağımlılık oluşmasında nasıl bir etkisi var?• Karşıt süreçler açısından beyinde hangi bölgeler önemli?• Bağımlılık karşıt süreçlerde nasıl bir bozulmaya yol açar?

Hangi nörotransmiterler önemli?


49

Eylem seçici devre


50

Değer atama döngüsü


51

DEĞER ATAMA SİSTEMİ

• En etkili nörotransmiter dopamin

• VTA DA nöronları

nac(k)))W-pptanh(W...))...()(((+da(k)=1)+da(k

gabaglu

da

kdaaddkgabaadg

• Harekete geçirici: PFC → Glu, çok az Ach• Baskılayıcı: VTA GABA, NAc, VP → GABA

• VTA GABA nöronları

• Harekete geçirici: PPTg → Ach

• Baskılayıcı: GABA, ayrıca PFC → Glu

+ PFC- gaba - NAc

+ PPTg

- gaba - PFC

)))()(tanh(...))...()(((+gaba(k)=1)gaba(k

knacWkpptWppWkdaagdkgabaagg

gabaachglugaba

• DA salgısı açısından VTA önemli


52

DEĞER ATAMA SİSTEMİ

• DA salgısının etkilediği yapılar

• Amigdala + Lateral Hipotalamus → aml

)1))45.0((tanh(5.0))((f=1)+ofc(k

))()()((f=1)+aml(k

))()()()((f=1)+nac(k

)1.0)(1.0)()((f0.5=1)+ppt(k

ofc

aml

nac

ppt

xafkaml

IkdaWkofcknac

kgabaWkdaWkofckaml

IWkgabaWknackaml

da

gabada

glugaba

• I → dış dünya uyaranları, sigara içme/içmeme eylemi, artan nikotin seviyesi

• Pedunculopontine Tegmental Nukleus + Laterodorsal Tegmental Nukleus → pptg

• Bunların VTA nöronlarına etkileri


VTA DA ve GABA NÖRONLARININ ÜRETTİĞİ İŞARET


DEĞER ATAMA SİSTEMİNİN ÜRETTİĞİ AML, PPT, NAC İŞARETLERİ


56


57

SONUÇLAR ….

• Neler yapıldı?

• Geçmiş çalışmalardan ayrıldığı noktalar …

• Sonraki adımlar …

Eylem Seçici

Eylem Değer.

Değer Atama

UDA

ri


58

Modelleri nasıl daha gerçekçi yapabiliriz?

Y.Guo, J.E.Rubin, “Multi-site stimulation of subthalamic nucleus diminishes thalamacortical relay errors in a biophysical network model”, Neural Networks, 2011

ETCGiTKNaLm IIIIIIvC TC:stim

SnGeAHPCaTKNaLm IIIIIIIIvC STN:

appGeSnGeGeAHPCaTKNaLm IIIIIIIIIvC GPe:

appiGiGeGiSnAHPCaTKNaLm IIIIIIIIIvC GPi:


)()()(1 43llKKNaNa

MvvgvvngvvhmgI

Cdtdv

mmdtdm

mm )1(

hhdtdh

hh )1(

nndtdn

nn )1(

Bu model nasıl elde edilmiş?


60

SORULARINIZ?


61

TEŞEKKÜRLER!

Bugüne kadar ne yaptık ve bundan sonra ne yapmayı düşünüyoruz?

Documents

Transcript of Bugüne kadar ne yaptık ve bundan sonra ne yapmayı düşünüyoruz?