NİKOTİN BAĞIMLILIĞI İÇİN PEKİŞTİRMELİ ÖĞRENMEYE DAYALI BİR HESAPLAMALI MODEL

İSTANBUL TEKNİK ÜNİVERSİTESİ ♦ ELEKTRONİK & HABERLEŞME MÜHENDİSLİĞİ

NİKOTİN BAĞIMLILIĞI İÇİN PEKİŞTİRMELİ ÖĞRENMEYE DAYALI BİR HESAPLAMALI

MODEL

SELİN METİN & NESLİHAN S. ŞENGÖR

9 Aralık 2010, Çapa Perşembe Toplantısı

2


• Ödül mekanizmasını anlamak

• Bağımlılığı açıklayan bir hesaplamalı model geliştirmek

• Karşıt süreçlerin ödül sistemindeki yerini kavramak

HEDEFİMİZ

• Göz ardı ettiklerimiz:• Kalıtsal, sosyolojik etkenler

• Duygusal süreçler için genel bir sistem ortaya koymak

3


BAĞIMLILIĞI AÇIKLAMADA KARŞIT SÜREÇLER

• Eşleştirilmiş duygular

• Bağımlılık oluşmasında nasıl bir etkisi var?

• Karşıt süreçler açısından beyinde hangi bölgeler önemli?

• Bağımlılık karşıt süreçlerde nasıl bir bozulmaya yol açar?

Solomon, R.L., Corbit, J.D.: An Opponent-Process Theory of Motivation The American Economic Review, Vol. 68, No. 6., 12-24 (1978)

4


BAĞIMLILIKTA PEKİŞTİRMELİ ÖĞRENME

• Ödüle dayalı öğrenme

• Amaca yönelik davranışlar

Dayan, P.: Dopamine, Reinforcement Learning, and Addiction, Pharmacopsychiatry 42 (2009) S56-S65

Aktör

Çevre

Eylem

ai

Ödül

ri

Durum

siDeğer Fonk.

Eleştirmen

Hata

• Bu modelde karşıt sürecin yeri?

5


ÖDÜL SİSTEMİ İÇİN BİR MODEL

Dranias, M.R., Grossberg, S., Bullock, D., Dopaminergic and non-dopaminergic value systems in conditioning and outcome-specific revaluation, Brain Res. 2008 Oct 31;1238:239-87

ITA: anterior inferotemporal korteks, RHIN: rhinal korteks, AMYG: amigdala, LH: lateral hipotalamus, MORB: medial OFC, ORB: lateral OFC, VS: ventral striatum, VP: ventral pallidum, SD: striosomal delay cells, PPTN: pedunculopontine nukleus, SNc/VTA: substantia nigra

pars compacta/ventral tegmental area

6


ÖDÜL SİSTEMİ İÇİN BİR MODEL

Dranias, M.R., Grossberg, S., Bullock, D., Dopaminergic and non-dopaminergic value systems in conditioning and outcome-specific revaluation, Brain Res. 2008 Oct 31;1238:239-87

Girişler

• Fazik şartlı uyaran işareti

• Fazik şartsız uyaran işareti

• Güdü

• Canlandırma (arousal)

Çıkışlar

• Kan basıncına bağlı LH çıkışı

• OFC’in ürettiği nesne değeri

Denklemler

• Kısa dönemli etkiler

• Orta dönemli etkiler

• Uzun dönemli etkiler

7


NİKOTİN BAĞIMLILIĞI İÇİN BİR MODEL

Gutkin, B.S., Dehaene, S., Changeux, J.P., “A Neurocomputational Hypothesis for Nicotine Addiction”, PNAS, vol.103, no.4, 1106-1111, Jan 24, 2006

8


NİKOTİN BAĞIMLILIĞI İÇİN BİR MODEL

Gutkin, B.S., Dehaene, S., Changeux, J.P., “A Neurocomputational Hypothesis for Nicotine Addiction”, PNAS, vol.103, no.4, 1106-1111, Jan 24, 2006

• Sorunlar:

• Karşıt süreçler bu modelin neresinde?

• n-s-c süreçlerinde zaman skalası

• Nikotin bağımlılığında n-s-c yeri

• Bağımlılık gelişince n-s-c nasıl değişir?

• Bağımlılarda nAchR sayısı azalır mı?

n

s

c

9


NİKOTİN BAĞIMLILIĞI İÇİN YENİ BİR MODEL

Wr

Pekiştirmeli Öğrenme

Eylem Seçici Devre

Eylem Değerlendirme

Değer Atama

UDA

ri

10


Modelde kullanılan limbik altyapılar:

11


SİSTEM DAVRANIŞI - BAĞIMLILIK

δ hata işareti ve sigara içme seçimleri

12


SİSTEM DAVRANIŞI – BAĞIMLILIK GELİŞTİRMEYEN

δ hata işareti ve sigara içmeme seçimleri

13


SİSTEM DAVRANIŞI - KARARSIZLIK

İki davranış da öğrenilmediğinde δ hata işareti

14


W PARAMETRELERİNİN DEĞERLERİ

Bağımlılık halinde:

15



Bağımlılık geliştirmeyen durumda:

16



Kararsızlık durumunda:

17


Değer atama döngüsü

18


Eylem seçici devre

19


20


Eksikler, öneriler:

• Etkin nörotransmiter yalnızca DA

• Çıkış karar yerine fizyolojik değerler olsa …

• Siyah bağlantılar aslında hangi nörotransmiterler?

• Amigdala ve hipokampus birlikte ele alınsa, hatta LH da eklense …

• Sonuçları neyle karşılaştırabiliriz?

21


SONUÇLAR ….

• Neler yapıldı?

• Geçmiş çalışmalardan ayrıldığı noktalar …

• Sonraki adımlar …

Eylem Seçici

Eylem Değer.

Değer Atama

UDA

ri

22


SORULARINIZ?

23


TEŞEKKÜRLER!

NİKOTİN BAĞIMLILIĞI İÇİN PEKİŞTİRMELİ ÖĞRENMEYE DAYALI BİR HESAPLAMALI MODEL

Documents

Transcript of NİKOTİN BAĞIMLILIĞI İÇİN PEKİŞTİRMELİ ÖĞRENMEYE DAYALI BİR HESAPLAMALI MODEL