[ ] 1 =w w w vayhant/dersler/ysa/dn/ysa_ders2.pdf• Bir Yapay Sinir Ağı Tanımı(Alexander,...
Transcript of [ ] 1 =w w w vayhant/dersler/ysa/dn/ysa_ders2.pdf• Bir Yapay Sinir Ağı Tanımı(Alexander,...
• Bir Yapay Sinir Ağı Tanımı (Alexander, Morton 1990)Yapay sinir ağı, basit işlemci ünitelerinden oluşmuş, çok yoğun, parallel ve dağılmış düzende çalışan bir işlemcidir. Deneysel bilgiyi depolama ve kullanıma sunma özelliğine sahiptir.Beyni iki şekilde andırır: Sinir
Hatırlatma
Beyni iki şekilde andırır:1) Ağ, bilgiyi ortamdan öğrenme yolu ile elde eder.2) Gerekli bilgiyi depolama için basit işlemci ünitelerin
arasındaki bağlantıları kullanır.
Sinir hücresi
Sinaptikağırlıklar
1
x1x2
xm
1
w1w2
wm
wm+1
v y
Sinir HücresiMcCulloch-Pitts
Hatırlatma
∑
mx
x
x
.
.
.2
1[ ]121 .... +mm wwww=v
<−≥==
01
01)(
v
vvy ϕ
1... 12211 +++++= mmm wxwxwxwv
2
HopfieldHatırlatma
http://www.netlab.tkk.fi/julkaisut/tyot/vaitos/jian_ma/neural.html 3
Aktivasyon Fonksiyonu
http://intsys.mgt.qub.ac.uk/notes/image/activefn.gif
Hatırlatma
4
Aktivasyon FonksiyonuHatırlatma
http://www.irt.rwth-aachen.de/uploads/pics/KNNFunktionen_01.png5
Ağ YapılarıHatırlatma
http://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-12-text.html
İleri yol ağı-feedforward Tam bağlaşımlı ağ-reccurentÇok katmanlı Ağ-Multilayer Perceptron Hopfield Ağı
6
Ağ YapılarıHatırlatma
http://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-12-text.html
Hücresel AğKohonen Ağı
7
“Bilgi”’nin Gösterimi“Bilgi” İnsan veya Makina YorumlamaÖngörmeUygun yanıt verme
Depolanmış enformasyon veya model
Kurallar: (1) Benzer sınıflardan benzer girişler ağda benzer gösterimler oluşturmalı ve böyleceNasıl anlayacağız? Nasıl gösterimi oluşturacağız?
Hatırlatma
benzer gösterimler oluşturmalı ve böyleceaynı kategoriye ait olarak sınıflanmalı,(2) Farklı sınıflara ayrılacak nesnelere, ağda çok farklı gösterimler atanmalı,(3) Belirli bir özellik önemli ise ağda onun gösterimi ile görevlendirilen hücre sayısıdaha fazla olmalı, 8
Benzerliğin bir ölçütü - Norm
. RV →V vektör uzayı olmak üzere, aşağıdaki dört özelliği sağlayan fonksiyon : normdur
0≥x
00 =⇔= xx 00 =⇔= xx
xx αα =
yxyx +≤+
9
Gösterim için bir yol
Bir T harfi
İşlem uygulayacağımıza görenasıl ifade edebiliriz?
= 1
0
1
1
1
T
0
0
1
01
0
0Bir L harfi
=
1
1
1
0
0
1
0
L
10
Öğrenme İşlemiAğın içinde bulunduğu ortamdan etkilenerek parametrelerini değiştirmesi işlemi öğrenmedir.
Nasıl etkilenebilir?
değiştirmesi işlemi öğrenmedir. Öğrenme şekli, parametrelerin nasıl değiştirildiği ile belirlenir.
11
Eğiticili Öğrenme
Ortam Eğitici
Eğitilen Sistem+
-
Eğitici ortam hakkında bilgiye sahip -bilgiye sahipEğitilen sistem ortam hakkında bilgiye sahip değilEğitilen sisteme ilişkin ....................... eğitim kümesinde içerilen bilgi ve ........ aracılığı ile değiştiriliyor Eğiticinin ortam hakkında sahip olduğu bilgi, eğitilen sistemeaktarılıyor Burada rahatsız edici bir şey var, ne?
12
davranış
Eğitilen sistem
Değer Atama
Kritik
Ödül r
δ
Eğiticisiz Öğrenme• Pekiştirmeli Öğrenme (reinforcement learning)
durum Ortam
Ödül r
Öğrenme işleminin her adımında istenilen yanıtı sağlayan bireğitici yokEğitilen sistem, sonuçta elde edilecek yanıta erişmek için gerekli davranışı eleştiriyi gözönünde tutarak bulmak bulmak zorunda 13
• Özdüzenlemeli öğrenme (self-organizing)
Ortam Eğitilen Sistem
Bilgiye sahip ya da eleştiride bulunan bir eğitici yok Eğitilen sistem girişlerin istatiksel dağılımını belirledikten sonra sınıflamayı oluşturuyor.
14
x1x2
xm
w1w2
wm
wm+1
v∑
Genlikte Ayrık Algılayıcı-GAA(Perceptron)
y
x1x2
xm
w1w2
wm
y
1wm+1
mx
x
x
.
.
.2
1[ ]121 .... +mm wwww=v
<−≥==
01
01)(
v
vvy ϕ
1... 12211 +++++= mmm wxwxwxwv
1 wm+1
15
Ancak Rosenblatt’ın 1954’de önerdiği yapı bundan farklı
Giriş Katmanı
ÇıkışKatmanıy
x1x2
w1w2
y
w1w2
)(1 xφ)(2 xφ
x1x2
yxm
1
wm
wm+1
wm
)(xmφxn
Giriş KatmanıÇıkışKatmanıBirinci Katman
Sabit ağırlıklar, sabit fonksiyonlarBağlantı ağırlıkları, eğitim kümesi ile belirlenen tek bir nöron 16
Genlikte Ayrık Algılayıcı aslında • Girişlere doğrudan bağlı tek bir nöron değil• Birinci katman değişmeyen bir yapıya sahip• Çıkış katmanı, tek bir nörondan oluşan eğitilebilir
bir yapı. Peki Rosenblatt neden birinci katmana gerek duymuş?
Birinci katmanda farklı fonksiyonları oluşturup, öğrenme ile bunlar cinsindençıkışta istenilen fonksiyonuifade etmek ifade etmek
Tanım: Doğrusal ayrıştırılabilir küme (Linearly separable set)X kümesi R tane Xi alt kümesinden oluşsun. gi ‘ler x’in doğrusalfonksiyonu olmak üzere
ji
21
,...,2,1 )()(
≠==∈∀>
,...,R,j
RiXxxgxg iji
ise Xi kümeleri doğrusal ayrıştırılabilir kümelerdir. 17
Tanımı anlamaya çalışalım... (-1,1) (1,1)
(-1,-1) (1,-1)
{ }{ })1,1(),1,1(
)1,1(),1,1(
2
1
−=
−−−=
X
XR=?
121111 : cxbxag ++
g’leri yazalım
222122
121111
:
:
cxbxag
cxbxag
++
++
Bu iki kümenin doğrusal ayrıştırılabilir olduğunu göstermek için ne yapmalıyız?
222111
222111
cbacba
cbacba
+−−>+−−
++−>++−ve
222111
222111
cbacba
cbacba
+−<+−
++<++
sağlayan a,b ve c’ler bulunmalıbir çözüm: ,0,0,5.0
,0,0,5.0
222
111
===
==−=
cba
cba
18
∗∗∗•
∗∗••
∗•••
••••
•∗
∗•
••••
•∗∗•
•∗∗•
••••
Özellikle, örüntüleri farklı sınıflara ayıran düzlem olarak kullanılıyor.Tanım: Karar Düzlemi (Decision Surface)Kümeleri ayıran düzlem.
ayıran düzlem olarak kullanılıyor.
Tek bir nöron ile neler yapılabilir? Nöron sayısını artırarak ne yapılabilir ne yapılamaz?
19
Rosenblatt’ın Genlikte Ayrık Algılayıcısında neler oluyor? nRx∈
Girişler
n-boyutlu bir vektörbir örüntüyütemsil ediyor(pattern)
Örüntü uzayı(pattern space)
(.)jφKatman1’in çıkışı
mjxy jj ,...,2,1 )(ˆ ==φNe oldu?
mRy∈ˆ
[ ])(ˆ xy φ=
mn RR →:(.)φ
)(xφx1 [ ])(...)()( 21 xxx mφφφ=
y
w1w2
wm
)(1 xφ)(2 xφ
)(xmφ
x1
x2
xn
20
Rosenblatt’ın Genlikte Ayrık Algılayıcısında neler oluyor? nRx∈
Girişler
n-boyutlu bir vektörbir örüntüyütemsil ediyor(pattern)
Örüntü uzayı(pattern space)
(.)jφKatman1’in çıkışı
mjxy jj ,...,2,1 )(ˆ ==φNe oldu?
mRy∈ˆ
mn RR →:(.)φBu dönüşüm genelolarak doğrusal değil
Genlikte Ayrık Algılayıcı için karar düzlemi: ∑=
+ =+m
imii wyw
11 0ˆ
Genlikte Ayrık Algılayıcı ancak katman 1’in görüntü uzayındaki örüntüleri.................................................ise iki sınıfa ayırır. 0ˆ: 0ˆ:
112
111 <+>+ ∑∑
=+
=+
m
imii
m
imii wywSwywS
??????
21
Soru: Katman 1’de m işlem birimine sahip bir GAA, katman 1 görüntü uzayınındaki P tane örüntüyü 2 sınıfa kaç türlü ayırabilir? Yanıt:
+>
− +≤= ∑
=
11
2
12),(
0
mPi
PmP
mPL m
i
P
Burada işi ne?
Hatırlatma:)!(!
!
lkl
k
l
k
−=
Soru: Herhangi bir doğrusal karar düzleminin GAA ile hesaplanabilme olasılığı nedir?hesaplanabilme olasılığı nedir?Yanıt:
+>
− +≤== ∑
=
− 11
2
11
2
),(ˆ
0
1, mPi
PmP
mPLP
m
i
PPmP
2
1ˆ),1(2 =+ mmP
1ˆlim ),1)(2( =+−∞→
mmm
P ε
0ˆlim ),1)(2( =++∞→
mmm
P ε
m büyük bir sayı ise 2(m+1)’dendaha az sayıdaki örüntüyü doğru şekilde sınıflayabilir. 0 < P <2(m+1) 22
Katman 1 örüntüleri doğrusal ayrıştırılabilecekleri görüntü uzayına taşır. Doğrusal ayrıştırılamayan örüntüleri doğrusal ayrıştırılabilir kılmak iki türlü olasıdır: (i) m (ii) P
XOR Genlikte Ayrık Algılayıcı ile ifade etmek: P=4, n=2 İki girişli, tek nöronun kapasitesi: 2*3=6
(0,1) (1,1)
İki girişli, tek nöronun kapasitesi: 2*3=6 Kapasite açısından uygun ama doğrusal ayrıştırılabilir değiller
]1)1)(1( ))1(( ))1([(),( 21122121 +−−−−−−−= xxxxxxxxφ m mi P mi değişti? (0,0) (1,0)
(0,1,1) (0,0,1)
(0,0,0) (1,0,1)
(0,1,1)
(1,0,1)(0,0,1)
(0,0,0)
23
] )5.0( )5.0[(),( 12121221 −−−−= xxxxxxxxφ m mi P mi değişti?
Şimdi Genlikte Ayrık Algılayıcı ile biraz iş yapalımVerilenler: Eğitim Kümesi ( ){ }Pkk yx ,
x1x2
w1w2 Verilenler: Eğitim Kümesi ( ){ }k
kd
k yx1
,=
Amaç: İki sınıfa ayırmaky
xm
1
wm
wm+10: 0:
112
111 ≤+>+ ∑∑
=+
=+
n
inii
n
inii wxwSwxwS
Gerçeklemebilme Koşulu: Eğitim kümesi doğrusal ayrıştırılabilir Eğitim kümesi doğrusal ayrıştırılabilir ise:
1
x
24
Eğitim kümesi doğrusal ayrıştırılabilir değil ise:
1
)(xφ
Öğrenme Kuralı:
cxkwkwxwSx
kwkwxwSx
kwkwxwSx
+=+≤∈
=+≤∈
=+>∈
)()1( 0
)()1( 0
)()1( 0
T
T2
T1 öğrenme hızı <1
olan pozitif bir sayı
cxkwkwxwSx
cxkwkwxwSx
−=+>∈
+=+≤∈
)()1( 0
)()1( 0 T
2
T1
idi xyycw ][2
1 −=∆
xyycw d ][2
1 −=∆25