Radiale Basis-funktionen AS1-5
-
Upload
allistair-mckay -
Category
Documents
-
view
35 -
download
0
description
Transcript of Radiale Basis-funktionen AS1-5
![Page 1: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/1.jpg)
Radiale Basis-funktionen
AS1-5
![Page 2: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/2.jpg)
- 2 -
Lernen in RBF-Netzen
Approximation & Klassifikation mit RBF
Anwendung RBF-Netze
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14
![Page 3: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/3.jpg)
- 3 -
Biologische rezeptive Felder
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14
![Page 4: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/4.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 4 -
Biologische rezeptive Felder
Modellierung: Überlagerung radialer Basisfunktionen
„mexikan. Hut“
Gaußfunktion SG(ai,x) = exp(–(ai–x)2)
„radiale Basisfunktion“ : S(r) monoton in r fallendmit r = |x–ai|
![Page 5: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/5.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 5 -
Multilayer-Klassifikation
Separierung von Klassen
1.Neuron
2.Neuron
3.Neuron
- 5 -
![Page 6: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/6.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 6 -
Klassifikation und RBF
Motivation: lokale Cluster-Klassenbildung
i = { x | S(|x–xi|) > w0}
wo
xi
![Page 7: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/7.jpg)
normiert Klassifikation
fi(x) = w yk kk
m
=
å1
=
w S
S
k kk
m
jj
m
( )
( )
x
x
=
=
å
å1
1
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 7 -
RBF-Netze
x1
x2
xn
y1
y2
ym
f1
f2
Typisch: 2-Schichten Netzwerk
Aktivität
nicht normiert Approximation
fi(x) = w yk kk
m
=å
1 = w Sk k
k
m
( ) x=å
1
mit Sk (ck,x) = e
k- -( )c x 2
2 2sS (x)=
![Page 8: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/8.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 8 -
RBF-Netze
Aktivität Normiertes RBF-Netzwerk
y (x) = f(x) = i wi (x,ci) mit iS~ i i
i ik k
k
S ( , )S ( , )
S ( , )
x cx c
x c
Schicht 1 Schicht 2
· · ·
Normierung ·
·
·
X1
xn
S1(X)
Sn(X)
y(X)SSi
/
/
W
W
![Page 9: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/9.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 9 -
Klassifikation mit RBF-Netzen
Beste Klassifizierung
Suche Klasse wi so, daß p(wk|x) = maxi p(wi|x) Bayes-Klassifizierung
Wir wissen: p(wi|x) =
Annahme: Gaußverteilte Abweichungen der x von den Klassenprototypen ci,
also p(ci,x) = A =: S(ci,x)
i i
jj
p( , ) p( , )
p( ) p( , )
x x
x x
2( )i22e
c x
Bayes-Klassifizierung mit NN:
Suche Klasse wk so, daß mit yi =
yk = maxi yi winner take all
RBF Suche Maximum
x1
x2
xn
y1
y2
ym
i i
j jj
S ( , )
S ( , )c x
c x
![Page 10: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/10.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 10 -
Klassifikation mit winner-take-all
Zwei-Schichten-Netzwerk
Suche Klasse k so, dass mit fi = Si wiyi
fi = maxk fk
x1
x2
xn
y1
y2
yn
f1
f2
Suche Maximum der Aktivität
Ein-Schicht-Netzwerk
Suche Klasse k so, dass mit yi = S(ci,x) / Sj S(cj,x)
yk = maxi yi
x1
x2
xn
y1
y2
yn
Lernen nur der Gewichte für yi bzw. fi
![Page 11: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/11.jpg)
Frage
Was ist das Ziel der Bayes-Klassifikation?
Antwort
1. Die minimale Fehlerwahrscheinlichkeit
2. Die maximale bedingte Wahrscheinlichkeit für eine Entscheidung
3. Die minimale Abweichung vom korrekten Wert
4. Die maximale Korrelation mit dem korrekten Wert
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 11 -
![Page 12: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/12.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14
Lernen in RBF-Netzen
Approximation & Klassifikation mit RBF
Anwendung RBF-Netze
- 12 -
![Page 13: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/13.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 13 -
Lernverfahren
Ansätze
Schichtweise Einzelanpassung Anpassen der ersten Schicht (Zentrum +Breite)
Anpassen der zweiten Schicht (Gewichte)
Gesamtanpassung, z.B. durch Backpropagation
![Page 14: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/14.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 14 -
Anpassung der ersten Schicht
Mechanismen• initiale Verteilung (Anzahl, Lage und Form) der Glockenfunktionen• iterative Adaption der RBF-Parameter an die Trainingsdaten
(1) Bekannte TrainingsdatenClustersuche; RBF-Zentren = Clusterzentren
RBF-Breite = Clusterstreuung
(2) Unbekannte Trainingsdatena) Überdeckung durch Vorwissenb) Überdeckung durch regelmäßiges Rasterc) Sukzessive, fehlerorientierte Überdeckungd) Clusteranalyse durch Kohonen-Netze
![Page 15: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/15.jpg)
Erste Schicht: Initiale Verteilung
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 15 -
a) Überdeckung durch Vorwissen
![Page 16: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/16.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 16 -
Erste Schicht: Initiale Verteilung
b) Überdeckung durch regelmäßiges Raster
c1 c2 c3 c4 c5
S(x1)
x1
x2
x1
![Page 17: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/17.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 17 -
Erste Schicht: Initiale Verteilung
c) Sukzessiver, fehlerorientierter Netzaufbau
Start mit einem Neuron
Füge ein neues Neuron hinzu für jedes Beispiel mit hohem Fehler (Abweichung vom gewünschten Netz-Ausgabewert)
Verändere die Parameter bei den Nachbarn so, daß der Fehler verringert wird (Einpassen des neuen Neurons)
Das Netzwerk wächst solange, bis der Approximationsfehler auf das gewünschte Maß
zurückgegangen ist.
![Page 18: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/18.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 18 -
Erste Schicht: Initiale Verteilung
Beispiel Adaptiver und sukzessiver Netzaufbau für Abdeckung einer Testverteilung
![Page 19: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/19.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 19 -
Erste Schicht: Initiale Verteilung
Blutdruck
pH
7.45
7.35
12080 95
7.51
exitusnot exitus
RBF-Neuron
Neuronen ohne
Aktivierung
Nach jeder Epoche werden sie gestrichen.
Beispieldaten
Beispiel: Klassifikation medizinischer Daten fürs Überleben
Überdeckung durch Fehlerminimierung und regelmäßiges Raster
![Page 20: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/20.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14Rüdiger Brause: Adaptive Systeme, Institut für Informatik - 20 -
Erste Schicht: Initiale Verteilung
Blutdruck
pH
7.45
7.35
12080 95
7.51Neuronen mit unterschiedlicher Aktivierung
![Page 21: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/21.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 21 -
Blutdruck
pH
7.45
7.35
12080 95
7.51
Erste Schicht: Initiale Verteilung
Nach jeder Epoche werden die geringen Aktivitäten geteilt.
![Page 22: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/22.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 22 -
Blutdruck
pH
7.30
12080
7.50
Erste Schicht: Initiale Verteilung
Nicht kritisch
kritisch
Ergebnis: angepasste Klassengrenzen
![Page 23: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/23.jpg)
Erste Schicht: Initiale Verteilung
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 23 -
d) Clusterung durch Kohonen-Maps
![Page 24: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/24.jpg)
Erste Schicht: Initiale Verteilung
Clusterung mit Kohonen-Map
| x – ck| = min j | x – cj| Auswahl des Gewinners
Kohonen map mit RBFci(t+1) = ci(t) + h(ci,ck,t) (x-ci) für alle i aus Nachbarschaft
(k)
cj(t+1) = cj(t) sonst
Rival-Penalty mit RBF
ck(t+1) = ck(t) + (x-ck) für k
ci(t+1) = ci(t) – (x-ci) für zweitnächsten Nachbarn(k)
cj(t+1) = cj(t) sonst
Soft Winner-take-all mit RBF |x| = |c| = const
ci(t+1) = ci(t) + h(ci) (x-ci) für h(ci) = exp(zi)/SUM(exp(zj))
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 24 -
![Page 25: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/25.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 25 -
Anpassung der zweiten Schicht
Normiertes RBF-Netz
y (x) = (x) = i wivi mit vi = (x,ci) iS~
Schicht 1 Schicht 2
· · ·
Normierung ·
·
·
X1
xn
S1(X)
Sn(X)
y(X)SSi
/
/
W
W
w(t) = w(t–1) – (t)(wTv– (x)) 2
v
vWidrow-Hoff Lernregel f̂
f̂
![Page 26: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/26.jpg)
Frage
Was sind die Vorteile und Nachteile des gemeinsamen Trainings mehrerer Schichten ?
Antwort
• Vorteil: Bessere Gesamtanpassung durch Koordination mehrerer Schichten
• Nachteil: lang dauernde bis nicht mögliche Konvergenz aller Schichtparameter
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 26 -
![Page 27: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/27.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 27 -
RBF Code
:= 0.1; (* Lernrate festlegen *) REPEAT Read( PatternFile,x,L) (* Eingabe *)
(* Aktivität bilden im Netz *) Sum:= 0.0; FOR i:=1 TO m DO (* Für alle Neuronen der 1. Schicht *) v[i] : = Srbf(x–x0[i]) (* Nicht-lin. Ausgabe*) Sum : = Sum+v[i]; (* Gesamtaktivität bilden *) END; f := Z(w,v); (* Aktivität 2.Schicht: f(x)=wTv *) f := f/Sum; (* und normieren*)
(* Lernen der Gewichte der 2.Schicht *) v2:= Z(v,v) (* |v|2 einmal ausrechnen*) FOR i:=1 TO m DO (* Für alle Dimensionen *) w[i]:= w[i] – *(f–L)*v[i]/v2 (* Gewichte verändern:Widrow-Hoff
*) END; UNTIL EndOf(PatternFile)
![Page 28: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/28.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 28 -
RBF Code
Glockenfunktion als Lookup-Tabelle
CONST sigma2 = 1.0 (* 2*); s = 100 (* Anzahl der Tabellenwerte von e–x2 *); r = 0.001 (* RBF-Reichweitenschwelle *)
VAR e : ARRAY[1..s] OF REAL;
(* RBF Funktionstabelle e[.] einmal erstellen *) a := 0.0; da := –ln(r)/s; FOR i:=1 TO s DO e[i]:=exp(–a); a:=a+da; END;
PROCEDURE Srbf(x:VEKTOR):REAL; BEGIN index := TRUNC((Z(x,x)/sigma2)/da);
IF index < s THEN RETURN e[index] ELSE RETURN 0.0 END
END Srbf;
![Page 29: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/29.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 29 -
Lernen in RBF-Netzen
Approximation & Klassifikation mit RBF
Anwendung RBF-Netze
![Page 30: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/30.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14
Profilextrusion
Aufgabe
Erstellung von Metallschablonen (Profilwerkzeuge) für die Extrusion von Laufflächen-Profilbändern bei der Reifenherstellung
Übliches Verfahren: “Trial and error”, da “schwarze Kunst”.
Gummiprofil-Extruder
- 30 -
![Page 31: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/31.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14
Profilextrusion
Probleme: Betriebswirtschaftliche Nachteile durch "trial-and-error"
Verzögerter Fertigungsbeginn
Geringere Produktqualität: nur grobe Schätzung möglich
Höhere Einrichtungskosten der Fertigung:oumständliche, ressourcenintensive Suche nach dem gewünschten
Prozeßkenndaten (Masken-profil).
ozusätzliche Belastung der Fertigungsplaner
oUnterbrechung der Produktion (Umrüstung und Probebetrieb)
o finanzieller und personeller Aufwand, jeweils die Metallmaske neu zu erstellen oder nachzuarbeiten.
- 31 -
![Page 32: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/32.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14
Profilextrusion
Probleme bei Mitarbeitern
Unzufriedene Mitarbeiter: langweilige, nicht-kreative Arbeit; Wechsel problematisch
Nicht verfügbare Wissensdokumentation
Wissen bei Mitarbeiterkrankheit oder Wechsel nicht übertragbar und nicht akkumulierbar
- 32 -
![Page 33: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/33.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14
Lösung: Adaptive Parameterschätzung
Parameter = Quellfaktoren entlang des Maskenprofils
Maske = unbekannte Funktion r(x)
r(xi) = r(yi-s,..,yi,..,yi+s,i,E,G)
Gummimischung
Extrudertyp
Sollwerte des Gummiprofils i.d. Nachbarschaft
Quellverhalten lokale Abhängigkeit von der Nachbarschaft
Profilextrusion
r(x) r(x1) r(x4)
r(x5) r(x6) r(x9)
r(x2) r(x3) r(x7) r(x8)
x
- 33 -
![Page 34: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/34.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14
Profilextrusion
Lösung: Adaptive Formale Neuronale Netze
hier: RBF-Netz x = (x1, ..,xn)x1
x2
X
xn
y1
ym
F(x)
Funktionsapproximation (Aktivität)
yi = Si (x,ci) = exp(-d2) i=1..m Radiale Basisfunktionen
mit d2= M(x-c)2 = (x-c)T MT M (x-c) und M, c Parameter
F(x) = F(y(x)) = = wTy
y01, w0 Mittelwert
w yj jj
m
1
- 34 -
![Page 35: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/35.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14
Profilextrusion
Training: Nur 5 Profile gleicher Gummimischung und Extrudertyps
- 35 -
![Page 36: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/36.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14
Profilextrusion
Lernalgorithmus Wachsendes Netz Einfügen am Ort des größten Fehlers
Einmalige Anpassung eines Neurons zur maximalen Fehlerkompensation
Abbruch bei FehlerunterschreitungMinimales Netz für gewünschte Leistung
- 36 -
![Page 37: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/37.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14
Test: 1 Profil, Parameterabhängigkeit der Approximationn = Zahl der Nachbarpunkted = Abstand der Punkte
Erwart. abs. Fehler (in mm)
Gewünschtes und geschätztes Profil für n=9, d=4 (10x vergrößert)
Profilextrusion
n \ d 3 mm 4mm 5mm 7 0,178 0,159 0,187 9 0,167 0,162 0,197 11 0,165 0,206 0,226
Fehler
geschätztes Maskenprofil
gewünschtes Profil
- 37 -
![Page 38: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/38.jpg)
Konvergenzgeschwindigkeit
Vergleich 2-Schichten-Training (Gradientenabstieg) vs. Wachsende Netze
10 Neuronen, 50 Trainingsbeispiele, gleiche Genauigkeit
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 - 38 -
Laufzeit(Sekunden)
0 50 100 150 200 250 300
Wachs. GRBF-Netz
Wachs. RBF-Netz
Gradientenabstieg(GRBF)
Gradientenabstieg(RBF)
Beste Laufzeit mit uniformen, wachsenden RBF-Netzen
![Page 39: Radiale Basis-funktionen AS1-5](https://reader030.fdocuments.net/reader030/viewer/2022032805/568132ea550346895d99a6ad/html5/thumbnails/39.jpg)
Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14
Profilextrusion
Produktionsplanung
Produktion
NC-Fräsdaten
Metallmaske
Anforderung
Spezifikation
Neuro-Netz
Laser scan
- 39 -