1

Inżynieria Wiedzy i Systemy Ekspertowe

Systemy Neuronowo-Rozmyte(Neuro-Fuzzy Systems)

dr inż. Michał BeretaPolitechnika Krakowska

http://torus.uck.pk.edu.pl/~beretam/beretam@torus.uck.pk.edu.pl

2

Sieci Neuronowe i Logika Rozmyta

● Sieci neuronowe(SN) i logika rozmyta (LR) są narzędziami w naturalny sposób komplementarnymi

● SN potrafią uczyć się na podstawie danych numerycznych, lecz wiedza zdobyta w trakcie nauki jest ukryta w wartościach wag sieci.

● LR pozwala operować (rozumować) na wyższym poziomie, używać informacji lingwistycznej, jednak systemy LR nie potrafią się uczyć.

● Połączenie obu technik powinno dać nowe narzędzie zachowujące pozytywne cechy SN oraz LR.

3

Sieci Neuronowe i Logika Rozmyta

● System Neuronowo-Rozmyty ( ang. Neuro-Fuzzy, NF) jest siecią neuronową, która jest funkcjonalnie ekwiwalentna rozmytemu systemowi wnioskującemu.

● System NF może być uczony w celu odkrycia rozmytych reguł IF-THEN, funkcji przynależności zmiennych wejściowych oraz wyjściowych

● Wiedza eksperta może być z łatwością wpisana w strukturę projektowanego systemu NF

● Podejście koneksjonistyczne upraszcza budowe i funkcjonowanie modelu

4

A1

A2

A3

B1

B2

B3

R1

R2

R3

R4

R5

R6

C1

C2

x1

x2x2

x2

x2

x1x1

x1

y

Warstwa 1Ostre wartości na wejściu

Warstwa 2Funkcje przynależności sygnałów wejściowych

Warstwa 3Reguły rozmyte

Warstwa 4Funkcje przynależności zmiennej wyjściowej

Warstwa 5Defuzyfikacja

Sterownik Neuronowo – Rozmyty typu Mamdaniego

5

Sterownik NF typu Mamdaniego

● System posiada dwa wejścia, x1 oraz x2, oraz wyjście y.

● x1 jest reprezentowany przez zbiory rozmyte A1, A2 oraz A3

● x2 jest reprezentowany przez zbiory rozmyte B1, B2 oraz B3

● y jest reprezentowany przez C1 oraz C2

6

Sterownik NF typu Mamdaniego

Każda warstwa w sterowniku NF jest odpowiedzialna za odpowiedni krok rozmytego wnioskowania

7

Sterownik NF typu Mamdaniego

Warstwa 1:

Warstwa wejściowa. Każdy neuron w tej warstwie jedynie rozprowadza ostre wartości otrzymywane przez sterownik na wejściu.

8

Sterownik NF typu Mamdaniego

Warstwa 2:

Warstwa rozmywania (fuzyfikacji). Zawiera neurony reprezentujące zbiory rozmyte używane w przesłankach reguł rozmytych.

Neurony te, po otrzymaniu ostrych wartości, sprawdzają do jakiego stopnia dana wartość należy do zbioru rozmytego przypisanego do tego neuronu.

9

Sterownik NF typu Mamdaniego

Warstwa 3:

Warstwa reguł rozmytych. Każdy neuron reprezentuje pojedynczą regułę rozmytą, otrzymuje sygnały wejściowe od neuronów z warstwy rozmywania, które reprezentują zbiory rozmyte występujące w przesłance danej reguły.

Do każdego neuronu tej warstwy przypisana jest operacja przecięcia zbiorów rozmytych (w celu wykonania operacji AND).

W systemach NF, często wybiera się w tym celu operację mnożenia zamiast operacji min .

10

Sterownik NF typu MamdaniegoWarstwa 3:Wagi pomiędzy warstwami 3 i 4 reprezentują

znormalizowane stopnie pewności reguł rozmytych (ang. normalised certainty factors). Są one dobierane w trakcie nauki systemu. Mogą być również szacowane przez eksperta, a następnie modyfikowane w trakcie nauki systemu.

Wartości współczynników pewności należą przeważnie do przedziału [0, 1]. Normalizacji dokonuje się po każdej iteracji, w celu utrzymania wartości współczynników w odpowiednim przedziale.

Normalizacja może polegać np. na dzieleniu każdej wartości przez największą z nich.

11

Sterownik NF typu Mamdaniego

Warstwa 4:

Każdy neuron w tej warstwie reprezentuje zbiór rozmyty opisujący zmienną wyjściową y. Te zbiory rozmyte występują w konkluzjach reguł rozmytych tworzonego systemu wnioskowania rozmytego.

Do każdego takiego neuronu dochodzą sygnały reprezentujące stopień spełnienia (stopień aktywacji) przesłanki danej reguły. Zadaniem neuronu z warstwy 4 jest agregacja tych sygnałów za pomocą operacji sumy zbiorów rozmytych.

12

Sterownik NF typu Mamdaniego

Warstwa 4:

Np. reprezentuje zagregowany stopień spełnienia reguł R3 oraz R6.

13

Sterownik NF typu Mamdaniego

Warstwa 5:

Warstwa wyostrzania (defuzyfikacji). Wykorzystana może zostać dowolna metoda wyostrzania.

W tym przypadku, jeśli C1 i C2 są funkcjami trójkątnymi, np. (metoda sum-product)

14

Sterownik NF typu MamdaniegoUczenie systemu NF odbywa się podobnie jak dla innych

sieci neuronowych, włącznie z wykorzystaniem algorytmu wstecznej propagacji błędów.

Przykład uczący jest prezentowany sieci, wartość uzyskana na wyjściu systemu dla danego sygnału wejściowego jest porównywana z wartością pożądaną. Różnica (błąd) jest propagowany wstecz (od ostatniej warstwy do pierwszej). Parametry sieci, takie jak współczynniki pewności reguł, parametry funkcji aktywacji zbiorów rozmytych, są modyfikowane tak, by zmniejszyć błąd.

W tym celu potrzebne są pochodne cząstkowe funkcji błędu względem modyfikowanych parametrów sieci.

15

Sterownik NF typu MamdaniegoW wyniku adaptacji współczynników pewności reguł

może dojść do eliminacji pewnych reguł (w przypadku zerowania się współczynników).

W ten sposób system może korygować błędny projekt sieci.

W przypadku braku wiedzy dziedzinowej, można ustawić początkowo wszystkie możliwe połączenia sieci (tzn. użyć wszystkich możliwych reguł). Liczymy na to, że w trakcie nauki system sam znajdzie odpowiedni zestaw reguł. Po zakończeniu nauki usuwane są te reguły, których współczynniki pewności mają wartości poniżej pewnego progu.

16

A1

A2

B1

B2

1

2

x1

x2x2

x2

x1

x1

y

Warstwa 1 Warstwa 2 Warstwa 3 Warstwa 4 Warstwa 5

3

4

N1

N3

N4

N2

x1 x2

Warstwa 6

Sterownik Neuronowo – Rozmyty typu Sugeno(ANFIS – Adaptive Neuro-Fuzzy Inference System)

17

ANFISPowyższy sterownik jest równoważny poniższemu zestawowi

reguł:Rule 1:IF x1 jest A1AND x2 jest B1THEN y = f1 = k10 + k11*x1 + k12*x2

Rule 2:IF x1 jest A2AND x2 jest B2THEN y = f2 = k20 + k21*x1 + k22*x2

18

ANFISRule 3:IF x1 jest A2AND x2 jest B1THEN y = f3 = k30 + k31*x1 + k32*x2

Rule 4:IF x1 jest A1AND x2 jest B2THEN y = f4 = k40 + k41*x1 + k42*x2

19

ANFISWarstwa 1

Tak samo jak w przypadku systemu NF Mamdaniego.(Rozprowadzanie sygnałów).

20

ANFISWarstwa 2

Warstwa rozmywania.W modelu Janga wykorzystuje się funkcje dzwonową.

21

ANFISWarstwa 3Warstwa reguł rozmytych. Neurony liczą siłę odpalenia reguł

(ang. firing strength).W systemie ANFIS wykorzystuje się operację iloczynu.

22

ANFISWarstwa 4Warstwa normalizacji. Każdy neuron liczy znormalizowaną siłę

odpalenia odpowiedniej reguły (ang. normalised firing strength). W warstwie tej występują pełne (wszystkie możliwe) połącznia z neuronami warstwy poprzedniej.

Np. odpowiedź i-tego neuronu w 4-tej warstwie:

23

ANFISWarstwa 5Warstwa wyostrzania. Każdy neuron jest połączony do

odpowiedniego neuronu normalizacyjnego oraz do sygnałów wejściowych sieci.

Każdy neuron liczy ważoną odpowiedź danej reguły.np.

24

ANFISWarstwa 6Warstwa sumująca.Neuron sumuje dochodzące do niego sygnały. W wyniku tego

ostateczna odpowiedź y sieci wynosi:

25

ANFISW praktyce, często trudno jest ustalić jakie powinny być

wielomiany (ogólnie: funkcje) we wnioskach reguł rozmytych.

ANFIS może odkryć odpowiednie parametry w trakcie uczenia.Model ANFIS (Jang, 1993) wykorzystuje uczenie hybrydowe –

połączenie uczenia gradientowego z estymacją najmniejszego kwadratu.

Etap 1: Parametry przesłanek (np. parametry funkcji dzwonowych) są stałe. Modyfikowane są parametry ki konkluzji reguł. (estymacja najmniejszego kwadratu).

Etap 2: Parametry konkluzji reguł są stałe. Liczony jest błąd systemu a następnie propagowany wstecz. Modyfikowane są parametry warunków reguł z wykorzystaniem pochodnych cząstkowych funkcji błędu (uczenie gradientowe).