Parametryczno–nieparametryczna identyfikacja systemów Wienera

INSTYTUT INFORMATYKI, AUTOMATYKI i ROBOTYKIPOLITECHNIKI WROC÷AWSKIEJRaport serii: PREPRINTY nr 5/2008

PARAMETRYCZNO�NIEPARAMETRYCZNAIDENTYFIKACJA SYSTEMÓW WIENERA

(rozprawa doktorska)

mgr in·z. Pawe÷Wachel

Promotor: prof. dr hab. in·z. Zygmunt Hasiewicz

S÷owa kluczowe:

�identy�kacja systemów z÷o·zonych

�systemy nieliniowe

�systemy Wienera

�identy�kacja parametryczna

�identy�kacja nieparametryczna

Rozprawa powsta÷a cz¾esciowo w ramach wspó÷pracyz dr. hab. in·z. Miros÷awem Pawlakiem, profesoremUniwersytetu Manitoby, Winnipeg, Kanada.

WROC÷AW 2008

Spis tresci

Spis rysunków v

Wykaz wa·zniejszych oznaczen vii

Wst¾ep ix

1 Wprowadzenie �systemy Wienera i ich zastosowania 1

1.1 Koncepcja systemów blokowo-zorientowanych . . . . . . . . . . . . . . . . . 1

1.2 Systemy Wienera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.3 W÷asnosci aproksymacyjne systemów Hammersteina i Wienera . . . . . . . 7

1.3.1 Aproksymacja dynamicznych systemów nieliniowych za pomoc ¾asystemów Wienera . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

1.4 Przyk÷ady zastosowan praktycznych . . . . . . . . . . . . . . . . . . . . . . 9

1.4.1 Kompensacja zniekszta÷cen nieliniowych w systemach modulacjisygna÷ów typu OFDM . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.4.2 Proces neutralizacji pH . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.4.3 Inne zastosowania . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.5 Systemy Wienera � podsumowanie zastosowan praktycznych i w÷asnosciteoretycznych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

1.6 Okreslenie zakresu tematycznego pracy . . . . . . . . . . . . . . . . . . . . . 11

2 Parametryczno�nieparametryczna identy�kacja systemówWienera. Tezai cele pracy 12

2.1 Parametryczna i nieparametryczna identy�kacja systemów . . . . . . . . . . 12

2.1.1 Metody parametryczne . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.1.2 Metody nieparametryczne . . . . . . . . . . . . . . . . . . . . . . . . 13

2.1.3 Metody parametryczno�nieparametryczne . . . . . . . . . . . . . . . 15

2.2 Aktualny stan badan na temat identy�kacji systemów Wienera . . . . . . . 15

2.2.1 Parametryczna identy�kacja systemów Wienera . . . . . . . . . . . . 16

2.2.2 Nieparametryczna identy�kacja systemów Wienera . . . . . . . . . . 17

2.3 Ogólna charakterystyka proponowanych metod identy�kacji . . . . . . . . . 19

2.3.1 Idea dwuetapowej parametryczno�nieparametrycznej identy�kacjisystemów Wienera . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2.4 Teza pracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2.5 Cele pracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

i

Spis tresci ii

2.6 Podstawowe za÷o·zenia oraz klasy�kacja zadan . . . . . . . . . . . . . . . . . 21

2.6.1 Za÷o·zenia ogólne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

2.6.2 Klasy�kacja zadan . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

3 Identy�kacja systemów Wienera z zastosowaniem metody korelacyjnej 23

3.1 Sformu÷owanie problemu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

3.2 Identy�kacja podsystemu dynamicznego metod ¾a korelacyjn ¾a . . . . . . . . . 23

3.2.1 Konstrukcja estymatora podsystemu dynamicznego . . . . . . . . . . 25

3.3 Estymacja sygna÷u interakcyjnego . . . . . . . . . . . . . . . . . . . . . . . . 25

3.4 Nieparametryczna identy�kacja nieliniowosci . . . . . . . . . . . . . . . . . 26

3.5 W÷asnosci asymptotyczne algorytmu . . . . . . . . . . . . . . . . . . . . . . 26

3.5.1 Analiza zbie·znosci estymatora odpowiedzi impulsowej podsystemudynamicznego . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

3.5.2 Analiza zbie·znosci estymatora sygna÷u interakcyjnego . . . . . . . . 28

3.5.3 Analiza zbie·znosci estymatora charakterystyki nieliniowej . . . . . . 29

3.6 Podsumowanie wyników teoretycznych . . . . . . . . . . . . . . . . . . . . . 32

3.7 Wyniki badan eksperymentalnych . . . . . . . . . . . . . . . . . . . . . . . . 32

3.8 Podsumowanie i wnioski . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

4 Identy�kacja systemów Wienera z wykorzystaniem metodynajmniejszych kwadratów 36


4.2 Parametryczna identy�kacja podsystemu dynamicznego z wykorzystaniemmetody najmniejszych kwadratów . . . . . . . . . . . . . . . . . . . . . . . 37

4.2.1 Koncepcja metody identy�kacji . . . . . . . . . . . . . . . . . . . . . 37

4.2.2 Konstrukcja pilotowego estymatora charakterystyki nieliniowej . . . 38

4.3 Estymacja sygna÷u interakcyjnego . . . . . . . . . . . . . . . . . . . . . . . . 39

4.4 Nieparametryczna identy�kacja charakterystyki nieliniowej . . . . . . . . . . 40

4.5 W÷asnosci asymptotyczne algorytmu . . . . . . . . . . . . . . . . . . . . . . 40

4.5.1 Analiza zbie·znosci estymatora odpowiedzi impulsowej podsystemudynamicznego . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

4.5.2 Analiza zbie·znosci estymatora sygna÷u interakcyjnego . . . . . . . . 41

4.5.3 Analiza zbie·znosci estymatora charakterystyki nieliniowej . . . . . . 41

4.6 Identy�kacja systemów Wienera z wykorzystaniem korelacji rangowej . . . . 42

4.6.1 Parametryczna identy�kacja podsystemu dynamicznego z wykorzy-staniem korelacji rangowej . . . . . . . . . . . . . . . . . . . . . . . . 43

4.6.2 Koncepcja metody identy�kacji . . . . . . . . . . . . . . . . . . . . . 43

4.6.3 Estymacja sygna÷u interakcyjnego oraz identy�kacja charakterystykinieliniowej . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

4.6.4 Dyskusja algorytmu w kontekscie podejscia wykorzystuj ¾acego kry-terium sredniokwadratowe . . . . . . . . . . . . . . . . . . . . . . . . 44



4.8.1 Identy�kacja z wykorzystaniem metody najmniejszych kwadratów . 46

Spis tresci iii

4.8.2 Identy�kacja z wykorzystaniem korelacji rangowej . . . . . . . . . . 46


5 Identy�kacja systemów Wienera metod ¾a usrednionej pochodnej 52


5.2 Reprezentacja systemu Wienera za pomoc ¾a statycznego nieliniowego sys-temu typu MISO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

5.3 Idea metody usrednionej pochodnej . . . . . . . . . . . . . . . . . . . . . . . 54

5.4 Identy�kacja systemów Wienera w przypadku znanej g¾estosci praw-dopodobienstwa sygna÷u wejsciowego . . . . . . . . . . . . . . . . . . . . . . 55


5.4.2 Estymacja sygna÷u interakcyjnego . . . . . . . . . . . . . . . . . . . 56

5.4.3 Nieparametryczna identy�kacja charakterystyki nieliniowej . . . . . 56

5.4.4 W÷asnosci asymptotyczne algorytmu . . . . . . . . . . . . . . . . . . 56

5.5 Zastosowanie metody usrednionej pochodnej w przypadku nieznanej g¾esto-sci prawdopodobienstwa sygna÷u wejsciowego . . . . . . . . . . . . . . . . . 60


5.5.2 Estymacja sygna÷u interakcyjnego i charakterystyki nieliniowej . . . 61

5.5.3 W÷asnosci asymptotyczne algorytmu . . . . . . . . . . . . . . . . . . 62



5.7.1 Rezultaty eksperymentów w przypadku znanej g¾estosci praw-dopodobienstwa sygna÷u wejsciowego . . . . . . . . . . . . . . . . . . 65

5.7.2 Rezultaty eksperymentów w przypadku nieznanej g¾estosci praw-dopodobienstwa sygna÷u wejsciowego . . . . . . . . . . . . . . . . . . 66


6 Porównanie opracowanych metod identy�kacji systemów Wienera 71

6.1 Opracowane metody identy�kacji, a metody parametryczne i nieparame-tryczne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

6.2 Zakres stosowalnosci . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

6.3 W÷asnosci asymptotyczne . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

6.4 Numeryczna realizacja algorytmów . . . . . . . . . . . . . . . . . . . . . . . 74

7 Uwagi koncowe 75

7.1 Oryginalne wyniki naukowe przedstawione w pracy . . . . . . . . . . . . . . 75

7.2 Otwarte problemy badawcze . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

Dodatki: 77

A Uzupe÷nienia i dowody twierdzen 77

A.1 Uzupe÷nienia do rozdzia÷u 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . 77



Spis tresci iv

B Wykorzystywane w pracy fakty z teorii prawdopodobienstwa i analizymatematycznej 87

B.1 Szybkosc zbie·znosci ci ¾agów zmiennych losowych . . . . . . . . . . . . . . . . 87

B.2 Wybrane w÷asnosci zmiennych losowych gaussowskich . . . . . . . . . . . . 88

B.3 Wybrane zagadnienia teorii ca÷ki i analizy matematycznej . . . . . . . . . . 89

B.4 Wykorzystywane nierównosci . . . . . . . . . . . . . . . . . . . . . . . . . . 89

Literatura 91

Spis rysunków

1.1 System jako obiekt identy�kacji . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Struktura systemów sandwich, Wienera i Hammersteina . . . . . . . . . . . 4

1.3 System Wienera z addytywnym sygna÷em zak÷ócaj ¾acym na wyjsciu podsys-temu dynamicznego . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1.4 System Hammersteina . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1.5 System Wienera z addytywnym sygna÷em zak÷ócaj ¾acym na wyjsciu systemu 6

1.6 System Wienera jako kaskadowe po÷¾aczenie liniowego podsystemu dynami-cznego typu SIMO z nieliniowym podsystemem statycznym typu MISO . . 8

1.7 Schemat prekompensacji zniekszta÷cen nieliniowych wprowadzanych przezwzmacniacz du·zej mocy w systemie OFDM . . . . . . . . . . . . . . . . . . 10

1.8 Proces neutralizacji Ph . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.1 Wykorzystane w symulacjach nieliniowosci g1, g2 i g3 . . . . . . . . . . . . . 33

3.2 Wartosci b÷¾edów estymacji Err(�Cr

N ;�) w funkcji liczby obserwacji wejsciai wyjscia systemu dla nieliniowosci g1; g2 i g3 . . . . . . . . . . . . . . . . . 35

3.3 Wartosci b÷¾edów estymacji MISE�gCrN ;�

�w funkcji liczby obserwacji

wejscia i wyjscia systemu dla nieliniowosci g1; g2 i g3 . . . . . . . . . . . . . 35

4.1 Wydzielenie ze zbioru obserwacji f(Xn; Yn)gNn=1 stochastycznie niezale·znychpodzbiorów T1 i T2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

4.2 Wykorzystywane w eksperymentach numerycznych g¾estosci prawdopodo-bienstwa fX;1, fX;2 i fX;3 sygna÷u wejsciowego fXng . . . . . . . . . . . . . 45

4.3 B÷¾edy estymacji Err(�LS

N ; 1) w funkcji liczby obserwacji wejscia i wyjsciasystemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;1 . . . 48

4.4 B÷¾edy estymacjiMISE�gLSN ; 1

�w funkcji liczby obserwacji wejscia i wyjscia

systemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;1 . . . 48











v

Spis rysunków vi

4.9 B÷¾edy estymacji Err(�RC


4.10 B÷¾edy estymacjiMISE�gRCN ; 1













5.1 Reprezentacja systemu Wienera ze skonczon ¾a pami¾eci ¾a przy pomocy staty-cznego systemu nieliniowego o strukturze MISO . . . . . . . . . . . . . . . . 53

5.2 Wykorzystywane w eksperymentach numerycznych g¾estosci prawdopodo-bienstwa fX;2; fX;3 i fX;4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

5.3 Wykorzystywane w symulacjach nieliniowosci g1, g4 i g5 . . . . . . . . . . . 65

5.4 B÷¾edy estymacji Err(�AD

N ;�) w funkcji liczby obserwacji wejscia i wyjsciasystemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;2 . . . 67

5.5 B÷¾edy estymacji MISE�gADN ;�

�w funkcji liczby obserwacji wejscia i wyjs-

cia systemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;2 . 67











5.10 B÷¾edy estymacji Err(�fAD


5.11 B÷¾edy estymacjiMISE(gfADN ;�) w funkcji liczby obserwacji wejscia i wyjs-cia systemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;2 . 69



5.13 B÷¾edy estymacji MISE�gfADN ;�

�w funkcji liczby obserwacji wejscia

i wyjscia systemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowegofX;3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70



5.15 B÷¾edy estymacjiMISE(gfADN ;�) w funkcji liczby obserwacji wejscia i wyjs-cia systemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;4 . 70

Wykaz wa·zniejszych oznaczen

Oznaczenia podano w kolejnosci alfabetycznej zastosowanych symboli.

k�k �norma euklidesowaj�j �wartosc bezwzgl¾ednab�c �funkcja �pod÷oga�(�)[i] �i�ta realizacja estymatora(�)T �transpozycja(�)AD �estymator zbudowany w oparciu o metod¾e usrednionej pochodnej(�)Cr �estymator zbudowany w oparciu o metod¾e korelacyjn ¾a(�)fAD �estymator zbudowany w oparciu o metod¾e usrednionej pochodnej

oraz wykorzystuj ¾acy j ¾adrow ¾a estymacj¾e g¾estosci sygna÷u fXng(�)LS �estymator zbudowany w oparciu o metod¾e najmniejszych kwadratów(�)RC �estymator zbudowany w oparciu o metod¾e korelacji rangowej1 [A] �indykator zdarzenia A1B (x) �funkcja wskaznikowa przyjmuj ¾aca wartosc 1, gdy x 2 B i 0, gdy x =2 B8 �kwanty�kator ogólny (�dla ka·zdego...�)9 �kwanty�kator szczegó÷owy (�istnieje...�)� �sta÷a multiplikatywna w metodzie korelacyjnejbias f�g �obci ¾a·zenie estymatoracorr f�; �g �korelacjaCov f�; �g �kowariancjaDf (�) �gradient funkcji fX (�)DG (�) �gradient funkcji G (�)E f�g �operator wartosci oczekiwanejErr (�; �) �empiryczny b÷¾ad estymacji odp. impulsowej podsystemu dynamicznegofV (�) �funkcja g¾estosci prawdopodobienstwa sygna÷u interakcyjnego fVngfX (�) �funkcja g¾estosci prawdopodobienstwa sygna÷u wejsciowego fXngfX (�) �funkcja g¾estosci prawdopodobienstwa sygna÷u wektorowego fXng� (�) �dystrybuanta standardowego rozk÷adu normalnego N (0; 1)g (�) �nieliniowa charakterystyka podsystemu statycznegog (�; l) �funkcja regresji zale·zna od wektorowego parametru l 2 �G (�) �nieliniowosc w reprezentacji systemu Wienera za pomoc ¾a statycznego

systemu typu MISOh �parametr wyg÷adzania w estymatorze charakterystyki nieliniowejh0 �parametr wyg÷adzania w estymatorze pilotowymh1 �parametr wyg÷adzania w estymatorze g¾estosci fX (�)

vii

Wykaz wa�zniejszych oznaczen viii

h2 �parametr wyg÷adzania w estymatorze pochodnej g¾estosci fX (�)I �zbiór indeksów, I = fp+ 1; p+ 2; : : : ; NgI1 �zbiór indeksów, I1 = fp+ 1; : : : ; p+N1gI2 �zbiór indeksów, I2 = f2p+ 1 +N1; : : : ; Ng� �sta÷a multiplikatywna w metodzie usrednionej pochodnejK (�) �funkcja j ¾adra w estymatorze charakterystyki nieliniowejK0 (�) �funkcja j ¾adra w estymatorze pilotowymK1 (�) �funkcja j ¾adra w estymatorze g¾estosci prawdopodobienstwa sygna÷u

wejsciowego fXngK2 (�) �funkcja j ¾adra w estymatorze pochodnej g¾estosci prawdopodobienstwa

sygna÷u wejsciowego fXngf�igpi=0 �odpowiedz impulsowa podsystemu dynamicznego� �wektor utworzony z elementów odpowiedzi impulsowej podsystemu

dynamicznego, � = (�0; �1; : : : ; �p)T

� �zbiór mo·zliwych odpowiedzi impulsowych podsystemu dynamicznegoMISE (�; �) �empiryczny b÷¾ad estymacji charakterystyki nieliniowej�V �wartosc oczekiwana sygna÷u interakcyjnego fVng�X �wartosc oczekiwana sygna÷u wejsciowego fXng�Y �wartosc oczekiwana sygna÷u wyjsciowego fYngN �liczba dost¾epnych obserwacji wejscia i wyjscia systemuNI �liczba elementów zbioru INI1 �liczba elementów zbioru I1NI2 �liczba elementów zbioru I2N (0; 1) �standardowy rozk÷ad normalnyNSR �wspó÷czynnik �noise�to�signal ratio�p �d÷ugosc pami¾eci systemu

QN (�) �funkcja kryterialna wykorzystywana w konstrukcji estymatora �LS

N

SN (�) �funkcja kryterialna wykorzystywana w konstrukcji estymatora �RC

N

�2V �wariancja sygna÷u interakcyjnego fVng�2X �wariancja sygna÷u wejsciowego fXng�2Z �wariancja sygna÷u zak÷ócaj ¾acego fZngT1 �zbiór par obserwacji wejscia i wyjscia systemu, T1 = f(Xn; Yn)gn2I1T2 �zbiór par obserwacji wejscia i wyjscia systemu, T2 = f(Xn; Yn)gn2I2TG �zbiór par obserwacji wejscia i wyjscia systemu, TG = f(Xn; Yn)gn2IV ar f�g �wariancjafVng �sygna÷interakcyjny (ci ¾ag zmiennych losowych)fXng �sygna÷wejsciowy (ci ¾ag zmiennych losowych)Xn �(p+ 1)�elementowy wektor utworzony z kolejnych obserwacji

wejscia systemu, Xn = (Xn; Xn�1; : : : ; Xn�p)T

fXng �wektorowy sygna÷wejsciowy w reprezentacji systemu Wieneraza pomoc ¾a statycznego systemu typu MISO

f(Xn; Yn)gNn=1 �zbiór par obserwacji wejscia i wyjscia systemufYng �sygna÷wyjsciowy (ci ¾ag zmiennych losowych)fZng �addytywny sygna÷zak÷ócaj ¾acy (ci ¾ag zmiennych losowych) �nosnik funkcji fX (�)

Wst¾ep

W pracy przedstawiono now ¾a klas¾e parametryczno�nieparametrycznych algorytmów iden-ty�kacji systemów Wienera z czasem dyskretnym, dla których przyj ¾ac mo·zna za÷o·zenie, i·zpami¾ec cz¾esci dynamicznej systemu jest skonczona. Zaproponowane metody umo·zliwiaj ¾ape÷n ¾a identy�kacj¾e rozwa·zanych systemów, tj. pozwalaj ¾a na oszacowanie opisów zarównopodsystemów liniowych, jak i nieliniowych. Przeprowadzono analiz¾e teoretyczn ¾a w÷asnosciasymptotycznych skonstruowanych algorytmów oraz wykonano symulacje komputerowe,ilustruj ¾ace ich zachowanie dla ma÷ej i umiarkowanej liczby obserwacji.

W rozdziale 1. prezentowana jest ogólna koncepcja systemów o strukturze blokowej natle innych podejsc do opisu systemów nieliniowych spotykanych w literaturze. G÷ówn ¾auwag¾e poswi¾econo systemom Wienera � ich konstrukcji, zastosowaniom w dziedzinieaproksymacji systemów nieliniowych oraz implementacjom praktycznym. Rozdzia÷2.wprowadza do zagadnienia parametryczno�nieparametrycznej identy�kacji systemówWie-nera. Omówiono w nim najpierw ide¾e parametrycznej oraz nieparametrycznej identy�kacjisystemów, ze szczególnym uwzgl¾ednieniem algorytmów opisanych w literaturze i poswi¾e-conych rozwa·zanej klasie obiektów. Na tym tle wprowadzona zosta÷a koncepcja mieszanej,parametryczno�nieparametrycznej, identy�kacji systemów Wienera oraz omówiony zosta÷wspólny schemat konstrukcji prezentowanych metod. Rozdzia÷ ten zawiera równie·zpodstawowe za÷o·zenia wykorzystywane w pracy, a tak·ze tez¾e i cele pracy. W rozdzia÷ach3., 4. i 5. przedstawiono kolejno trzy ró·zne metody identy�kacji. Szczegó÷owo omówionokonstrukcje odpowiednich estymatorów podsystemów liniowych i nieliniowych oraz podanowarunki gwarantuj ¾ace zbie·znosc algorytmów. Oprócz analizy zgodnosci estymatorów,w rozdzia÷ach 3. i 5. przeprowadzono analiz¾e rz¾edów szybkosci zbie·znosci odpowiednichoszacowan. W uzupe÷nieniu analizy asymptotycznej, dla ka·zdej z metod wykonano badaniasymulacyjne ilustruj ¾ace ich efektywnosci dla skonczonej liczby obserwacji. Rozdzia÷3.zawiera opis korelacyjnej metody identy�kacji. W rozdziale 4. przedstawiono algorytmoparty na metodzie najmniejszych kwadratów opracowany we wspó÷pracy z PanemProfesorem Miros÷awem Pawlakiem z University of Manitoba. W rozdziale tym krótkoomówiono równie·z metod¾e identy�kacji systemów Wienera wykorzystuj ¾ac ¾a ide¾e estymacjikorelacji rangowej. Algorytm identy�kacji, wykorzystuj ¾acy koncepcj¾e estymacji usred-nionej pochodnej, konstruowany jest z kolei w rozdziale 5. Rozdzia÷6. zawiera zbiorcz ¾aanaliz¾e uzyskanych w rozprawie rezultatów teoretycznych oraz badan symulacyjnychalgorytmów. W rozdziale 7. przedstawiono otwarte problemy naukowe, a tak·ze okreslonomo·zliwe kierunki dalszych badan.

Autor pragnie podzi¾ekowac Panu Profesorowi Zygmuntowi Hasiewiczowi, promo-torowi pracy oraz Panu Profesorowi W÷odzimierzowi Greblickiemu, kierownikowi Zak÷aduSterowania i Optymalizacji w Instytucie Informatyki, Automatyki i Robotyki Politech-niki Wroc÷awskiej, za liczne dyskusje oraz cenne uwagi przekazane w trakcie studiów

ix

Wst�ep x

doktoranckich. Szczególne podzi¾ekowania sk÷adam równie·z Panu Profesorowi Miros÷awowiPawlakowi z University of Manitoba za uwagi merytoryczne dotycz ¾ace materia÷u zawartegow rozdziale 4. oraz umo·zliwienie mi odbycia zagranicznego sta·zu naukowego w Departmentof Electrical and Computer Engineering, University of Manitoba. Dzi¾ekuj¾e tak·ze wszystkimpracownikom Zak÷adu Sterowania i Optymalizacji, Instytutu Informatyki, Automatykii Robotyki Politechniki Wroc÷awskiej. Na koniec dzi¾ekuj¾e serdecznie moim Rodzicom orazKasi, bez których ta praca nie mog÷aby powstac.

Rozdzia÷1

Wprowadzenie �systemy Wienerai ich zastosowania

1.1 Koncepcja systemów blokowo-zorientowanych

Zadanie identy�kacji systemów, jako jedno z podstawowych zagadnien automatyki, polegana wyznaczeniu matematycznego modelu zjawiska �zycznego lub procesu technologicznegona podstawie dost¾epnych danych pomiarowych oraz posiadanej informacji wst¾epnejo systemie. Terminem system okresla si¾e przy tym obiekt posiadaj ¾acy wejscie i wyjscie,w którym zazwyczaj wyst¾epuje niedost¾epny dla pomiarów sygna÷zak÷ócaj ¾acy, rys. 1.1.

Systemwejście wyjście

zakłócenie

Rysunek 1.1: System jako obiekt identy�kacji

Wykorzystywane w automatyce systemy, w zale·znosci od stopnia skomplikowania ichstruktury, okresla si¾e mianem obiektów prostych lub z÷o·zonych. Przyk÷adowo, obiektemprostym jest dyskretny statyczny system nieliniowy opisany równaniem

yn = g (xn; zn) ; (1.1)

gdzie fxng i fyng s ¾a odpowiednio wejsciem i wyjsciem systemu, a fzng jest sygna÷emzak÷ócaj ¾acym. Nieliniowa charakterystyka systemu jest reprezentowana przez funkcj¾eg (�; �). Innym obiektem prostym jest dyskretny liniowy system dynamiczny opisanywzorem

yn = �Tn� + zn; (1.2)

gdzie � jest wektorem parametrów

� = (a1; a2; : : : ; aq; b1; b2; : : : ; br)T ,

a �n wektorem regresorów utworzonym z pomiarów wejscia i wyjscia

�n = (�yn�1; : : :� yn�q; xn�1; : : : xn�r)T .

1

Rozdzia� 1. Wprowadzenie � systemy Wienera i ich zastosowania 2

Teoria identy�kacji obiektów prostych np. typu (1.1) lub (1.2) jest dobrze ugruntowanazarówno w przypadku deterministycznych, jak i losowych sygna÷ów wejsciowych, zob. np.Hasiewicz [48,49], Söderström i Stoica [118], Ljung [76], Manczak i Nahorski [78], Goodwini Payne [24], Nelles [83]. Niestety, wiele spotykanych w praktyce procesów i zjawisknie daje si¾e w zadowalaj ¾acy sposób reprezentowac za ich pomoc ¾a, chocia·zby dlatego,·ze cz¾esc z nich cechuje zarówno wyst¾epowanie pami¾eci, jak i zale·znosci nieliniowych.Do opisu takich obiektów wykorzystuje si¾e zazwyczaj systemy z÷o·zone. Przez z÷o·zonoscsystemu rozumie si¾e fakt, ·ze system sk÷ada si¾e z wielu elementów oraz ·ze obiekty(podsystemy) wchodz ¾ace w sk÷ad ca÷ego systemu s ¾a ze sob ¾a po÷¾aczone i wzajemnieod siebie zale·z ¾a, a ich rozdzielenie jest niemo·zliwe, niebezpieczne, lub zbyt kosztowne,Mzyk [80]. Z tego wzgl¾edu zagadnienie identy�kacji systemów z÷o·zonych jest na ogó÷znacznie trudniejsze od identy�kacji systemów prostych i rodzi dodatkowe problemy,które nie maj ¾a swoich odpowiedników w klasycznej teorii, Hasiewicz [48]. Utrudnienia tewynikaj ¾a mi¾edzy innymi z faktu, ·ze dla dynamicznych systemów z÷o·zonych nie jest znanauniwersalna reprezentacja umo·zliwiaj ¾aca wyznaczenie matematycznej zale·znosci mi¾edzywejsciem a wyjsciem dowolnego systemu z÷o·zonego bez dodatkowej wiedzy apriorycznejo strukturze systemu. Pewne rezultaty mo·zna jednak otrzymac ograniczaj ¾ac rozwa·zaniado klasy systemów stacjonarnych (tj. takich, których parametry nie zmieniaj ¾a si¾e w czasie),przyczynowych (tzn. takich, w których wyjscie w dowolnej chwili t0 nie zale·zy od wejsciai wyjscia w chwilach pózniejszych) oraz posiadaj ¾acych nieliniowosci spe÷niaj ¾ace okreslonewarunki ci ¾ag÷osci, Boyd i Chua [9]. Jednym ze sposobów opisu tego typu systemówjest wykorzystanie tzw. szeregów Volterry, u podstaw których le·zy koncepcja rozwini¾eciafunkcji nieliniowej w szereg Taylora oraz reprezentacja ci ¾ag÷ych systemów liniowych zapomoc ¾a ca÷ki splotowej postaci

y (t) =

Z t

0# (�)x (t� �) d� , (1.3)

gdzie fx (t)g i fy (t)g s ¾a odpowiednio wejsciem i wyjsciem systemu, a f# (t)g jest jegoodpowiedzi ¾a impulsow ¾a, Greblicki [34]. W przypadku systemów z÷o·zonych z czasemci ¾ag÷ym i spe÷niaj ¾acych wymienione wy·zej warunki, szereg Volterry (b¾ed ¾acy uogólnieniemca÷ki (1.3)) przyjmuje postac

y (t) = #0 +1Xi=1

Z� � �Z#i (�1; � � � � i)x (t� �1) � � �x (t� � i) d�1 � � � d� i; (1.4)

gdzie #i ( ) s ¾a tzw. j ¾adrami Volterry. Analogicznie, dla systemów z czasem dyskretnymodpowiedni szereg Volterry, jako uogólnienie splotu dyskretnego, wyra·za si¾e wzorem

yn = %0 +1Xi=1

Xj1;:::;ji�0

%i (j1; : : : ji)xn�j1 � � �xn�ji . (1.5)

Niew ¾atpliw ¾a zalet ¾a reprezentacji (1.4) i (1.5) jest ich uniwersalnosc. Rozwa·zane szeregipozwalaj ¾a bowiem na opisanie ka·zdego stacjonarnego i �zycznie realizowalnego (tj.przyczynowego) systemu spe÷niaj ¾acego okreslone warunki ci ¾ag÷osci, bez wzgl¾edu najego z÷o·zonosc i struktur¾e wewn¾etrzn ¾a. Ponadto opis obiektu za pomoc ¾a rozwini¾eciaw szereg Volterry mo·ze byc otrzymany zarówno dla losowych, jak i deterministycznychsygna÷ów wejsciowych. Niestety zale·znosci (1.4) i (1.5) posiadaj ¾a równie·z wady, z którychnajistotniejsze zwi ¾azane s ¾a ze sposobem wyznaczania wspó÷czynników #i ( ) i %i ( ).Okazuje si¾e bowiem, ·ze w wielu przypadkach wyznaczenie j ¾ader #i ( ) lub %i ( ) jestzadaniem na tyle skomplikowanym i wymagaj ¾acym znacznych mocy obliczeniowych,·ze praktyczne zastosowanie zale·znosci (1.4) i (1.5) do identy�kacji systemów nie daje


zadowalaj ¾acych rezultatów, Billings i Fakhouri [6]. Równie istotnym ograniczeniemzwi ¾azanym z wykorzystaniem szeregów Volterry jest wymaganie, aby nieliniowosc systemudawa÷a si¾e rozwin ¾ac w szereg Taylora.

Innym sposobem opisu szerokiej klasy dynamicznych systemów nieliniowych jestwykorzystanie reprezentacji zaproponowanej przez Wienera [136], zob. te·z Therrien [122].W odró·znieniu od szeregów Volterry, koncepcja Wienera opiera si¾e na wykorzystaniuzbioru funkcjona÷ów, które przy za÷o·zeniu ·ze sygna÷wejsciowy jest gaussowskim bia÷ymszumem, s ¾a wzgl¾edem siebie ortogonalne, Therrien [122], zob. te·z Greblicki i Pawlak [39].Proponowana zale·znosc wyra·za si¾e wzorem

y (t) =

1Xi=0

Gi [ki (�) ;x (�) ; � 2 (�1; t)] ; (1.6)

gdzie Gi ( ) s ¾a funkcjona÷ami o znanej postaci, ale posiadaj ¾acymi nieznane j ¾adra ki ( ).Niestety, podobnie jak zale·znosci (1.4) i (1.5), równie·z i to podejscie nie pozwala naefektywne wykorzystanie w dziedzinie identy�kacji systemów z÷o·zonych. Zastosowaniereprezentacji (1.6) wymaga bowiem wykonania z÷o·zonych obliczen, nawet w przypadkuopisu systemów liniowych oraz nie pozwala na wykorzystanie w prosty sposób posiadanejinformacji apriorycznej o systemie, Billings [5, str. 274].

Wspomniane powy·zej, istotne ograniczenia reprezentacji systemów nieliniowych zapomoc ¾a funkcjonalnych zale·znosci (1.4), (1.5) i (1.6), sprowokowa÷y podj¾ecie badan nadwyznaczeniem nowych, równie uniwersalnych, ale ÷atwiejszych w zastosowaniach sposobówopisu systemów nieliniowych. Jednym z najcz¾esciej wykorzystywanych obecnie podejscjest, sformu÷owana na pocz ¾atku lat osiemdziesi ¾atych ubieg÷ego stulecia (ale wykorzysty-wana wczesniej np. przez Narendr¾e i Gallmana [82]), koncepcja systemów o strukturzeblokowej (ang. block�oriented systems), Billings [5], Billings i Fakhouri [6�8]. Podejscieto zak÷ada, ·ze identy�kowany system mo·zna przedstawic w postaci odpowiednio zesob ¾a po÷¾aczonych liniowych obiektów dynamicznych i nieliniowych obiektów statycznych.W odró·znieniu od szeregów funkcjonalnych umo·zliwiaj ¾acych reprezentacj¾e o charakterzeczarnej skrzynki (ang. black�box description), Billings [5], podejscie blokowo-zorientowanepozwoli÷o sprowadzic zadanie identy�kacji do tzw. problemu szarej skrzynki (ang. gray�boxdescription), tj. zadania w którym znana jest struktura po÷¾aczen wewn¾etrznych systemu,Sjöberg et al. [117], Pearson i Pottmann [94].

Stosunkowo cz¾esto rozwa·zanym w literaturze systemem blokowo-zorientowanym jesttzw. system sandwich (zwany równie·z systemem Wienera�Hammersteina) utworzonypoprzez kaskadowe po÷¾aczenie kolejno liniowego obiektu dynamicznego, nieliniowegoobiektu statycznego oraz liniowego obiektu dynamicznego, rys. 1.2, Billings [5], Billingsi Fakhouri [8], Bershad et al. [3], Kibangou i Favier [65], Krzy·zak [71], Korenberg i Hunter[69]. Zalet ¾a systemu sandwich jest jego elastycznosc, umo·zliwiaj ¾aca reprezentacj¾e szerokiejklasy zjawisk i procesów technologicznych o charakterze nieliniowym i posiadaj ¾acychpami¾ec. G÷ówn ¾a wad ¾a jest natomiast fakt wyst¾epowania dwóch niedost¾epnych dlapomiarów sygna÷ów wewn¾etrznych, tj. wejscia i wyjscia statycznego obiektu nieliniowego.W konsekwencji, pomimo znanej struktury ca÷ego systemu, zadanie identy�kacji (napodstawie obserwacji wejscia i wyjscia systemu) jest zadaniem skomplikowanym. Okazujesi¾e jednak, ·ze wydzielenie z systemu sandwich prostszych obiektów, tzw. systemówWienerai Hammersteina (zob. rys. 1.2), prowadzi do struktur równie interesuj ¾acych z punktuwidzenia zastosowan do opisu zjawisk nieliniowych, a przy tym ÷atwiejszych w identy�kacji.

Niech fxng, fyng oznaczaj ¾a odpowiednio wejscie i wyjscie systemu oraz fvng b¾edziesygna÷em wewn¾etrznym. Przez fzng oznaczymy szum wyst¾epuj ¾acy w systemie. Przedsta-


LiniowyPodsystemDynamiczny


NieliniowyPodsystemStatyczny

wejście wyjście

System Hammersteina

System Wienera

Rysunek 1.2: Struktura systemów sandwich, Wienera i Hammersteina

wiony na rysunku 1.3 system Wienera opisany jest za pomoc ¾a równan

vn =

pXi=0

�ixn�i + zn (1.7)

yn = g (vn) , (1.8)

gdzie f�igpi=0 i g (�) s ¾a odpowiednio odpowiedzi ¾a impulsow ¾a podsystemu dynamicznego

áViâ i=0p gÝ6Þxn ynvn

zn

Rysunek 1.3: System Wienera z addytywnym sygna÷em zak÷ócaj ¾acym na wyjsciu podsystemudynamicznego

oraz charakterystyk ¾a nieliniow ¾a podsystemu statycznego, a p 2 N jest d÷ugosci ¾a pami¾ecisystemu. Analogicznie system Hammersteina, zob. rys 1.4, de�niowany jest za pomoc ¾arównan

vn = g (xn)

yn =

pXi=0

�ivn�i + zn.

áViâ i=0pgÝ6Þxn vn yn

zn

Rysunek 1.4: System Hammersteina

Opisane powy·zej systemy Wienera i Hammersteina odgrywaj ¾a kluczow ¾a rol¾e w teoriiidenty�kacji systemów nieliniowych. Ze wzgl¾edu na czyteln ¾a, blokowo-zorientowan ¾a struk-tur¾e oraz liczne zastosowania, poczynaj ¾ac od lat siedemdziesi ¾atych ubieg÷ego stulecia,


opracowano wiele ró·znych algorytmów ich identy�kacji oraz zaproponowano wykorzystanieich w wielu dziedzinach naukowych i technicznych. Nale·zy podkreslic, ·ze istotny wk÷adw rozwój metod identy�kacji omawianych systemów zosta÷wniesiony przez Szko÷¾eIdenty�kacji Nieparametrycznej utworzon ¾a przez profesora W÷odzimierza Greblickiego. Jejtwórca zapocz ¾atkowa÷rozwój nieparametrycznych metod identy�kacji systemów i wrazz profesorami Adamem Krzy·zakiem, Miros÷awem Pawlakiem i Leszkiem Rutkowskimopracowa÷szereg nieparametrycznych algorytmów identy�kacji [26�29, 32, 33, 35, 37�43,71, 91, 103]. Zaproponowane metody w istotny sposób rozwin¾e÷y teori¾e i wzbogaci÷ypraktyk¾e algorytmów, umo·zliwiaj ¾ac identy�kacj¾e systemów w sytuacjach, w którychwczesniej opracowane metody parametryczne nie mog÷y byc stosowane. Koncepcjanieparametrycznej identy�kacji systemów ze szczególnym uwzgl¾ednieniem algorytmówdedykowanych systemom Wienera omówiona jest w rozdziale 2.

Oprócz przedstawionych powy·zej systemów typu sandwich, Wienera i Hammersteina,w literaturze rozwa·za si¾e tak·ze inne systemy blokowo-zorientowane. S ¾a to mi¾edzy innymi:systemy Urysona (b¾ed ¾ace równoleg÷ym po÷¾aczeniem wielu systemów Hammersteina),Billings [5] i addytywne systemy typu NARMAX, Mzyk [80]. Jednak zasadnicza uwagabadaczy skupia si¾e na zagadnieniach identy�kacji systemów Hammersteina i Wienera.Nale·zy przy tym podkreslic, ·ze pomimo podobnej konstrukcji, zadanie identy�kacjisystemów Wienera jest na ogó÷znacznie trudniejsze od zadania identy�kacji systemówHammersteina. Istotne utrudnienia wynikaj ¾a m.in. z faktu, ·ze w systemach Wieneracharakterystyka nieliniowa przekszta÷ca nieznany i niedost ¾epny dla pomiarów sygna÷interakcyjny, podczas gdy w systemach Hammersteina przekszta÷ceniu nieliniowemupodlega dost ¾epny dla pomiarów sygna÷wejsciowy.

1.2 Systemy Wienera

Jak ju·z zaznaczono, wa·zn ¾a rol¾e wsród omówionych wy·zej systemów o strukturze blokowejodgrywaj ¾a systemy Wienera (rys. 1.3). Ze wzgl¾edu na swoj ¾a budow¾e, obiekty te zna-komicie nadaj ¾a si¾e do modelowania zjawisk �zycznych i procesów technologicznych,posiadaj ¾acych nie tylko cechy uk÷adów nieliniowych, ale dodatkowo charakteryzuj ¾acychsi¾e wyst¾epowaniem pami¾eci. Przyk÷adowe zastosowania systemów Wienera w naukachtechnicznych oraz medycynie, chemii i biologii omówione s ¾a w p. 1.4.Oprócz podstawowych cech struktury charakteryzuj ¾acych systemy Wienera mo·znawyró·znic szereg w÷asnosci okreslaj ¾acych dodatkowo elementy tej klasy systemów. S ¾a tomi¾edzy innymi:

� d÷ugosc pami¾eci systemu (pami¾ec skonczona lub nieskonczona),

� w÷asnosci charakterystyki nieliniowej (np. ci ¾ag÷osc, ró·zniczkowalnosc itp.),

� miejsce wyst¾epowania sygna÷u zak÷ócaj ¾acego (szum wewn¾etrzny lub na wyjsciusystemu),

� stacjonarnosc.

Rozwa·zane w literaturze systemy Wienera s ¾a ponadto:

� systemami z czasem ci ¾ag÷ym lub dyskretnym,

� systemami o strukturach typu SISO, MISO lub MIMO.


D÷ugosc pami¾eci systemu oraz w÷asnosci charakterystyki nieliniowej w systemiemaj ¾a szczególnie znaczenie przy doborze w÷asciwego modelu w przypadku zastosowanomawianych systemów oraz w przypadku konstruowania algorytmów ich identy�kacji.Systemy ze skonczon ¾a pami¾eci ¾a dyskutowane s ¾a m.in. przez Nordsjö i Zetterberga [84],Lacy�ego i Bernsteina [73], Pawlaka et al. [93], Wachla [127, 129], Raicha et al. [98] orazCelk¾e et al. [12]. Z kolei Greblicki [26�29, 33] oraz Hughes i Westwick [56] rozwa·zaj ¾aidenty�kacj¾e systemów z pami¾eci ¾a nieskonczon ¾a. Typowym za÷o·zeniem odnosnie chara-kterystyki nieliniowej w systemie jest wymaganie, aby mia÷a ona charakter wielomianowy,Lacy i Bernstein [73], Korenberg i Hunter [67], Celka et al. [12], zob. te·z Pajunen [87].Rozwa·za si¾e tak·ze systemy z nieliniowosciami modelowanymi za pomoc ¾a funkcji odcinkamiliniowych, Vörös [124], Pupeikis [96], Chen [15], Wigren [137], zob. te·z Hagenblad[44], lub funkcji sklejanych (ang. spline functions), Hughes i Westwick [56]. Szczególnieszeroka, nieparametryczna klasa nieliniowosci rozwa·zana jest przez Greblickiego w pracach[26�29, 33]. W [26] zak÷ada si¾e tylko, ·ze nieliniowosc jest funkcj ¾a scisle monotoniczn ¾ai posiadaj ¾ac ¾a ograniczon ¾a pochodn ¾a, podczas gdy w [28] dopuszczalna jest ka·zda �zycznierealizowalna charakterystyka nieliniowa. Dyskutowane w literaturze systemy Wieneraz regu÷y s ¾a systemami stacjonarnymi. Systemy niestacjonarne (Wienera i Hammersteina)omawiane s ¾a m.in. przez Nordsjö i Zetterberga [84] oraz Celk¾e i Colditza [13].

W zale·znosci od miejsca wyst¾epowania sygna÷u zak÷ócaj ¾acego, systemy Wienerapodzielic mo·zna na trzy grupy: systemy, w których zak÷ócenie nie wyst¾epuje, zob. np. Lacyi Bernstein [73], systemy z addytywnym sygna÷em zak÷ócaj ¾acym na wyjsciu podsystemudynamicznego (zob. rys. 1.3 i wzory (1.7)�(1.8)), Gómez i Baeyens [22, 23], Greblicki[26�29,33] oraz systemy z szumem addytywnym na wyjsciu podsystemu statycznego, rys.1.5, opisane równaniami

vn =

pXi=0

�ixn�i; (1.9)

yn = g (vn) + zn, (1.10)

zob. Pawlak et al. [93], Wachel [129], Hughes i Westwick [56], Bai [1].

áViâ i=0p gÝ6Þ

vnxn yn

zn

Rysunek 1.5: System Wienera z addytywnym sygna÷em zak÷ócaj ¾acym na wyjsciu systemu

Okazuje si¾e, ·ze obecnosc zak÷ócen i miejsce ich wyst¾epowania w systemie maj ¾a istotnywp÷yw na mo·zliwosci identy�kacji systemu i postac algorytmów.

Ze wzgl¾edu na powszechnosc techniki cyfrowej, wi¾ekszosc zastosowan oraz opracowa-nych algorytmów identy�kacji systemówWienera dotyczy systemów z czasem dyskretnym.Zagadnienie identy�kacji systemów z czasem ci ¾ag÷ym dyskutowane jest np. przez Gre-blickiego w pracy [29]. W kontekscie liczby wejsc i wyjsc typow ¾a i najcz¾esciej rozwa·zan ¾aw literaturze architektur ¾a systemów Wienera jest architektura typu SISO (ang. SingleInput, Single Output), zob. np. Billings i Fakhouri [8], Greblicki [26�29, 33]. SystemyWienera o strukturze MIMO (ang. Multiple Inputs, Multiple Outputs) dyskutowanes ¾a przez Westwicka i Verhaegena [135] oraz Jeonga et al. [62]. Z kolei algorytmyidenty�kacji systemów typu MISO (ang. Multiple Inputs, Single Output) omawiane s ¾am.in. przez Westwicka i Kearney�ego [134] oraz Zhu [141]. Szczególny rodzaj systemu


Wienera utworzonego z liniowego obiektu dynamicznego typu SIMO i nieliniowego obiektustatycznego typu MISO wykorzystywany jest przez Boyda i Chu¾e [9] do aproksymacjiszerokiej klasy systemów nieliniowych, zob. p. 1.3.1.

1.3 W÷asnosci aproksymacyjne systemów Hammersteinai Wienera

Omówiona w p. 1.1 reprezentacja systemów nieliniowych przy u·zyciu operatorów Volterryz regu÷y nie jest bezposrednio wykorzystywana w identy�kacji systemów. Stanowi onajednak podstaw¾e do konstruowania i analizy systemów, o strukturach umo·zliwiaj ¾acychaproksymacj¾e lub dok÷adn ¾a reprezentacj¾e szerokiej klasy dynamicznych systemów nieli-niowych. W [115] Shi i Sun rozwa·zaj ¾a reprezentacj¾e systemów nieliniowych za pomoc ¾arównolegle po÷¾aczonych systemów o strukturze sandwich. Dowodz ¾a oni, ·ze systemy z cza-sem dyskretnym, skonczon ¾a pami¾eci ¾a i posiadaj ¾ace reprezentacj¾e w postaci skonczonegoszeregu Volterry, mog ¾a byc precyzyjnie opisane za pomoc ¾a sumy skonczonej liczbysystemów typu sandwich. Z kolei w [68] Korenberg dyskutuje reprezentacj¾e systemównieliniowych za pomoc ¾a odpowiednio po÷¾aczonych liniowych obiektów dynamicznychz nieliniowymi obiektami statycznymi. W pracy tej wykazano, ·ze ka·zdy system nieliniowyo skonczonej pami¾eci z czasem dyskretnym, dla którego istnieje reprezentacja w postaciskonczonego szeregu Volterry mo·ze byc dok÷adnie reprezentowany przez równoleg÷epo÷¾aczenie skonczonej liczby systemów Wienera. Powy·zszy wynik prowadzi wi¾ec doogólnego wniosku, ·ze systemy b¾ed ¾ace równoleg÷ym po÷¾aczeniem systemów Wienera typuSISO mog ¾a byc wykorzystywane do reprezentacji szerokiej klasy systemów nieliniowych.Nieco inne podejscie do aproksymacji szerokiej klasy dynamicznych systemów nieliniowychproponuje Sandberg w serii prac [107�109]. W [107] autor rozwa·za koncepcj¾e reprezentacjiprzyczynowych i stacjonarnych systemów nieliniowych z czasem dyskretnym za pomoc ¾aobiektów o strukturze Hammersteina. Omawiane podejscie zak÷ada, ·ze aproksymowanesystemy posiadaj ¾a �pami¾ec niemal skonczon ¾a�(ang. approximately��nite�memory1). Tensam warunek jest równie·z wykorzystywany przez Parka i Sandberga w pracy [89]. Napodstawie prezentowanych w literaturze rezultatów, dla szerokiej klasy systemów nielinio-wych autorzy formu÷uj ¾a nast¾epuj ¾ac ¾a, nieformaln ¾a tez¾e: �je·zeli wyjscie systemu w dowolnejchwili t0 zale·zy od dalekiej przesz÷osci sygna÷u wejsciowego tylko w dowolnie ma÷ymstopniu, to system mo·ze byc dowolnie dok÷adnie aproksymowany przez proste strukturytakie jak: skonczone szeregi Volterry, dynamiczne wielowarstwowe sieci neuronowe lubsieci radialne�. G÷ówne rezultaty teoretyczne zawarte w pracy zawieraj ¾a sformu÷owaniejednolitych warunków koniecznych i wystarczaj ¾acych jakie musi spe÷niac system abyistnia÷a reprezentacja za pomoc ¾a wymienionych wy·zej struktur. W÷asnosci aproksymacyjnesystemów o strukturze blokowej (w szczególnosci systemów Hammersteina i Wienera), natle podejsc wykorzystuj ¾acych rozwini¾ecia w szeregi Volterry i Wienera, dyskutowane s ¾arównie·z przez Billingsa w przekrojowej pracy [5].

Innym przyk÷adem reprezentacji z÷o·zonych systemów nieliniowych jest, oparta naw÷asnosci zanikania pami¾eci, teoria aproksymacji systemów nieliniowych zaproponowanaprzez Boyda i Chu¾e w pracy [9].

1 t÷umaczenie autora.


1.3.1 Aproksymacja dynamicznych systemów nieliniowych za pomoc ¾asystemów Wienera

Przedstawione przez Boyda i Chu¾e [9] rezultaty odnosz ¾a si¾e do szerokiej klasy systemówstacjonarnych z zanikaj ¾ac ¾a pami¾eci ¾a (ang. fading memory). Intuicyjnie system posiadazanikaj ¾ac ¾a pami¾ec, je·zeli dwa sygna÷y wejsciowe, bliskie w terazniejszosci, ale ró·zni ¾ace si¾ew przesz÷osci, powoduj ¾a ·ze odpowiadaj ¾ace im sygna÷y wyjsciowe s ¾a odpowiednio bliskiew terazniejszosci (scis÷¾a de�nicj¾e znalezc mo·zna np. w [9]). Wymaganie, aby systemposiada÷zanikaj ¾ac ¾a pami¾ec nie jest wi¾ec wymaganiem istotnie ograniczaj ¾acym klas¾espotykanych w praktyce systemów, a w przypadku systemów liniowych jest równowa·znez wymaganiem stabilnosci systemu. Nieco silniejszym ograniczeniem zaw¾e·zaj ¾acym klas¾esystemów rozwa·zanych w [9] jest natomiast wymaganie, aby nieliniowosc w systemie by÷afunkcj ¾a analityczn ¾a2.

Rezultaty otrzymane w omawianej pracy dotycz ¾a zarówno systemów z czasem ci ¾ag÷ymjak i z czasem dyskretnym. W przypadku systemów z czasem dyskretnym, w pracy wyka-zano, ·ze ka·zdy system spe÷niaj ¾acy okreslone powy·zej warunki mo·ze byc aproksymowanyz dowoln ¾a dok÷adnosci ¾a przez skonczony szereg Volterry, zob. Boyd i Chua [9, Tw. 3].Szereg ten mo·zna z kolei zapisac w wygodniejszej, blokowo-zorientowanej postaci jakotzw. operator NLMA (ang. Nonlinear Moving�Average) okreslony wzorem

yn = q (xn; xn�1; : : : ; xn�M+1) , (1.11)

gdzie fxng i fyng s ¾a odpowiednio sygna÷em wejsciowym i wyjsciowym, q : RM ! R jestwielomianem, a M <1 pewn ¾a sta÷¾a.Operator (1.11) mo·zna nast¾epnie przedstawic w postaci systemu Wienera (typu SISO)

z?1

z?1

z?1


NieliniowyPodsystemStatyczny

xn yn

xn

xn?1

xn?M+1

qÝ6Þ

Rysunek 1.6: System Wienera jako kaskadowe po÷¾aczenie liniowego podsystemu dynamicznegotypu SIMO z nieliniowym podsystemem statycznym typu MISO

utworzonego poprzez kaskadowe po÷¾aczenie liniowego obiektu dynamicznego typu SIMOz nieliniowym obiektem statycznym typu MISO, zob. rys. 1.6. Pomimo stosunkowonietypowej struktury otrzymanego systemu Wienera, powy·zszy rezultat prowadzi downiosku, ·ze systemy Wienera stanowi ¾a wa·zn ¾a klas¾e obiektów umo·zliwiaj ¾acych reprezen-tacj¾e szerokiej rodziny nieliniowych systemów dynamicznych.

2 tj. funkcj ¾a, która daje si ¾e rozwin ¾ac w szereg Taylora, Fichtenholz [20, t. II, str. 388].


1.4 Przyk÷ady zastosowan praktycznych

Nieskomplikowana struktura systemów Wienera oraz fakt wyst¾epowania w nich jednocze-snie pami¾eci i nieliniowosci, powoduje ·ze systemy te znajduj ¾a zastosowanie w wielu, cz¾estoniezwi ¾azanych za sob ¾a, dziedzinach nauki. Poni·zej omówiono dwie przyk÷adowe aplika-cje w telekomunikacji (kompensacja zniekszta÷cen nieliniowych w systemach modulacjisygna÷ów) oraz chemii (sterowanie procesem neutralizacji pH). Wymienione zosta÷y tak·zezastosowania m.in. w takich dziedzinach jak medycyna, optyka i przetwarzanie obrazów.

1.4.1 Kompensacja zniekszta÷cen nieliniowych w systemach modulacjisygna÷ów typu OFDM

Ze wzgl¾edu na liczne zalety technika transmisji danych OFDM (ang. Orthogonal FrequencyDivision Method) jest obecnie powszechnie wykorzystywana m.in. w szerokopasmowychsystemach cyfrowych, takich jak: systemy telewizji cyfrowej, bezprzewodowy dost¾epdo Internetu, ADSL itp. Transmisja OFDM, polegaj ¾aca na rozdzieleniu pojedynczegostrumienia danych (bitów) na wiele podnosnych, oprócz wielu istotnych zalet posiadarównie·z wady. W szczególnosci, istotnym problemem jest wyst¾epowanie zniekszta÷cennieliniowych wprowadzanych przez wyst¾epuj ¾ace w systemie wzmacniacze.

W pracy [64] Kang et al. dyskutuj ¾a technik¾e adaptacyjnej prekompensacji zniekszta÷cennieliniowych wyst¾epuj ¾acych w systemach OFDM i powodowanych przez �ltr liniowypo÷¾aczony kaskadowo ze wzmacniaczem du·zej mocy HPA (ang. High Power Ampli�er).W omawianym podejsciu statyczny wzmacniacz HPA, poprzedzony obiektem liniowym,modelowany jest za pomoc ¾a systemu Wienera, a prekompensacja zniekszta÷cen polegana zastosowaniu na wejsciu, uk÷adu o strukturze Hammersteina z odpowiednio dobran ¾apami¾eci ¾a i nieliniowosci ¾a. Zadaniem systemu Hammersteina jest takie wst¾epne przetworze-nie sygna÷u wejsciowego, aby po przejsciu przez nieliniowy element (system Wienera) niewyst¾epowa÷y zniekszta÷cenia nieliniowe. Proponowany algorytm prekompensacji przedsta-wiony jest schematycznie na rys. 1.7. W celu dostrojenia uk÷adu prekompensuj ¾acego,tj. systemu Hammersteina, dokonywana jest identy�kacja nieznanego systemu Wienera.Zadanie to realizowane jest przez Algorytm Adaptacyjny i ustalaj ¾acy parametry modeluwzmacniacza na podstawie wielkosci b÷¾edu "n (zob. rys. 1.7). Otrzymane w procesieidenty�kacji parametry nieznanego systemu Wienera, wraz z informacj ¾a o b÷¾edzie en (zob.rys. 1.7), wykorzystywane s ¾a nast¾epnie przez Algorytm Adaptacyjny II do wyznaczeniacharakterystyki nieliniowej i �ltru liniowego w systemie Hammersteina.

1.4.2 Proces neutralizacji pH

Istotnym elementem wielu procesów produkcyjnych jest powstawanie scieków o chara-kterze kwasowym lub zasadowym. W takich sytuacjach substancje odpadowe poddajesi¾e neutralizacji, polegaj ¾acej na wymieszaniu scieków z odpowiedni ¾a ilosci ¾a odczynnikao przeciwnym pH. Sterowanie omawianym procesem jest jednak zadaniem stosunkowoskomplikowanym, ze wzgl¾edu na wyst¾epuj ¾ac ¾a w nim inercj¾e oraz silne zale·znosci nieliniowe.Z tego powodu, przy konstruowaniu algorytmów sterowania wykorzystuje si¾e modelenieliniowe omawianego zjawiska. Analiza odpowiednich reakcji chemicznych prowadzi downiosku, ·ze modele o strukturze Wienera szczególnie dobrze reprezentuj ¾a omawiany proceszoboj¾etniania, por. Gómez et al. [23], Norquay et al. [85], Kalafatis et al. [63], Pajunen[87]. Zagadnienie neutralizacji pH omówione zostanie krótko na przyk÷adzie procesurozwa·zanego przez Gómeza et al. w pracy [23]. Do zbiornika, zob. rys. 1.8, dostarczanes ¾a trzy substancje: wodorotlenek sodu (NaOH), wodorow¾eglan sodu (NaHCO3) orazkwas azotowy(V) (HNO3). Wielkosciami wejsciowymi w omawianym procesie s ¾a szybkosci


filtr liniowywzm. dużej

mocy(HPA)

statycznypodsystemnieliniowy

(odwr.)

filtr liniowy(odwr.)

filtr liniowystatyczny

podsystemnieliniowy

Algorytmadaptacyjny I

Algorytm adaptacyjny II

Wzmacniacz(system Wienera)

Prekompensator(system Hammersteina)

Model wzmacniacza

ynxn

Pn

en

un

Rysunek 1.7: Schemat prekompensacji zniekszta÷cen nieliniowych wprowadzanych przez wzmac-niacz du·zej mocy w systemie OFDM

przep÷ywu (odpowiednio x1;n, x2;n i x3;n) wymienionych wy·zej zwi ¾azków. Wyjsciem ynca÷ego systemu jest wartosc wspó÷czynnika pH substancji wyp÷ywaj ¾acej ze zbiornika.Zarówno szybkosc przep÷ywu x3;n kwasu azotowego jak i poziom cieczy w zbiornikus ¾a wielkosciami sta÷ymi. Celem procesu neutralizacji jest uzyskanie odpowiedniego pHsubstancji wyp÷ywaj ¾acej ze zbiornika (scieku) poprzez regulacj¾e przep÷ywu x1;n, tj. iloscizasady NaOH dostarczanej do zbiornika. Zak÷ada si¾e przy tym, ·ze szybkosc przep÷ywu x2;nsoli NaHCO3 jest nieznana.Powy·zsze za÷o·zenia prowadz ¾a do wniosku, ·ze wejsciem i wyjsciem rozwa·zanego obiektuidenty�kacji s ¾a odpowiednio x1;n i yn, podczas gdy x2;n jest niedost¾epnym dla pomiarówszumem, a x3;n sta÷ym parametrem.

1.4.3 Inne zastosowania

Oprócz omówionych wy·zej aplikacji, systemy Wienera wykorzystywane s ¾a z powodzeniemrównie·z w innych dziedzinach. Dalsze przyk÷ady ich zastosowan to m.in.:

� modelowanie procesu destylacji (identy�kacja kolumny destylacyjnej), Zhu [141],Pearson i Pottmann [94],

� sterowanie procesem polimeryzacji, Jeong et al. [62],

� zastosowania w neurologii, Marmarelis i Naka [79],

� modelowanie uk÷adu wzrokowego cz÷owieka, den Brinker [16],

� modelowanie i analiza zapisu EEG u niemowl ¾at, Celka i Colditz [13],

� zastosowania w naukach biologicznych, Hunter i Korenberg [57],

� zastosowania w optyce, Celka et al. [12],


zbiornik

NaHCO3 Ýx2,n ÞNaOH Ýx1,n Þ

HNO3 Ýx3,n Þ

Ph Ýyn Þ

Rysunek 1.8: Proces neutralizacji Ph

� identy�kacja systemów chaotycznych z czasem ci ¾ag÷ym i dyskretnym, Chen et al. [14],Xu et al. [140],

� modelowanie pr¾edkosci przep÷ywu wody w rzece, Sbárbaro i Johansen [110],� usuwanie szumów z obrazów, Sekko et al. [114].

1.5 Systemy Wienera �podsumowanie zastosowan prakty-cznych i w÷asnosci teoretycznych

Przedstawiona wy·zej krótka charakterystyka rozwa·zanych w literaturze systemów Wie-nera dowodzi, ·ze obiekty te ciesz ¾a si¾e du·zym zainteresowaniem badaczy. Ich w÷asnosciteoretyczne oraz prosta konstrukcja powoduj ¾a, ·ze stanowi ¾a one istotny element teoriiaproksymacji dynamicznych systemów nieliniowych. Jednoczesnie znajduj ¾a one szeregzastosowan praktycznych w wielu cz¾esto niezwi ¾azanych ze sob ¾a dziedzinach naukowych.Powy·zsze obserwacje w pe÷ni uzasadniaj ¾a wi¾ec celowosc konstruowania algorytmówidenty�kacji systemów Wienera.

1.6 Okreslenie zakresu tematycznego pracy

W pracy rozwa·za si¾e zadanie identy�kacji systemówWienera z czasem dyskretnym i skonc-zon ¾a pami¾eci ¾a. Zak÷ada si¾e, ·ze d÷ugosc pami¾eci systemu jest znana. Równoczesnie przyj-muje si¾e za÷o·zenie, ·ze wiedza wst¾epna o nieliniowej charakterystyce w systemie jest bardzoma÷a i ma charakter nieparametryczny. Szczególny nacisk k÷adzie si¾e na opracowaniealgorytmów umo·zliwiaj ¾acych identy�kacj¾e w przypadku losowych sygna÷ów wejsciowych �o rozk÷adach innych ni·z rozk÷ad normalny. Proponuje si¾e parametryczno�nieparametrycznealgorytmy identy�kacji, które umo·zliwiaj ¾a identy�kacj¾e liniowego i nieliniowego podsys-temu z dok÷adnosci ¾a do nieznanej multiplikatywnej sta÷ej. Dla skonstruowanych metodidenty�kacji przeprowadza si¾e analiz¾e w÷asnosci asymptotycznych. Wykonane badaniaeksperymentalne ilustruj ¾a natomiast zachowanie si¾e algorytmów dla ma÷ej i sredniej liczbyobserwacji.

Rozdzia÷2

Parametryczno�nieparametrycznaidenty�kacja systemów Wienera.Teza i cele pracy

2.1 Parametryczna i nieparametryczna identy�kacja sys-temów

Wiedza aprioryczna o strukturze systemu oraz charakterze sygna÷u wejsciowego i zak÷óca-j ¾acego ma kluczowe znaczenie przy doborze w÷asciwej metody identy�kacji, Hasiewicz [49],Greblicki [25], Söderström i Stoica [118]. Gdy jest ona na tyle du·za, ·ze zadanie identy�kacjidaje si¾e sprowadzic do wyznaczenia skonczonej i znanej liczby parametrów systemu,mo·zliwe jest zastosowanie tzw. parametrycznych metod identy�kacji. W wielu przypadkachnatomiast, dost¾epna informacja o systemie jest znacznie bardziej ograniczona, a jejposzerzenie mo·ze byc zbyt kosztowne lub niemo·zliwe. W sytuacjach takich, w zale·znosci odcharakteru posiadanej informacji wst¾epnej, konieczne jest zastosowanie tzw. algorytmównieparametrycznych lub parametryczno�nieparametrycznych.

W rozdziale przedstawiona jest krótka charakterystyka parametrycznych, niepara-metrycznych oraz nowych koncepcyjnie parametryczno�nieparametrycznych algorytmówidenty�kacji systemów, ze szczególnym uwzgl¾ednieniem technik zastosowanych w pracy.Ponadto omówione s ¾a krótko, dotychczas prezentowane w literaturze, parametrycznei nieparametryczne algorytmy identy�kacji systemów Wienera.

2.1.1 Metody parametryczne

W zale·znosci od zakresu posiadanej informacji wst¾epnej, metody parametryczne opra-cowane dla celów identy�kacji systemów bazuj ¾a na metodzie najmniejszych kwadratów,metodzie najwi¾ekszej wiarygodnosci lub te·z metodzie najwi¾ekszego prawdopodobienstwaa posteriori, Hasiewicz [49], Söderström i Stoica [118], Ljung [76], Manczak i Nahorski [78],Goodwin i Payne [24]. Przyk÷adowo, dla statycznego systemu nieliniowego opisanegorównaniem

yn = g (xn; �) + Zn;

gdzie funkcja g (�; �) znana jest z dok÷adnosci ¾a do wektora parametrów � 2 Rk, k <1, a fZng jest stacjonarnym bia÷ym szumem o zerowej wartosci oczekiwanej E fZng =0 i skonczonej wariancji V ar fZng < 1, metoda najmniejszych kwadratów polega na

12

Rozdzia� 2. Parametryczno�nieparametryczna identy�kacja systemów Wienera 13

minimalizacji funkcji kryterialnej

� (�) =NXn=1

[yn � g (xn; �)]2 ,

gdzie N jest liczb ¾a par obserwacji (xn; yn) wejscia i wyjscia systemu. Dla takiegopodejscia opracowano szereg uogólnien i mody�kacji, umo·zliwiaj ¾acych stosowanie metodynajmniejszych kwadratów w przypadku bardziej z÷o·zonych obiektów identy�kacji, zob. np.Mzyk [80]. Analiz¾e w÷asnosci asymptotycznych metody znalezc mo·zna m.in. w Söderströmi Stoica [118], Van der Vaart [123], Jennrich [61], Wu [139].

2.1.2 Metody nieparametryczne

W odró·znieniu od metod parametrycznych, idea nieparametrycznej identy�kacji systemówjest relatywnie nowa, a u jej podstaw le·zy teoria nieparametrycznego wnioskowaniastatystycznego i w szczególnosci zagadnienie nieparametrycznej estymacji funkcji regresji.Metody nieparametryczne wymagaj ¾a jedynie niewielkiej informacji wst¾epnejo identy�kowanym systemie i przez to umo·zliwiaj ¾a rozwi ¾azanie zadan iden-ty�kacji b ¾ed ¾acych poza zasi ¾egiem jakichkolwiek podejsc parametrycznych.Koncepcja omawianych algorytmów polega na znalezieniu zale·znosci pomi¾edzy szukan ¾acharakterystyk ¾a nieliniow ¾a wyst¾epuj ¾ac ¾a w systemie, a odpowiedni ¾a funkcj ¾a regresji daj ¾ac ¾asi¾e w ÷atwy sposób estymowac na podstawie zbioru posiadanych pomiarów. W typowymzadaniu nieparametrycznej identy�kacji prostego systemu statycznego zak÷ada si¾e, ·ze we-jscie fXng systemu jest ci ¾agiem i:i:d: zmiennych losowych, a identy�kacja przeprowadzanajest na podstawie zbioru par obserwacji wejscia i wyjscia systemu, reprezentowanych przezzbiór zmiennych losowych f(Xn; Yn)gNn=1. W przypadku statycznego systemu nieliniowegoopisanego równaniem

Yn = g (Xn) + Zn;

gdzie fZng jest losowym szumem o zerowej wartosci oczekiwanej, niezale·znym od wejsciasystemu, a charakterystyka g (�) jest ca÷kowicie nieznana, prawdziwa jest nast¾epuj ¾acazale·znosc

g (x) = E fYnjXn = xg . (2.1)

Zadanie identy�kacji nieliniowosci g (�) mo·zna wi¾ec realizowac poprzez estymacj¾e funkcjiregresji (wyjscia wzgl¾edem wejscia) wyst¾epuj ¾acej w (2.1).

Gwa÷towny rozwój nieparametrycznych metod identy�kacji dynamicznych systemówo z÷o·zonej strukturze zapocz ¾atkowany zosta÷opublikowanymi przez Greblickiego i Pawlakarezultatami badan dotycz ¾acych nieparametrycznej identy�kacji systemów Hammersteina.W [38] wykazali oni, ·ze dla nieliniowej charakterystyki g (�) wyst¾epuj ¾acej w takim systemieprawdziwa jest nast¾epuj ¾aca zale·znosc

g (x) = aE fYnjXn = xg+ b,

gdzie a i b s ¾a sta÷ymi, niemo·zliwymi niestety do wyznaczenia bez dodatkowej informacjiwst¾epnej. Powy·zszy wynik stanowi podstaw¾e konstrukcyjn ¾a nieparametrycznych algoryt-mów identy�kacji równie·z innych systemów blokowo-zorientowanych (ale nie systemówWienera), zob. np. Greblicki i Pawlak [39], Pawlak i Hasiewicz [92], Hasiewicz [50],Greblicki [31], Hasiewicz [51], Hasiewicz i Sliwinski [54]. Z kolei Greblicki, w cykluprac [26�28], zastosowa÷podejscie nieparametryczne do identy�kacji systemów Wienera.Uzyskane tam rezultaty omówione b¾ed ¾a szerzej w p. 2.2.2.


Nieparametryczna estymacja funkcji regresji

Koncepcja nieparametrycznej estymacji funkcji regresji, zaproponowana niezale·znie przezWatsona [133] i Nadaray¾e [81], wywodzi si¾e od j ¾adrowych estymatorów funkcji g¾e-stosci prawdopodobienstwa, Parzen [90]. Dla zmiennej losowej X posiadaj ¾acej g¾estoscprawdopodobienstwa f (�), j ¾adrowy estymator funkcji g¾estosci, zbudowany w oparciuo N�elementowy zbiór fXngNi=1 niezale·znych zmiennych losowych o rozk÷adzie1 f (�),przyjmuje postac

fN (x) =1

Nh

NXn=1

K

�x�Xnh

�; (2.2)

gdzie K (�) jest tzw. funkcj ¾a j ¾adra, a h = h (N) dodatnim ci ¾agiem liczbowym (tzw.parametrem wyg÷adzania, ang. bandwidth parameter), takim ·ze h ! 0 i Nh ! 1 przyN !1. Idea estymacji g¾estosci f (�) w ustalonym punkcie x polega zatem na przybli·zaniuwartosci f (x) na podstawie danych pomiarowych, które znajduj ¾a si¾e odpowiednio bliskopunktu x, zob. np. Greblicki [25], Hasiewicz [49], Kulczycki [72], Wand i Jones [132].Przyjmuj ¾ac odpowiednie za÷o·zenia odnosnie j ¾adra K (�) mo·zna pokazac, ·ze estymatorfN (�) jest zgodnym estymatorem g¾estosci f (�) w ka·zdym punkcie ci ¾ag÷osci funkcji f (�). Dlaestymatora fN (�) uzyskano ponadto szereg wyników teoretycznych okreslaj ¾acych warunkipozwalaj ¾ace otrzymac inne ni·z punktowa rodzaje zbie·znosci. Przyk÷adowo, zbie·znoscjednostajna dyskutowana jest przez Silvermana [116], a zbie·znosc estymatora w metryceL1 omawiana jest przez Devroye�a i Györ�ego w [18].

Niech X i Y b¾ed ¾a zmiennymi losowymi o ÷¾acznej g¾estosci prawdopodobienstwafXY (�; �) oraz E jY j <1. Podstaw ¾a konstrukcji j ¾adrowego estymatora funkcji regresji

� (x) = E fY jX = xg

jest obserwacja, ·ze zgodnie z de�nicj ¾a warunkowej wartosci oczekiwanej,

� (x) =r (x)

f (x); (2.3)

gdzie r (x) =R1�1 yf (x; y) dy oraz f (x) jest g¾estosci ¾a prawdopodobienstwa zmiennej

losowej X. Wykorzystuj ¾ac N�elementowy zbiór f(Xn; Yn)gNn=1 zmiennych losowycho rozk÷adzie fXY (�; �), funkcj¾e � (�) estymuje si¾e przybli·zaj ¾ac funkcje r (�) i f (�)w powy·zszym wyra·zeniu. Szczególnie cz¾esto rozwa·zanymi estymatorami regresji � (�)zbudowanymi w oparciu o dekompozycj¾e (2.3) s ¾a estymatory j ¾adrowe (ang. kernelestimates) oraz estymatory wykorzystuj ¾ace rozwini¾ecia funkcji w szereg ortogonalny(ang. orthogonal series estimates). Konstruowane dalej w pracy algorytmy identy�kacjisystemów Wienera budowane s ¾a w oparciu o estymatory j ¾adrowe.

J ¾adrowe estymatory regresji. Pierwsze prace poswi¾econe j ¾adrowym estymatoromfunkcji regresji opublikowano w latach szescdziesi ¾atych ubieg÷ego stulecia, Watson [133],Nadaraya [81], a gwa÷towny wzrost zainteresowania nowo otrzymanymi metodami za-owocowa÷szeregiem rezultatów rozwijaj ¾acych wst¾epne wyniki w wielu kierunkach, zob.np. Greblicki et al. [35], Devroye [17], Härdle [46], Wand i Jones [132].

Wstawiaj ¾ac estymator (2.2) do mianownika wyra·zenia (2.3) oraz konstruuj ¾ac analogi-czne oszacowanie dla ca÷ki w liczniku wyra·zenia (2.3), otrzymuje si¾e nast¾epuj ¾acy estymator

1W zastosowaniach praktycznych ci ¾agowi zmiennych losowychfXngNn=1 odpowiada zbiór obserwacji(pomiarów) fxngNn=1 b ¾ed ¾acy realizacj ¾a ci ¾agu (procesu stochastycznego) fXngNn=1.


funkcji regresji2 (zob. np. Greblicki [25], Hasiewicz [49], Kulczycki [72])

�N (x) =

NXn=1

YnK

�x�Xnh

�NXn=1

K

�x�Xnh

� ; (2.4)

gdzie K (�) i h s ¾a odpowiednio funkcj ¾a j ¾adra i parametrem wyg÷adzania zale·znym odliczby obserwacji N . Przyjmuj ¾ac odpowiednie za÷o·zenia o funkcji j ¾adra K (�) i parametrzewyg÷adzania h mo·zna wykazac, ·ze estymator �N (�) zbiega do funkcji � (�) wed÷ugprawdopodobienstwa gdy N ! 1, w ka·zdym punkcie x, w którym � (x) i f (x) s ¾aci ¾ag÷e oraz f (x) > 0. Ze wzgl¾edu na nieskomplikowan ¾a budow¾e i ÷atwosc implementacji,estymator �N (�) stanowi istotny element konstrukcyjny wielu nieparametrycznych algoryt-mów identy�kacji. Podobnie jak dla j ¾adrowego estymatora g¾estosci prawdopodobienstwa,dla omawianego estymatora funkcji regresji otrzymano szereg wyników teoretycznychokreslaj ¾acych warunki, przy których �N (�) posiada ró·zne w÷asnosci asymptotyczne.Przyk÷adowo zagadnienie asymptotycznej normalnosci estymatora �N (�) dyskutowanejest przez Nadaray¾e [81] i Schustera [113], problematyka optymalnej szybkosci zbie·znosci�N (�) omawiana jest przez Stona w [120], a Mack i Silverman [77] podaj ¾a warunki,przy których zachodzi s÷aba i mocna jednostajna zgodnosc �N (�). W [35] Greblicki et al.rozwa·zaj ¾a z kolei punktow ¾a zgodnosc estymatora �N (�) w przypadku dowolnego rozk÷aduprawdopodobienstwa zmiennej wejsciowej X (ang. distribution�free consistency).

2.1.3 Metody parametryczno�nieparametryczne

Algorytmy parametryczno�nieparametryczne umo·zliwiaj ¾a identy�kacj¾e w sytuacji, gdywiedza aprioryczna o systemie ma mieszany, parametryczny i nieparametryczny, charakter.Typowym przyk÷adem tego rodzaju informacji wst¾epnej jest posiadanie du·zej wiedzy(parametrycznej) o jednym z podsystemów i ma÷ej (nieparametrycznej) na temat drugiegopodsystemu.

W kontekscie identy�kacji systemów Hammersteina pierwszy tego rodzaju algorytmzaproponowany zosta÷przez Hasiewicza i Mzyka w [52]. Wykorzystuj ¾ac technik¾e niepara-metrycznej estymacji funkcji regresji, w pracy skonstruowano estymator wewn¾etrznegosygna÷u interakcyjnego, który nast¾epnie wykorzystano do przeprowadzenia niezale·znieparametrycznej identy�kacji nieliniowego podsystemu statycznego i liniowego dynami-cznego (metod ¾a najmniejszych kwadratów).

2.2 Aktualny stan badan na temat identy�kacji systemówWienera

Prezentowane w literaturze metody identy�kacji systemów Wienera klasy�kowac mo·znawed÷ug ró·znych kryteriów. Typowa i cz¾esto spotykana systematyka opiera si¾e na podzialealgorytmów ze wzgl¾edu na ilosc informacji apriorycznej niezb¾ednej dla zastosowaniaokreslonej metody identy�kacji (algorytmy parametryczne i nieparametryczne). Inny,w÷asciwy dla systemów Wienera podzia÷, zwi ¾azany jest z charakterem sygna÷u wejsciowegooraz szczególnymi w÷asnosciami charakterystyki nieliniowej. Ze wzgl¾edu na specy�czn ¾a

2W przypadku gdy licznik i mianownik estymatora s ¾a równe zero, zazwyczaj przyjmuje si¾e, ·ze 0=0 = 0(por. np. Greblicki i Pawlak [39]). Dla rozwa·zanych w pracy estymatorów z j ¾adrem równie·z zastosujemyt¾e konwencj¾e.


konstrukcj¾e omawianych systemów (w szczególnosci fakt wyst¾epowania podsystemuliniowego przed podsystemem nieliniowym) zazwyczaj przyjmowanym za÷o·zeniem jestwymaganie, aby sygna÷wejsciowy systemu mia÷charakter gaussowski, zob. Billingsi Fakhouri [6], Bershad et al. [2], Celka et al. [11], Chen [15], Enqvist [19], Greblicki [26�28],Westwick i Verhaegen [135]. Algorytmy umo·zliwiaj ¾ace identy�kacj¾e dla niegaussowskichsygna÷ów wejsciowych s ¾a rzadziej omawiane w literaturze, zob. np. Pawlak et al. [93], Talebet al. [121]. Innym charakterystycznym dla systemów Wienera za÷o·zeniem jest wymaganie,aby charakterystyka nieliniowa by÷a funkcj ¾a odwracaln ¾a, zob. np. Greblicki [26,27], Gómezet al. [23], Gómez i Baeyens [22], Raich et al. [98], Solé-Casals et al. [119], Taleb et al. [121].Z kolei Greblicki [28], Hughes i Westwick [56], Lacy i Bernstein [73] oraz Wigren [138]prezentuj ¾a algorytmy nie wymagaj ¾ace odwracalnosci nieznanej charakterystyki.

Fakt wyst¾epowania nieliniowego obiektu statycznego za liniowym obiektem dynam-icznym mo·ze powodowac istotne komplikacje w identy�kacji, w przypadku gdy na wyjsciusystemu wyst¾epuje addytywny sygna÷zak÷ócaj ¾acy (por. p. 1.2). Z tego powodu prezen-towane w literaturze algorytmy daj ¾a si¾e klasy�kowac równie·z pod k ¾atem �lokalizacji�niedost¾epnych dla pomiaru zak÷ócen. Identy�kacja systemów Wienera, w których szum niewyst¾epuje rozwa·zana jest np. przez Lacy�ego i Bernsteina [73]. Systemy z addytywnymsygna÷em zak÷ócaj ¾acym interakcje, tj. wyst¾epuj ¾acym na wyjsciu podsystemu dynami-cznego, dyskutuj ¾a Gómez i Baeyens [22,23] oraz Greblicki [26�29,33]. Z kolei identy�kacjasystemów z szumem na wyjsciu ca÷ego systemu rozwa·zana jest przez Baia [1], Hughesai Westwicka [56], Pawlaka et al. [93] oraz Wachla [129].

W dalszej cz¾esci rozdzia÷u omówione zostan ¾a prezentowane dotychczas w literaturzeparametryczne i nieparametryczne metody identy�kacji systemów Wienera i na tym tleprzedstawiona zostanie ogólna koncepcja proponowanych w pracy nowych algorytmówparametryczno�nieparametrycznych.

2.2.1 Parametryczna identy�kacja systemów Wienera

W typowym zadaniu parametrycznej identy�kacji systemów Wienera zak÷ada si¾e za-zwyczaj, ·ze podsystem dynamiczny posiada skonczon ¾a pami¾ec (o znanej d÷ugosci),a nieliniowa charakterystyka g (�) jest wielomianem znanego stopnia, Lacy i Bernstein[73]. Rzadziej rozwa·za si¾e ogólniejsze podejscia, w których pami¾ec systemu nie musibyc skonczona. Przyk÷adowo Norquay et al. [85] proponuj ¾a algorytm umo·zliwiaj ¾acyparametryczn ¾a identy�kacj¾e systemów Wienera z wyjsciowym szumem addytywnym (rys.1.5) i podsystemem liniowym opisywanym równaniem ró·znicowym

Vn =B�q�1�

A (q�1)Xn,

gdzie A�q�1�= 1+a1q

�1+ : : :+akq�k oraz B

�q�1�= b1q

�1+ : : :+blq�l s ¾a wielomianami

znanych stopni k i l, a q�1 jest operatorem przesuni¾ecia wstecz. Nieliniowa charakterystykag (�) jest wielomianem znanego stopnia m,

g (v) = 1v + 2v2 + � � � mvm.

Zadanie identy�kacji polega na wyznaczeniu wspó÷czynników wielomianów A�q�1�,

B�q�1�i g (v), tj. elementów wektora �0 = [a1; : : : ; ak; b1; : : : ; bl; 1; : : : ; 2; : : : ; m]

T ,na podstawie zbioru obserwacji wejscia i wyjscia systemu f(Xn; Yn)gNn=1. W oma-wianym podejsciu, na podstawie dost¾epnej informacji wst¾epnej, konstruuje si¾e model�wejscie�wyjscie�systemu zale·zny od wektorowego parametru �,

Yn (Xn; �) =

mXi=1

i

B�q�1�

A (q�1)Xn

!i


oraz funkcj¾e kryterialn ¾a zbudowan ¾a w oparciu o zbiór f(Xn; Yn)gNn=1,

�1 (�) =1

N

NXn=1

[Yn � Yn (Xn; �)]2 .

Metoda polega na wyznaczaniu takiego wektora � który minimalizuje funkcj¾e kryterialn ¾a�1 (�).

Omówiony algorytm jest jedn ¾a z wielu parametrycznych metod identy�kacji systemówWienera zbudowanych w oparciu o metod¾e najmniejszych kwadratów, por. np. Pupeikis[97], Lacy i Bernstein [73], Schoukens et al. [111], Bruls et al. [10], Hughes i Westwick[56]. Inne podejscia do identy�kacji systemów Wienera proponowane s ¾a m.in. przezXu et al. [140] i Chena et al. [14] gdzie zastosowano teori¾e uczenia sieci neuronowychdo modelowania nieliniowosci w systemie. Podejscie cz¾estotliwosciowe, umo·zliwiaj ¾aceidenty�kacj¾e przy deterministycznym pobudzeniu sinusoidalnym, omawiane jest przez Baia[1], a zastosowanie metod korelacyjnych proponowane jest przez Billingsa i Fakhouriegow [7, 8]. W [137] Wigren konstruuje rekurencyjny algorytm, oparty na metodzie b÷¾edupredykcji, umo·zliwiaj ¾acy identy�kacj¾e systemów z obiektem dynamicznym typu ARMAi odcinkami liniowymi nieliniowosciami (ang. piecewise linear), zob. te·z Wigren [138].Podejscie rekurencyjne proponowane jest równie·z przez Chena [15] do identy�kacjinieci ¾ag÷ych, odcinkami liniowych nieliniowosci oraz przez Jacobsa [59], zob. te·z Vörös [124]i Hagenblad [44]. Na uwag¾e zas÷uguj ¾a tak·ze metody typu blind identi�cation, Taleb etal. [121].

Nale·zy podkreslic, ·ze w odró·znieniu od algorytmów nieparametrycznych, dla wi¾ekszosciomawianych w literaturze metod parametrycznej identy�kacji systemów Wienera nieprzeprowadzono teoretycznej analizy ich w÷asnosci asymptotycznych.

2.2.2 Nieparametryczna identy�kacja systemów Wienera

Pierwszy nieparametryczny algorytm identy�kacji systemów Wienera opublikowany zosta÷w roku 1992 przez Greblickiego w [26]. Zaproponowana metoda, podobnie jak opracowanewczesniej nieparametryczne algorytmy identy�kacji systemów Hammersteina (Greblickii Pawlak [38]), bazowa÷a na zale·znosci pomi¾edzy odpowiedni ¾a funkcj ¾a regresji, a nieliniow ¾acharakterystyk ¾a wyst¾epuj ¾ac ¾a w systemie. W pracy wykazano, ·ze dla asymptotyczniestabilnego systemu Wienera (1.7)�(1.8) o dowolnej pami¾eci, funkcja regresji (wejsciawzgl¾edem wyjscia) o postaci

� (y) = E fXnjYn = yg

jest zwi ¾azana z nieliniow ¾a charakterystyk ¾a g (�) nast¾epuj ¾ac ¾a zale·znosci ¾a

� (y) = cg�1 (y) ; (2.5)

gdzie c jest sta÷¾a zale·zn ¾a od podsystemu liniowego oraz od wariancji sygna÷u fXng.Otrzymany zwi ¾azek udowodniony zosta÷przy za÷o·zeniu, ·ze sygna÷wejsciowy fXngoraz wewn¾etrzny sygna÷zak÷ócaj ¾acy s ¾a stochastycznie niezale·znymi ci ¾agami typu i:i:d:o rozk÷adach normalnych z zerowymi wartosciami oczekiwanymi. Ponadto, ze wzgl¾edu nawyst¾epowanie w (2.5) funkcji odwrotnej do g (�) przyj¾eto, ·ze nieliniowa charakterystykajest funkcj ¾a scisle monotoniczn ¾a i spe÷niaj ¾ac ¾a warunek Lipschitza (tzn. jg (v1)� g (v2)j �� jv1 � v2j� , � > 0; � > 0; i v1; v2 2 R). Przedstawiony algorytm identy�kacji umo·zliwia÷poprzez estymacj¾e regresji � (�) szacowanie odwrotnosci nieliniowej charakterystyki g (�).Do estymacji funkcji � (�) wykorzystano estymator j ¾adrowy (por. (2.4)) zbudowany


w oparciu o N�elementowy zbiór obserwacji f(Xn; Yn)gNn=1 pochodz ¾acych z systemu,

�N (y) =

NXn=1

XnK

�y � Ynh

�NXn=1

K

�y � Ynh

� , (2.6)

gdzie K (�) jest nieujemn ¾a, ograniczon ¾a i lipschitzowsk ¾a funkcj ¾a j ¾adra, tak ¾a ·zeRK (t) dt =

1 i K (t) t1+" ! 0 gdy jtj ! 1; dla dowolnego " > 0 oraz h jest parametrem wyg÷adzaniaspe÷niaj ¾acym warunki h ! 0; N2h ! 1 gdy N ! 1. W pracy wykazano, ·ze estymator�N (�) jest zgodnym estymatorem funkcji cg�1 (�) w ka·zdym punkcie y, w którym g¾estoscprawdopodobienstwa wyjscia systemu jest dodatnia. Po przyj¾eciu dodatkowych za÷o·zenodnosnie j ¾adra K (�) i g÷adkosci funkcji g (�) okreslony zosta÷równie·z rz ¾ad szybkoscizbie·znosci estymatora

�N (y) = cg�1 (y) +OP

�N� 1

3

�;

gdy h � N�1=6, w ka·zdym punkcie y w którym g¾estosc wyjscia systemu jest dodatnia(zob. de�nicja symbolu OP (�) na str. 87).

Omówiony wy·zej estymator �N (y) zosta÷nast¾epnie zastosowany do skonstruowanianieparametrycznego algorytmu identy�kacji odpowiedzi impulsowej podsystemu dynami-cznego. Podejscie to wykorzystywa÷o obserwacj¾e, ·ze dla rozwa·zanego systemu Wienera

c�i = E fX0� (Yi)g . (2.7)

Na podstawie powy·zszego wzoru zaproponowano estymator zbudowany w oparciu o nowyci ¾ag pomiarów f(X 0

n; Y0n)g

N 0

n=1 niezale·znych od obserwacji wykorzystanych w konstrukcji�N (�). Ze wzgl¾edu na nieznajomosc funkcji � (�) w (2.7), w jej miejsce wstawiono estymator�N (�). Jako estymator c�i przyj¾eto zatem

�i;N;N 0 =1

N 0

N 0Xn=1

X 0n�N

�Y 0i+n

�.

Zale·znosc (2.5) stanowi÷a równie·z podstaw¾e kolejnego nieparametrycznego algo-rytmu identy�kacji systemów Wienera, Greblicki [27]. W pracy tej zaproponowanoklas¾e algorytmów ortogonalnych zbudowanych w oparciu o szeregi: trygonometryczny,Legendre�a i Hermite�a. Wykazano zgodnosc estymatorów oraz okreslono rz¾edy ichszybkosci zbie·znosci. Otrzymane rezultaty wskazuj ¾a, ·ze dla dwukrotnie ró·zniczkowalnychnieliniowosci opisany powy·zej algorytm j ¾adrowy zbiega szybciej ni·z algorytmy ortogonalne.Niemniej jednak algorytmy ortogonalne cechuj ¾a si¾e lepszymi w÷asnosciami obliczeniowymi,zob. [27, str. 283].

Kolejny etap rozwoju teorii nieparametrycznej identy�kacji systemów Wienera polega÷na opracowaniu metody identy�kacji, nie nak÷adaj ¾acej ·zadnych ograniczen na nieliniow ¾acharakterystyk¾e w systemie3, Greblicki [28]. Opracowana metoda stanowi÷a uogólnieniealgorytmu z [26] i, podobnie jak omówione wy·zej algorytmy, bazowa÷a na zale·znosci(2.5). Z tego powodu za÷o·zenia odnosnie charakteru sygna÷u wejsciowego i zak÷óca-j ¾acego pozosta÷y niezmienione. Nieznan ¾a funkcj¾e regresji � (y) estymowano przy pomocyestymatora (2.6), przyjmuj ¾ac jednak nieco inne za÷o·zenia odnosnie j ¾adra K (�), zob.[28, str. 540]. Wykazano zgodnosc algorytmu w punktach y, w których nieliniowacharakterystyka g (�) jest odwzorowaniem ró·znowartosciowym oraz w ich otoczeniu

3Nieliniowosc musia÷a byc jedynie funkcj ¾a mierzaln ¾a.


spe÷nia warunek Lipschitza. Zak÷adaj ¾ac dodatkowo, ·ze w rozwa·zanych punktach g (�) maniezerow ¾a pochodn ¾a wykazano, i·z estymator posiada szybkosc zbie·znosci OP

�N�1=4�, (dla

h � N�1=4). W omawianej pracy zaproponowano równie·z nieparametryczny estymatorodpowiedzi impulsowej podsystemu dynamicznego. W odró·znieniu od wczesniejszychwyników, algorytm nie wymaga stosowania estymatora funkcji regresji � (�) i opiera si¾ena spostrze·zeniu, ·ze w rozwa·zanym systemie c1�i = E fX0Yig, i = 0; 1; : : :, gdzie c1 jestpewn ¾a sta÷¾a. Jako estymator elementu c1�i przyj¾eto wi¾ec

~�i;N =1

N

NXn=1

XnYi+n. (2.8)

Wykazano, ·ze dla dowolnej nieliniowosci g (�) spe÷niaj ¾acej warunek E jV1g (V1)j < 1,gdzie fVng jest sygna÷em interakcyjnym w systemie, powy·zszy estymator jest zgodnymestymatorem elementu c1�i, oraz ·ze w przypadku gdy nieliniowosc spe÷nia warunekLipschitza, estymator posiada parametryczn ¾a szybkosc zbie·znosci, tj.

c1�i = ~�i;N +OP

�N� 1

2

�, i = 0; 1; 2; : : :

Oprócz omówionych powy·zej algorytmów umo·zliwiaj ¾acych identy�kacj¾e przy bardzo÷agodnych za÷o·zeniach o postaci systemu, podj¾eto równie·z próby opracowania metodnieparametrycznych, pozwalaj ¾acych na identy�kacj¾e w przypadku sygna÷ów wejsciowychnie b ¾ed ¾acych ci ¾agami typu i:i:d: (ale w dalszym ci ¾agu o charakterze gaussowskim),Greblicki [33]. Teori¾e nieparametrycznej identy�kacji systemów Wienera rozwijano te·zw innych kierunkach. W [30] Greblicki zaproponowa÷rekurencyjn ¾a wersj¾e algorytmu,a Wachel [125,126] przedstawi÷algorytm ortogonalny, zbudowany w oparciu o rozwini¾eciafalkowe.

2.3 Ogólna charakterystyka proponowanych metod identy-�kacji

Zarówno parametryczne jak i nieparametryczne metody identy�kacji systemów Wieneraposiadaj ¾a ograniczenia, wynikaj ¾ace ze specy�cznej konstrukcji rozwa·zanej klasy systemów.Omawiane zadanie identy�kacji jest stosunkowo trudne i zazwyczaj wymaga przyj¾eciasilnych za÷o·zen odnosnie samego systemu b ¾adz te·z sygna÷ów wejsciowego i zak÷ócaj ¾acego.W praktyce, opracowane dotychczas algorytmy parametryczne wymagaj ¾a du·zej wiedzyo nieliniowosci g (�) oraz wyst¾epowania gaussowskiego sygna÷u wejsciowego. Je·zeli infor-macja o nieliniowosci jest zbyt ma÷a, mo·zliwe jest zastosowanie algorytmów nieparame-trycznych. Niestety, w przypadku gdy sygna÷wejsciowy nie jest sygna÷em gaussowskim,wi¾ekszosc metod parametrycznych oraz metody nieparametryczne nie mog ¾a byc stosowane.Z tego powodu szczególnie istotne wydaje si¾e opracowanie algorytmów umo·zliwiaj ¾acychidenty�kacj¾e w sytuacjach, gdy dost¾epna wiedza aprioryczna nie wystarcza do zastosowa-nia algorytmów czysto parametrycznych oraz sygna÷wejsciowy systemu nie jest sygna÷emgaussowskim. Prezentowane w pracy podejscie parametryczno�nieparametryczne maumo·zliwic identy�kacj¾e w przypadku, gdy omówione powy·zej parametryczne i niepara-metryczne metody identy�kacji nie mog ¾a byc stosowane wprost. Koniecznym warunkiemjest jednak skonczonosc i znajomosc d÷ugosci pami¾eci systemu, co jak wynika z rozwa·zanw p. 2.2.1 nie jest za÷o·zeniem nietypowym, podczas gdy informacja o nieliniowosciw systemie mo·ze byc bardzo ma÷a. Zak÷ada si¾e zatem, ·ze dost¾epna informacja apriorycznao podsystemie dynamicznym ma charakter parametryczny, a wiedza o nieliniowosci jestnieparametryczna.


Zanim przedstawiona zostanie ogólna koncepcja proponowanych metod warto pod-kreslic, ·ze ze wzgl¾edu na kaskadow ¾a budow¾e systemów Wienera i nieznajomosc obupodsystemów sk÷adowych, identy�kacja mo·ze byc przeprowadzona tylko z dok÷adnosci ¾ado nieznanej multiplikatywnej sta÷ej c0 6= 0. ×atwo bowiem zauwa·zyc, ·ze dla dowolnegosygna÷u wejsciowego, wyjscie systemu opisanego równaniami (1.9)�(1.10) b¾edzie iden-tyczne z wyjsciem systemu o odpowiedzi impulsowej fc0�igpi=0 i nieliniowosci g (�=c0).W÷asnosc powy·zsza jest niezale·zna od stosowanej metody identy�kacji i wynika z budowysystemu oraz charakteru posiadanej informacji pomiarowej, a w szczególnosci z faktu, ·zewewn¾etrzny sygna÷interakcyjny nie jest dost¾epny.

2.3.1 Idea dwuetapowej parametryczno�nieparametrycznej identy�kacjisystemów Wienera

Proponowane w pracy parametryczno�nieparametryczne metody identy�kacji systemówWienera konstruowane s ¾a z wykorzystaniem ró·znorodnych narz¾edzi statystyki matema-tycznej, poczynaj ¾ac od metod korelacyjnych, poprzez metod¾e najmniejszych kwadratówi estymacj¾e korelacji rang, a koncz ¾ac na zastosowaniu j ¾adrowego estymatora funkcjiregresji oraz tzw. estymatora usrednionej pochodnej (ang. average derivative estimate).Pomimo wielu istotnych ró·znic, proponowane algorytmy zbudowane s ¾a w oparciuo wspólny szkielet, którego geneza wywodzi si¾e z opracowanej przez Hasiewicza i Mzykaparametryczno�nieparametrycznej metody identy�kacji systemów Hammersteina [52].Nale·zy przy tym podkreslic, ·ze:

Uwaga 2.1 W systemach Hammersteina (pobudzanych sygna÷ami typu i.i.d.) zarównowejscie jak i wyjscie nieliniowego podsystemu statycznego jest sygna÷em typu i.i.d.;w przypadku systemów Wienera natomiast (bez wzgl ¾edu na fakt, czy wejscie systemu jestci ¾agiem typu i.i.d.), wejscie i wyjscie nieliniowego podsystemu statycznego jest sygna÷emskorelowanym, a wi ¾ec nie jest ci ¾agiem typu i.i.d.

Uwaga 2.2 W systemach Hammersteina przekszta÷ceniu nieliniowemu poddawany jestdost ¾epny dla obserwacji sygna÷wejsciowy systemu. W systemach Wienera natomiast,argumentem (wejsciem) nieliniowosci jest nieznany i niedost ¾epny dla pomiarów sygna÷interakcyjny.

Zawarte w uwagach 2.1 i 2.2 obserwacje prowadz ¾a do wniosku, ·ze zadanie identy�kacjisystemów Wienera jest zazwyczaj znacznie bardziej skomplikowane ni·z zadanie identy�-kacji systemów Hammersteina.

Podstaw ¾a proponowanych w pracy metod jest elementarne spostrze·zenie, ·ze przyznajomosci podsystemu dynamicznego, niedost¾epny dla pomiarów sygna÷interakcyjnyfVng mo·ze byc wyznaczony przy u·zyciu zgromadzonych obserwacji wejscia fXng ca÷egosystemu. Na podstawie zbioru par obserwacji (Vn; Yn), nieliniowa charakterystyka g (�)mo·ze byc nast¾epnie estymowana metodami nieparametrycznymi. Dla systemu Wieneraz addytywnym szumem wyjsciowym niezale·znym od wejscia, zachodzi bowiem zwi ¾azek4

g (v) = E fY1jV1 = vg . (2.9)

W rzeczywistosci, opracowane metody identy�kacji nie wymagaj ¾a tak du·zej informacjiwst¾epnej dotycz ¾acej cz¾esci dynamicznej systemu. Wykorzystuj ¾ac pomiary wejscia i wyjsciaca÷ego systemu mo·zna bowiem skonstruowac zgodne estymatory parametrów podsystemu

4Dodatkowo wartosc oczekiwana zak÷ócenia musi byc równa zero.


dynamicznego i, w konsekwencji, szacowac nieznany sygna÷fVng. Schemat proponowanychdwuetapowych algorytmów identy�kacji daje si¾e przedstawic nast¾epuj ¾aco:

Etap I

Parametryczna identy�kacja odpowiedzi impulsowej f�igpi=0 podsystemu dynamicznegona podstawie dost¾epnych obserwacji wejscia i wyjscia ca÷ego systemu.

Etap IIa

Estymacja sygna÷u interakcyjnego fVng na podstawie dost¾epnych obserwacji wejscia orazuzyskanego w etapie I estymatora odpowiedzi impulsowej.

Etap IIb

Nieparametryczna identy�kacja charakterystyki nieliniowej g (�) z wykorzystaniem uzyska-nego w etapie IIa estymatora sygna÷u fVng i dost¾epnych obserwacji wyjscia systemu.

2.4 Teza pracy

Zastosowanie parametryczno�nieparametrycznych metod identy�kacji systemów Wieneraskonstruowanych w pracy, pozwala na identy�kacj¾e liniowych i nieliniowych podsystemówsk÷adowych, przy za÷o·zeniu parametrycznej wiedzy o podsystemie dynamicznym i niepara-metrycznej o podsystemie statycznym. Algorytmy parametryczno�nieparametryczneumo·zliwiaj ¾a identy�kacj¾e w sytuacji, gdy losowy sygna÷wejsciowy nie jest sygna÷emgaussowskim, a szum zak÷ócaj ¾acy dzia÷a na wyjscie systemu. Ponadto algorytmy niewymagaj ¾a odwracalnosci charakterystyki nieliniowej systemu i umo·zliwiaj ¾a estymacj¾enieliniowosci wprost, tj. nie poprzez funkcj¾e odwrotn ¾a, ÷agodz ¾ac w ten sposób typowewymagania wst¾epne i rozszerzaj ¾ac zakres stosowalnosci metod.

2.5 Cele pracy

Celami pracy s ¾a:

� Opracowanie algorytmów identy�kacji systemów Wienera, umo·zliwiaj ¾acych iden-ty�kacj¾e w przypadku gaussowskich i niegaussowskich sygna÷ów wejsciowych orazodwracalnych i nieodwracalnych charakterystyk nieliniowych.

� Przeprowadzenie analizy teoretycznej algorytmów dotycz ¾acej ich w÷asnosci asympto-tycznych.

� Wykonanie badan eksperymentalnych proponowanych metod, celem ilustracji za-chowania algorytmów dla ma÷ej i sredniej liczby obserwacji.

2.6 Podstawowe za÷o·zenia oraz klasy�kacja zadan

W pracy rozwa·zana jest identy�kacja systemów Wienera opisanych równaniami

Vn =

pXi=0

�iXn�i; (2.10)

Yn = g (Vn) + Zn; (2.11)

gdzie fXng i fYng oznaczaj ¾a odpowiednio sygna÷wejsciowy i wyjsciowy, fZng jestaddytywnym szumem na wyjsciu systemu oraz fVng jest sygna÷em wewn¾etrznym reprezen-


tuj ¾acym wyjscie obiektu dynamicznego i zarazem wejscie obiektu statycznego5. Skonczony(p+ 1)�elementowy ci ¾ag f�igpi=0 jest odpowiedz ¾a impulsow ¾a podsystemu dynamicznego.Funkcja g (�) reprezentuje nieliniow ¾a charakterystyk¾e w systemie.

2.6.1 Za÷o·zenia ogólne

Odnosnie klasy identy�kowanych systemów Wienera przyjmuje si¾e nast¾epuj ¾ace za÷o·zeniaogólne, wspólne dla wszystkich rozwa·zanych w pracy metod identy�kacji:

Za÷o·zenie 2.1 D÷ugosc p odpowiedzi impulsowej podsystemu dynamicznego jest skonczonai znana. Ponadto �0 6= 0.

Za÷o·zenie 2.2 Sygna÷wejsciowy fXng jest ci ¾agiem i.i.d. zmiennych losowych.

Za÷o·zenie 2.3 Addytywny szum fZng zak÷ócaj ¾acy wyjscie systemu jest ci ¾agiem i.i.d.zmiennych losowych o zerowej wartosci oczekiwanej i wariancji �2Z <1 oraz fZng i fXngs ¾a stochastycznie niezale·zne.

Za÷o·zenie 2.4 Identy�kowany system znajduje si ¾e w stanie ustalonym.

2.6.2 Klasy�kacja zadan

Z przedstawionych w p. 2.5 celów pracy wynikaj ¾a nast¾epuj ¾ace zadania:

� Opracowanie metody identy�kacji dla przypadku gaussowskiego sygna÷u wejsciowegooraz dowolnej charakterystyki nieliniowej systemu.

� Opracowanie algorytmów identy�kacji dla przypadku niegaussowskich sygna÷ówwejsciowych, dodatkowo przy braku odwracalnosci charakterystyki nieliniowej.

� Analiza asymptotyczna algorytmów.

� Wykonanie badan symulacyjnych proponowanych metod identy�kacji.

5W rozwa·zanym zadaniu identy�kacji sygna÷y fXng ; fVng ; fYng i fZng s ¾a ci ¾agami zmiennych losowych.

Rozdzia÷3

Identy�kacja systemów Wieneraz zastosowaniem metodykorelacyjnej

W tym rozdziale prezentowana jest metoda identy�kacji systemów Wienera z gaussowskimsygna÷em wejsciowym. Omawiany algorytm bazuje na podejsciu zaproponowanym przezGreblickiego [28], w którym do nieparametrycznej estymacji odpowiedzi impulsowejpodsystemu dynamicznego wykorzystano korelacyjn ¾a metod¾e identy�kacji (zob. wzór(2.8)). Proponowany tutaj algorytm umo·zliwia identy�kacj¾e systemów z addytywnymszumem na wyjsciu, pobudzanych gaussowskim sygna÷em wejsciowym o dowolnej (niez-nanej) wartosci sredniej (zak÷ada si¾e jednak, ·ze w systemie nie wyst¾epuje wewn¾etrznysygna÷zak÷ócaj ¾acy). W przeciwienstwie do [28], przedstawiona metoda umo·zliwia identy-�kacj¾e nieliniowej charakterystyki wprost, tj. nie poprzez funkcj¾e odwrotn ¾a.

Wprowadzone w rozdziale estymatory cz¾esci liniowej, sygna÷u interakcyjnego i cz¾escinieliniowej systemu oznaczane b¾ed ¾a indeksem �Cr�(od ang. Correlation).

3.1 Sformu÷owanie problemu

Rozwa·zane zadanie identy�kacji dotyczy klasy systemów Wienera opisywanych równania-mi (2.10)�(2.11), dla których spe÷nione s ¾a za÷o·zenia (2.1)�(2.4). Dodatkowo zak÷adamy,·ze:

Za÷o·zenie 3.1 Sygna÷wejsciowy fXng ma rozk÷ad normalny N��X ; �

2X

�z nieznan ¾a

wartosci ¾a oczekiwan ¾a �X i wariancj ¾a �2X .

Za÷o·zenie 3.2 Nieliniowa charakterystyka g (�) ograniczona jest przez wielomian, tj.jg (v)j � m (v) ;8v 2 R, gdzie m (�) jest wielomianem dowolnego skonczonego stopnia.

Za÷o·zenie 3.3 Rozwa·zana klasa systemów zawiera tylko systemy, dla którychCov fX1; Y1g 6= 0.

3.2 Identy�kacja podsystemu dynamicznego metod ¾a korela-cyjn ¾a

Na mocy za÷o·zenia 3.1 oraz twierdzenia B.1 w dodatku B.2 zauwa·zmy najpierw, ·ze sygna÷fVng jest ci ¾agiem zmiennych losowych o rozk÷adzie normalnym z wartosci ¾a oczekiwan ¾a

23

Rozdzia� 3. Identy�kacja systemów Wienera z zastosowaniem metody korelacyjnej 24

i wariancj ¾a okreslonymi wzorami

�V = �X

pXi=0

�i oraz �2V = �2X

pXi=0

�2i : (3.1)

Zatem, zgodnie z twierdzeniem B.2 (zob. dodatek B.2, wzór (B.3)), dla dowolnego i 2f0; 1; : : : ; pg prawdziwa jest nast¾epuj ¾aca zale·znosc

E fX0jVig = �X + ��X�V

(Vi � �V ) ; (3.2)

gdzie � jest wspó÷czynnikiem korelacji zmiennych losowych X0 i Vi, który wyznaczymyznajduj ¾ac wczesniej kowariancj¾e

Cov fX0; Vig = E f(�X �X0) (�V � Vi)g = E fX0Vig � �X�V .

Wykorzystuj ¾ac wzory (3.1) oraz de�nicj¾e sygna÷u interakcyjnego fVng (zob. (2.10)),otrzymujemy

E fX0Vig � �X�V = �iE�X20

+ �2X

pXj=0;j 6=i

�j � �X�V

= �i�2X + �i�

2X + �

2X

pXj=0;j 6=i

�j � �2XpXj=0

�j .

Ostatecznie wi¾ec Cov fX0; Vig = �i�2X , i wobec tego

� = corr fX0; Vig = �i�X�V.

Wyra·zenie (3.2) mo·zna teraz zapisac w postaci

E fX0jVig = �X + �i�2X�2V

(Vi � �V ) . (3.3)

Zauwa·zmy dalej, ·ze

E fX0Yig = E fX0g (Vi)g = E fE fX0g (Vi) jVigg (3.4)

= E fg (Vi)E fX0jVigg = E fYiE fX0jVigg :

Wstawiaj ¾ac (3.3) do (3.4) otrzymujemy kluczowe dla dalszych rozwa·zan równanie

��i = E fX0Yig � �; (3.5)

w którym sta÷e � oraz � dane s ¾a wzorami

� =�2X�2V

[E fY1V1g � �V �Y ] oraz � = �X�Y ; (3.6)

natomiast �Y jest wartosci ¾a oczekiwan ¾a wyjscia systemu, tj. �Y = E fY1g.Równanie (3.5) stanowi ¾ace podstaw¾e omawianego algorytmu identy�kacji podsystemu

dynamicznego jest uogólnieniem zwi ¾azku wprowadzonego w [28] na przypadek sygna÷ówwejsciowych o niezerowej wartosci oczekiwanej (tj. �X 6= 0). Jak ÷atwo zauwa·zyc, dla �X =0 sta÷a � jest równa zero oraz � = �2Xn�2VE fYiVig, co odpowiada sytuacji przedstawionejw [28].

Wykorzystuj ¾ac powy·zsze rezultaty mo·zemy przeprowadzic konstrukcj¾e estymatoraodpowiedzi impulsowej podsystemu dynamicznego.


3.2.1 Konstrukcja estymatora podsystemu dynamicznego

Zgodnie z obserwacj ¾a w p. 2.3, zarówno podsystem dynamiczny jak i element statycznysystemuWienera mog ¾a byc zidenty�kowane tylko z dok÷adnosci ¾a do multiplikatywnej sta÷ejc0 6= 0. Z równania (3.5) wynika (zob. za÷o·zenie 2.1 na str. 22) ·ze � = ��10 [E fX0Y0g � �],co z kolei prowadzi do wniosku, ·ze � 6= 0 wtedy i tylko wtedy, gdy Cov fX0; Y0g 6= 0. Dlarozwa·zanej klasy systemów warunek ten jest spe÷niony na mocy za÷o·zenia 3.3, a w celuidenty�kacji odpowiedzi impulsowej obiektu dynamicznego wystarczy estymowac praw ¾astron¾e zale·znosci (3.5).

Oznaczymy i = E fX0Yig. Naturalnym estymatorem wartosci i jest nast¾epuj ¾acasrednia z próby, konstruowana w oparciu o zbiór obserwacji f(Xn; Yn)gNn=1,

i;N =1

N � i

N�iXn=1

XnYi+n. (3.7)

Drugim, koniecznym do oszacowania elementem równania (3.5), jest sta÷a �. Poniewa·zjest ona iloczynem wartosci oczekiwanych wejscia i wyjscia systemu, wi¾ec odpowiedniestymator przyjmie nast¾epuj ¾ac ¾a, naturaln ¾a, postac

�N = �X;N � �Y;N , (3.8)

gdzie �X;N , �Y;N s ¾a estymatorami wartosci oczekiwanych odpowiednio wejscia i wyjsciasystemu, tj.

�X;N =1

N

NXn=1

Xn oraz �Y;N =1

N

NXn=1

Yn.

W rezultacie, do oszacowania elementów przeskalowanej odpowiedzi impulsowej ��i; i =0; 1; : : : ; p, otrzymujemy nast¾epuj ¾acy zbiór estymatorów

�Cr

i;N = i;N � �N ; i = 0; 1; : : : ; p, (3.9)

których w÷asnosci asymptotyczne oraz zachowanie dla ma÷ej i sredniej liczby obserwacjiomówione zostan ¾a odpowiednio w p. 3.5.1 i 3.7.

3.3 Estymacja sygna÷u interakcyjnego

Zauwa·zmy, ·ze odpowiedni estymator sygna÷u interakcyjnego fVng mo·zna ÷atwo uzyskacwstawiaj ¾ac we wzorze (2.10) otrzymane wy·zej estymatory f�

Cr

i;Ngpi=0 w miejsce nieznanych,

prawdziwych wspó÷czynników odpowiedzi impulsowej f�igpi=0, tj.

V Crn;N =

pXi=0

�Cr

i;NXn�i. (3.10)

Jednak, ze wzgl¾edu na ograniczon ¾a liczb ¾e dost¾epnych danych pomiarowych (N�par ob-serwacji wejscia i wyjscia systemu, f(Xn; Yn)gNn=1), estymator V Crn;N mo·ze byc wyznaczonytylko dla n 2 I, gdzie I jest zbiorem indeksów

I = fp+ 1; p+ 2; : : : ; Ng . (3.11)

Z kolei wyst¾epowanie multiplikatywnej sta÷ej � w równaniu (3.5) oraz jej wp÷yw na esty-

matory f�Cri;Ngpi=0 powoduje, ·ze V

Crn;N jest w rzeczywistosci estymatorem przeskalowanego

sygna÷u interakcyjnego f�Vng. Fakt ten udowodniony zostanie w p. 3.5.2.


3.4 Nieparametryczna identy�kacja nieliniowosci

Konstruowanie nieparametrycznego estymatora charakterystyki nieliniowej rozpoczniemyod przytoczenia wzoru (2.9) (zob. str. 20), tj. spostrze·zenia, ·ze funkcja g (�) jest równafunkcji regresji wyjscia systemu wzgl¾edem wartosci sygna÷u interakcyjnego fVng, tj.

g (v) = E fY1jV1 = vg . (3.12)

Zwi ¾azek (3.12) prowadzi wi¾ec do wniosku, ·ze nieznan ¾a charakterystyk¾e g (�) mo·znaprzybli·zac poprzez estymacj¾e warunkowej wartosci oczekiwanej E fY1jV1 = vg. Zak÷adaj ¾acchwilowo, ·ze sygna÷interakcyjny fVng mo·ze byc mierzony i stosuj ¾ac estymator j ¾adrowyrozwa·zanej funkcji regresji zbudowany w oparciu o zbiór f(Vn; Yn)gNn=1, otrzymujemynast¾epuj ¾ace oszacowanie

~gN (v) =

NXn=1

YnK

�v � Vnh

�NXn=1

K

�v � Vnh

� ; (3.13)

gdzie K (�) i h = h (N) s ¾a odpowiednio wybran ¾a funkcj ¾a j ¾adra i parametrem wyg÷adzaniazale·znym od liczby obserwacji N (por. p. 2.1.2).

Niestety, ze wzgl¾edu na brak mo·zliwosci pomiaru sygna÷u interakcyjnego fVng,bezposrednie zastosowanie estymatora (3.13) nie jest mo·zliwe. Wykorzystuj ¾ac oszacowanie(3.10) mo·zemy jednak tak zmody�kowac estymator ~gN (�), aby by÷on zbudowanyw oparciu o zbiór f(V Crn;N ; Yn)gn2I , gdzie I jest zbiorem indeksów zde�niowanym w (3.11).

Wystarczy w tym celu zastosowac podstawienie V Crn;N w miejsce Vn. W efekcie otrzymujemynast¾epuj ¾acy estymator nieznanej charakterystyki nieliniowej g (�)

gCrN (v) =

Xn2I

YnK

v � V Crn;N

h

!Xn2I

K

v � V Crn;N

h

! . (3.14)

Zauwa·zmy, ·ze w przeciwienstwie do ~gN (�) wyznaczenie wartosci estymatora gCrN (�) jestmo·zliwe na podstawie dost¾epnych par obserwacji wejscia i wyjscia ca÷ego systemu. Jednak,jak pokazano w p. 3.5.3, ze wzgl¾edu na wyst¾epowanie sta÷ej � w równaniu (3.5), estymatorgCrN (�) (przy pewnych ogólnych za÷o·zeniach o funkcji K (�) i parametrze wyg÷adzania h)jest zgodnym estymatorem przeskalowanej nieliniowosci g (�=�).

3.5 W÷asnosci asymptotyczne algorytmu

Analiz¾e w÷asnosci asymptotycznych omawianego algorytmu identy�kacji rozpoczniemy

od okreslenia asymptotyki estymatorów f�Cri;Ngpi=0 odpowiedzi impulsowej f��igpi=0

oraz estymatora V Crn;N sygna÷u interakcyjnego fVng. Nast¾epnie zbadamy asymptotycznezachowanie estymatora gCrN (�). Sformu÷owane zostan ¾a za÷o·zenia o funkcji j ¾adra K (�)i parametrze wyg÷adzenia h, przy których gCrN (�) jest zgodnym estymatorem funkcji g (�=�).Ponadto, ograniczaj ¾ac klas¾e dopuszczalnych nieliniowosci do klasy funkcji dwukrotnieró·zniczkowalnych, okreslony zostanie rz ¾ad szybkosci zbie·znosci estymatora gCrN (�).


3.5.1 Analiza zbie·znosci estymatora odpowiedzi impulsowej podsystemudynamicznego

W celu wykazania zbie·znosci oraz okreslenia rz¾edu szybkosci zbie·znosci estymatorów �Cr

i;N ;i = 0; : : : ; p zbadane zostan ¾a w÷asnosci asymptotyczne estymatorów sk÷adowych i;N ; i =0; : : : ; p oraz �N (zob. wzory (3.7) i (3.8)).Zgodnie z przyj¾etymi za÷o·zeniami o wejsciu fXng i szumie fZng, sygna÷y fXng i fYngw stanie ustalonym s ¾a stacjonarne. Wynika st ¾ad natychmiast, ·ze

E� i;N

= i. (3.15)

Wyznaczmy teraz oszacowanie wariancji

V ar� i;N

=

1

(N � i)2V ar

(N�iXn=1

XnYi+n

). (3.16)

Zauwa·zmy w tym celu, ·ze

V ar fXnYi+ng � E�X2ng2 (Vi+n)

+ �2ZE

�X2n

,

co na mocy za÷o·zenia 3.2 daje

V ar fXnYi+ng � E�X2nm

2 (Vi+n)+ �2ZE

�X2n

. (3.17)

Oszacowanie (3.17), ze wzgl¾edu na skonczonosc wszystkich momentów gaussowskichzmiennych losowych, prowadzi do wniosku, ·ze V ar fXnYi+ng < 1 dla ka·zdego i 2f0; 1; : : : ; pg ; 1 � n � N � i.Ze wzgl¾edu na skonczon ¾a d÷ugosc pami¾eci systemu oraz na podstawie za÷o·zenia 2.3o zak÷óceniu wyjsciowym, prawdziwa jest nast¾epuj ¾aca w÷asnosc:

W÷asnosc 3.1 Zmienne losowe XnYi+n oraz XkYi+k, (i 2 f0; 1; : : : ; pg) s ¾a niezale·zne,gdy jk � nj > p.

Wobec powy·zszego, na mocy Lematu A.1 w dodatku A.1, otrzymujemy nast¾epuj ¾aceoszacowanie wariancji estymatora i;N ,

V ar� i;N

� p+ 1

(N � i)2N�iXn=1

V ar fXnYi+ng =p+ 1

(N � i)V ar fX0Yig .

Ostatecznie wi¾ec

V ar� i;N

= O

�1

N � i

�= O

�N�1� . (3.18)

Rezultaty (3.15) i (3.18) prowadz ¾a do wniosku, ·ze dla ka·zdego i 2 f0; 1; : : : ; pg,

i;N = i +OP

�N�1=2

�. (3.19)

Zbadamy obecnie asymptotyczne zachowanie estymatora �N . Zgodnie z przyj¾etymiza÷o·zeniami zauwa·zamy, ·ze

�X;N = �X +OP�N�1=2� oraz �Y;N = �Y +OP

�N�1=2� ,

sk ¾ad, na mocy lematu B.2 w dodatku B.1, otrzymujemy

�N = �X�Y +OP

�N�1=2

�. (3.20)

Uzyskane powy·zej wyniki dowodz ¾a prawdziwosci nast¾epuj ¾acego twierdzenia:


Twierdzenie 3.1 Je·zeli dla systemu Wienera (2.10)�(2.11) spe÷nione s ¾a za÷o·zenia

2.1�2.4 oraz 3.1�3.3, to dla ka·zdego i 2 f0; 1; : : : ; pg estymator �Cri;N jest zgodnymestymatorem przeskalowanego elementu odpowiedzi impulsowej ��i. Ponadto

�Cr

i;N = ��i +OP

�N�1=2

�.

3.5.2 Analiza zbie·znosci estymatora sygna÷u interakcyjnego

Udowodnimy nast¾epuj ¾acy lemat:

Lemat 3.1 Je·zeli spe÷nione s ¾a za÷o·zenia twierdzenia 3.1, to dla ka·zdego n 2 I estymatorV Crn;N jest zgodnym estymatorem �Vn. Ponadto

V Crn;N = �Vn +OP

�N�1=2

�. (3.21)

Dowód. Zgodnie z de�nicj ¾a (2.10) sygna÷u fVng oraz de�nicj ¾a (3.10) estymatora V Crn;N

otrzymujemy

V Crn;N � �Vn =pXi=0

Xn�i��Cr

i;N � ��i�. (3.22)

Rezultat (3.21) wynika zatem bezposrednio z (3.22) i twierdzenia 3.1.

W celu wykazania zbie·znosci estymatora charakterystyki statycznej cz¾esci nielinio-wej, oprócz wyniku (3.21), niezb¾edne jest równie·z okreslenie asymptotycznej szybkoscizbie·znosci jednostajnej estymatorów fV Crn;Ngn2I , to jest zbadanie zachowania si¾e wyra·zenia

supn2I

��V Crn;N � �Vn�� ; (3.23)

gdy N !11. W tym celu udowodnimy najpierw nast¾epuj ¾acy lemat pomocniczy:

Lemat 3.2 Niech f�ngNn=1 b ¾edzie ci ¾agiem zmiennych losowych typu i:i:d: o rozk÷adzie

gaussowskim N��; �

2�

�. Wtedy, dla dowolnie ma÷ego " > 0, zachodzi

1pN

sup1�n�N

j�nj = oP�N�1=2+"

�. (3.24)

Dowód lematu zamieszczony jest w dodatku A.1.

Uzyskany powy·zej wynik pozwala obecnie na okreslenie asymptotyki wyra·zenia (3.23).Lemat 3.3 podaje odpowiednie oszacowanie.

Lemat 3.3 Je·zeli spe÷nione s ¾a za÷o·zenia twierdzenia 3.1, to

supn2I

��V Crn;N � �Vn�� = oP �N� 1

2+"�;

dla dowolnie ma÷ego " > 0.

Dowód. Niech %N (!) b¾edzie ci ¾agiem zmiennych losowych, takim ·ze %N (!) =sup1�n�N jXn (!)j (lub krócej %N = sup1�n�N jXnj). Zgodnie z (3.22) otrzymujemy

supn2I

��V Crn;N � �Vn�� %N pX

i=0

��Cri;N � ��i�� .Teza twierdzenia wynika wi¾ec bezposrednio z powy·zszego oszacowania oraz twierdzenia3.1 i lematu 3.2.

1chodzi o zbadanie asymptotycznego zachowania ci ¾agu zmiennych losowych �N (!) = supn2I jV Crn;N (!)�

�Vn (!) j.


3.5.3 Analiza zbie·znosci estymatora charakterystyki nieliniowej

Podamy obecnie warunki, jakie musz ¾a spe÷niac j ¾adro K (�) oraz parametr wyg÷adzaniah wyst¾epuj ¾ace we wzorze (3.14), aby estymator gCrN (�) by÷zgodnym estymatorem prze-skalowanej charakterystyki nieliniowej g (�=�). Ponadto, przyjmuj ¾ac dodatkowe za÷o·zeniao g÷adkosci nieliniowosci, zbadamy rz ¾ad szybkosci zbie·znosci estymatora (3.14).

Zgodnosc estymatora charakterystyki nieliniowej

Przyjmiemy nast¾epuj ¾ace za÷o·zenia odnosnie j ¾adra K (�) i parametru wyg÷adzania h:

Za÷o·zenie 3.4 J ¾adro K (�) jest nieujemn ¾a funkcj ¾a lipschitzowsk ¾a (tj. 9L < 1; 8v1; v2 2R; jK (v1)�K (v2)j � L jv1 � v2j), dla której spe÷nione s ¾a nast ¾epuj ¾ace warunki:supv2RK (v) = k0 <1;

R1�1K (v) dv = 1 oraz limjvj!1 vK (v) = 0.

Za÷o·zenie 3.5 Ci ¾ag liczbowy h = h (N) jest rz ¾edu N�1=5, tj. h � N�1=5.

Poni·zsze twierdzenie rozstrzyga o zgodnosci estymatora gCrN (�).

Twierdzenie 3.2 Je·zeli spe÷nione s ¾a za÷o·zenia 2.1�2.4 oraz 3.1�3.5, to dla systemuWienera (2.10)�(2.11) estymator gCrN (v) jest zgodnym estymatorem funkcji g (v=�)w ka·zdym punkcie ci ¾ag÷osci g (v=�), tzn.

gCrN (v)! g (v=�) ; gdy N !1; (3.25)

wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R, w którym g (v=�) jest funkcj ¾aci ¾ag÷¾a.

Dowód. Przyjmiemy nast¾epuj ¾ace oznaczenia

rCrN (v) =1

NIh

Xn2I

YnK

v � V Crn;N

h

!oraz fCrN (v) =

1

NIh

Xn2I

K

v � V Crn;N

h

!.

gdzie NI oznacza liczb ¾e elementów zbioru I ( NI = #fIg = N�p). Dodatkowo oznaczymyr (v) = ��1g (v=�) fV (v=�), gdzie fV (�) jest g¾estosci ¾a prawdopodobienstwa sygna÷uinterakcyjnego fVng. Zbie·znosc w (3.25) zachodzi je·zeli rCrN (v) i fCrN (v) zbiegaj ¾a wed÷ugprawdopodobienstwa odpowiednio do r (v) i ��1fV (v=�) przy N !1 w ka·zdym punkciev 2 R, w którym g (v=�) jest funkcj ¾a ci ¾ag÷¾a. W dowodzie wykorzystamy nast¾epuj ¾ac ¾adekompozycj¾e ró·znicy

�rCrN (v)� r (v)

�,

rCrN (v)� r (v) =�rCrN (v)� ~rN (v)

�+ [~rN (v)� r (v)] ; (3.26)

gdzie

~rN (v) =1

NIh

Xn2I

YnK

�v � �Vnh

�: (3.27)

Zgodnie z (3.26) analiz¾e wyra·zenia�rCrN (v)� r (v)

�przeprowadzimy w dwóch etapach.

Rozpoczniemy od zbadania zbie·znosci ró·znicy [~rN (v)� r (v)].Teoria estymatorów j ¾adrowych dla ci ¾agów zmiennych losowych typu i:i:d. jest do-

brze ugruntowana i szeroko opisana w literaturze (zob. dyskusja w p. 2.1.2). Jednakw rozwa·zanym przypadku ci ¾ag fVngn2I nie jest ci ¾agiem typu i:i:d:, co powoduje ·zeklasyczne rezultaty dotycz ¾ace zbie·znosci nie mog ¾a byc bezposrednio zastosowane do


okreslenia w÷asnosci granicznych wyra·zenia [~rN (v)� r (v)]. Zgodnie z przyj¾etymi za÷o·ze-niami odnosnie sygna÷u wejsciowego i szumu na wyjsciu systemu, zachodz ¾a nast¾epuj ¾acerównosci

E f~rN (v)g =1

h

Z 1

�1K

�v � �xh

�g (x) fV (x) dx =

1

h

Z 1

�1K

�v � xh

�r (x) dx. (3.28)

Poniewa·z nieliniowa charakterystyka g (�) jest ograniczona przez wielomian (zob. za÷o·zenie3.2) oraz sygna÷wejsciowy jest gaussowski, to ca÷ka

R1�1 jr (v)j dv jest skonczona. St ¾ad,

zgodnie z lematem B.3 z dodatku B.3, na mocy za÷o·zen 3.4 i 3.5, ma miejsce nast¾epuj ¾acazbie·znosc

E f~rN (v)g ! r (v) , gdy N !1; (3.29)

w ka·zdym punkcie v 2 R, w którym g (v=�) jest funkcj ¾a ci ¾ag÷¾a. Zauwa·zmy dalej, ·zez za÷o·zenia o skonczonej d÷ugosci pami¾eci i de�nicji sygna÷u fVng (zob. wzór 2.10) wynikanast¾epuj ¾aca w÷asnosc (por. w÷asnosc 3.1):

W÷asnosc 3.2 Zmienne losowe Vn i Vk s ¾a niezale·zne je·zeli jn� kj > p.

Wykorzystuj ¾ac w÷asnosc 3.2, na mocy lematu A.1 z dodatku A.1, prawdziwe jestnast¾epuj ¾ace oszacowanie wariancji estymatora ~rN (v),

V ar f~rN (v)g �p+ 1

NIh2V ar

�Y1K

�v � �V1h

��. (3.30)

Ze wzgl¾edu na ograniczonosc j ¾adra K (�) zauwa·zamy nast¾epnie, ·ze element

h�1V arfY1K ([v � �V1] =h)g

wyst¾epuj ¾acy w (3.30), jest ograniczony przez (por. Greblicki [25])

2k0hE

�g2 (V1)K

�v � �V1h

��+2k0�

2Z

hE

�K

�v � �V1h

��. (3.31)

Ponowne wykorzystanie za÷o·zen 3.1 i 3.2 prowadzi do wniosku, ·zeR1�1

��g2 (v=�) fV (v=�)��dv <1. Zatem, na mocy lematu B.3 z dodatku B.3, wyra·zenie (3.31) d ¾a·zy do

2k0�fV

� v�

� hg2� v�

�+ �2Z

i<1;

gdy N !1 w ka·zdym punkcie v 2 R, w którym g (v=�) jest funkcj ¾a ci ¾ag÷¾a. Ostateczniewi¾ec nierównosc (3.30), dla h spe÷niaj ¾acego za÷o·zenie 3.5, daje

V ar f~rN (v)g = O�N�4=5

�(3.32)

w ka·zdym punkcie ci ¾ag÷osci funkcji g (v=�).

Zgodnie z rezultatami w (3.29) i (3.32) zachodzi wi¾ec zbie·znosc

[~rN (v)� r (v)]! 0; gdy N !1;

wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R, w którym g (v=�) jest funkcj ¾aci ¾ag÷¾a.

Przejdziemy teraz do drugiego etapu dowodu tj. do zbadania asymptotyki wyra·zenia�rCrN (v)� ~rN (v)

�w dekompozycji (3.26). Korzystaj ¾ac z faktu, ·ze j ¾adro K (�) spe÷nia

warunek Lipschitza (zob. za÷. 3.4), otrzymujemy��rCrN (v)� ~rN (v)�� sup

n2I

��Vn � V Crn;N

�� L

NIh2

Xn2I

jYnj :


Na mocy lematu A.1 w dodatku A zachodzi nast¾epuj ¾ace oszacowanie

V ar

(1

NI

Xn2I

jYnj)� p+ 1

NIV ar fjYnjg = O

�N�1� .

Wobec tego1

NI

Xn2I

jYnj = E fjY1jg+OP�N�1=2

�. (3.33)

Uzyskany w lemacie 3.3 rezultat dotycz ¾acy zbie·znosci wyra·zenia supn2I��Vn � V Crn;N

�� wrazz obserwacj ¾a (3.33) i za÷o·zeniem 3.5, prowadz ¾a do wniosku, ·ze��rCrN (v)� ~rN (v)

��! 0; gdy N !1;

wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R. Ostatecznie wi¾ec

rCrN (v)! r (v) ; gdy N !1;

wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R, w którym g (v=�) jest funkcj ¾aci ¾ag÷¾a. Stosuj ¾ac analogiczn ¾a argumentacj¾e dla estymatora fCrN (v) otrzymujemy

fCrN (v)! ��1fV (v=�) ; gdy N !1;

wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R, co konczy dowód.

Analiza szybkosci zbie·znosci estymatora charakterystyki nieliniowej

Dla okreslenia rz¾edu szybkosci zbie·znosci estymatora gCrN (�) ograniczymy klas¾erozwa·zanych systemów Wienera do klasy z nieliniowosciami, dla których spe÷nione s ¾aza÷o·zenia (por. Greblicki [26]):

Za÷o·zenie 3.6 Druga pochodna g00 (�) nieliniowej charakterystyki g (�) jest funkcj ¾a ci ¾ag÷¾a.

Za÷o·zenie 3.7 Pochodna g0 (�) nieliniowosci g (�) ograniczona jest przez wielomian, tj.istnieje taki wielomian m0 (�) dowolnego skonczonego stopnia, ·ze jg0 (v)j � m0 (v) ; 8v 2 R.

Przyjmiemy równie·z dodatkowe za÷o·zenia o funkcji j ¾adra K (�).

Za÷o·zenie 3.8 J ¾adro K (�) posiada ci ¾ag÷¾a i ograniczon ¾a drug ¾a pochodn ¾a K 00 (�), tj.jK 00 (v)j < k1 <1, 8v 2 R. Ponadto

R1�1 vK (v) dv = 0 oraz

R1�1 v

2K (v) dv <1.

Mo·zemy teraz sformu÷owac nast¾epuj ¾ace twierdzenie:

Twierdzenie 3.3 Je·zeli spe÷nione s ¾a za÷o·zenia twierdzenia 3.2 oraz dodatkowo za÷o·zenia3.6�3.8, to dla systemu Wienera (2.10)�(2.11) zachodzi

gCrN (v) = g (v=�) +OP

�N�(2=5)+"

�; (3.34)

dla dowolnie ma÷ego " > 0, w ka·zdym punkcie v 2 R.

Dowód twierdzenia zamieszczony jest w dodatku A.1.


3.6 Podsumowanie wyników teoretycznych

Dla opracowanej w rozdziale metody identy�kacji przeprowadzono analiz¾e podstawowychw÷asnosci asymptotycznych. W szczególnosci sformu÷owane zosta÷y ÷agodne wymaganiajakie musi spe÷niac nieliniowa charakterystyka w systemie aby zapewnic zbie·znosc algo-rytmu (za÷o·zenia 3.2 i 3.3). Ponadto, dla estymatorów odpowiedzi impulsowej podsystemudynamicznego udowodniona zosta÷a parametryczna szybkosc zbie·znosci OP

�N�1=2�.

W przypadku odpowiednio g÷adkich nieliniowosci natomiast (za÷o·zenia 3.6 i 3.7), pokazano·ze estymator gCrN (�) zbiega punktowo do przeskalowanej charakterystyki nieliniowej g (�=�)z szybkosci ¾a OP

�N�(2=5)+"�.

3.7 Wyniki badan eksperymentalnych

Zachowanie si¾e algorytmu dla ma÷ej i sredniej liczby obserwacji badano eksperymentalnieprzy u·zyciu srodowiska obliczeniowego MATLAB. Eksperymenty wykonano dla systemówWienera z liniowymi podsystemami dynamicznymi opisanymi odpowiedzi ¾a impulsow ¾a

�i =

�1

i+ 1

�; i = 0; 1; : : : ; p, (3.35)

gdzie p = 4. Symulacje przeprowadzono dla trzech ró·znych charakterystyk nieliniowychwyst¾epuj ¾acych w systemie (zob. rys. 3.1),

g1 (v) = 2 arctan (2v) ,

g2 (v) = 2 cos (2v) , (3.36)

g3 (v) = bvc ,

gdzie b�c jest funkcj ¾a �pod÷oga�. Sygna÷wejsciowy systemu wygenerowano z rozk÷aduN (�X ; �X) z parametrami �X = 1 oraz �X = 0; 5. St ¾ad, zgodnie z przeprowadzon ¾awy·zej analiz ¾a teoretyczn ¾a algorytmu, sygna÷interakcyjny fVng posiada÷rozk÷ad normalnyz wartosci ¾a oczekiwan ¾a i wariancj ¾a (por. wzory (3.1)):

�V = �X

pXi=0

�i � 2; 28,

�2V = �2X

pXi=0

�2i � 0; 36.

Przyjmiemy nast¾epuj ¾ace oznaczenia #1 = �V � 3�V � 0; 48 oraz #2 = �V + 3�V � 4; 08.Wtedy na mocy regu÷y �trzech sigm�zachodzi oszacowanie

P fV1 2 [#1; #2]g � 1. (3.37)

Sygna÷zak÷ócaj ¾acy fZng wygenerowano z rozk÷adu jednostajnego na odcinku [�� ; � ], gdzie� jest sta÷¾a2, dobran ¾a tak, aby3 NSR= �= = 10% (przy czym = maxv2[#1;#2] g (v)).W nieparametrycznym estymatorze gCrN (�) zastosowano gaussowsk ¾a funkcj¾e j ¾adra, tj.

K (v) =1p2�exp

��v

2

2

�. (3.38)

Dla ka·zdego z rozwa·zanych systemów wyznaczono numerycznie wartosci multiplikatywnejsta÷ej � (zob. wzór. (3.6)). Dok÷adnosc metody badano przy u·zyciu nast¾epuj ¾acych b÷¾edówempirycznych:

2wartosc sta÷ej � wyznaczono oddzielnie dla ka·zdej z rozwa·zanych nieliniowosci.3�Noise�to�Signal Ratio��wspó÷czynnik okreslaj ¾acy poziom szumu wzgl¾edem sygna÷u u·zytecznego.


3

2

1

0

1

2

3

3 2 1 0 1 2 3

g1ÝvÞ

v

3

2

1

0

1

2

3

3 2 1 0 1 2 3

g2ÝvÞ

v

3

2

1

0

1

2

3

3 2 1 0 1 2 3

g3ÝvÞ

v

Rysunek 3.1: Wykorzystane w symulacjach nieliniowosci g1, g2 i g3

� B÷¾ad (wzgl¾edny) estymacji odpowiedzi impulsowej podsystemu dynamicznego:

Err(�;�) =1

R

RXi=1

�Cr[i]N � �� 2

k��k2100% =

1

R

RXi=1

��1�Cr[i]N � � 2

k�k2100%: (3.39)

� Globalny b÷¾ad (wzgl¾edny) estymacji charakterystyki nieliniowej:

MISE�gCrN ;�

�=

1

R

RXi=1

24� MXj=1

�gCr[i]N (�vj)� g (vj)

�235Z #1

#1

g2 (v) dv

100%; (3.40)

gdzie (�)[i] oznacza i�t ¾a realizacj¾e estymatora, k�k jest norm ¾a euklidesow ¾a oraz R = 30 jestliczb ¾a realizacji estymatora (powtórzen eksperymentu). Ponadto �

Cr

N =��Cr

0;N ; : : : ; �Cr

p;N

�Ti � = (�0; : : : ; �p)

T . W de�nicji b÷¾edu MISE�gCrN ;�

�przyj¾eto M = 1000. Ci ¾ag fvng jest


M�elementowym zbiorem punktów równomiernie roz÷o·zonych na odcinku [#1; #2]. Przez� oznaczono odleg÷osc miedzy s ¾asiaduj ¾acymi ze sob ¾a wyrazami ci ¾agu fvng.

W kontekscie problematyki zwi ¾azanej z identy�kacj ¾a systemów nieliniowych (a w szcze-gólnosci z identy�kacj ¾a systemów Wienera), nieliniowosci g1 (�), g2 (�) i g3 (�) scharaktery-zowac mo·zna nast¾epuj ¾aco:

� Funkcja g1 (�) jest typowym przyk÷adem charakterystyki cz¾esto spotykanej w lite-raturze (zob. np. Raich et al. [98], Enqvist [19], Hasiewicz et al. [53]). Ze wzgl¾eduna fakt, ·ze jest ona funkcj ¾a scisle monotoniczn ¾a, wielokrotnie ró·zniczkowaln ¾a oraznieparzyst ¾a, nieliniowosc g1 (�) spe÷nia typowe wymagania wyst¾epuj ¾ace w identy�ka-cji systemów Wienera (jest np. funkcj ¾a odwracaln ¾a, por. Greblicki [26]).

� Nieliniowosc g2 (�), podobnie jak g1 (�), jest funkcj ¾a wielokrotnie ró·zniczkowaln ¾a.W odró·znieniu od g1 (�) charakterystyka g2 (�) jest jednak tylko przedzia÷ami scislemonotoniczna, co powoduje, ·ze jest ona równie·z tylko przedzia÷ami odwracalna.Nieliniowosc g2 (�) jest funkcj ¾a parzyst ¾a.

� W odró·znieniu od funkcji g1 (�) i g2 (�) charakterystyka g3 (�) jest funkcj ¾a nieci ¾ag÷¾a(nieci ¾ag÷osci wyst¾epuj ¾a w punktach v 2 N). Ponadto, ze wzgl¾edu na fakt, ·ze g3 (�)jest odcinkami sta÷a, nie istnieje funkcja odwrotna do g3 (�).

W eksperymencie badano zachowanie algorytmu identy�kacji dla nieliniowosci g1 (�) ;g2 (�) i g3 (�). Rysunki 3.2 oraz 3.3 (str. 35) przedstawiaj ¾a odpowiednio b÷¾edy empiryczneErr(�

Cr

N ;�) iMISE�gCrN ;�

�dla rozwa·zanych charakterystyk, w funkcji liczby obserwacji

N zmienianej od 25 do 500. Uzyskane rezultaty pokazuj ¾a, ·ze w przypadku omawianychnieliniowosci b÷¾edy te malej ¾a wraz ze wzrostem liczby obserwacji N . W szczególnosci, dla

charakterystyk g2 (�) i g3 (�) wartosci b÷¾edów Err(�Cr

N ;�) s ¾a mniejsze od 10%, gdy liczbaobserwacji N jest wi¾eksza od 100 (por. rys. 3.2). Dla charakterystyki g1 (�) natomiast,dziesi¾ecioprocentowy b÷¾ad Err(�

Cr

N ;�) osi ¾agany jest dopiero, gdy N = 350. Gorszerezultaty uzyskane w przypadku nieliniowosci g1 (�) wynikaj ¾a z faktu, ·ze na odcinku [#1; #2](zob. wzór (3.37)) funkcja g1 (v) = arctan (2v) jest bliska funkcji sta÷ej (por. rys. 3.1), coz kolei powoduje, ·ze kowariancja Cov fX1; Y1g jest bliska zeru (por. za÷. 3.3, str. 23) i tymsamym bliska zeru jest równie·z multiplikatywna sta÷a �. Omówiony powy·zej efekt niejest natomiast widoczny na rysunku 3.3 przedstawiaj ¾acym b÷¾edy estymacji nieliniowosci.Zastosowana w symulacjach ci ¾ag÷a funkcja j ¾adra (zob. wzór (3.38)) powoduje, ·ze estymatorgCrN (�) lepiej przybli·za ci ¾ag÷¾a nieliniowosc g1 (�) ni·z nieci ¾ag÷¾a g3 (�), co kompensuje wi¾ekszyb÷¾ad estymatora �

Cr

N w przypadku nieliniowosci g1 (�). W szczególnosci, rysunek 3.3prowadzi do wniosku, ·ze bez wzgl¾edu na charakter nieliniowosci wyst¾epuj ¾acej w systemie,b÷¾edy empiryczne MISE

�gCrN ;�

�osi ¾agaj ¾a wartosci nie wi¾eksze ni·z 20%, gdy liczba

obserwacji N jest wi¾eksza od 400.

3.8 Podsumowanie i wnioski

Zaproponowana w tym rozdziale metoda identy�kacji dedykowana jest systemom Wie-nera pobudzanym sygna÷ami gaussowskimi typu i:i:d. Analiza teoretyczna algorytmupozwala stwierdzic, ·ze dla stosunkowo szerokiej klasy nieliniowosci estymatory cz¾esciliniowej i nieliniowej s ¾a zgodne, oraz ·ze estymator odpowiedzi impulsowej podsystemudynamicznego posiada optymalny rz ¾ad szybkosci zbie·znosci. Dodatkowo, dla dwukrotnieró·zniczkowalnych nieliniowosci w systemie, estymator cz¾esci nieliniowej posiada rz ¾ad szyb-kosci zbie·znosci OP

�N�(2=5)+"� tylko nieznacznie gorszy od rz¾edu szybkosci zbie·znosci


estymatorów nieparametrycznych osi ¾aganego przy identy�kacji systemów statycznych (tj.rz¾edu OP

�N�(2=5)�).

Nale·zy podkreslic, ·ze prosta konstrukcja estymatorów f�Cr

i;Ngpi=0 i g

CrN (�) pozwala na

÷atw ¾a implementacj¾e proponowanej metody identy�kacji. Algorytm nie wymaga stosowaniaspecjalizowanych procedur numerycznych (np. odwracania macierzy lub poszukiwaniaekstremum wielowymiarowych funkcji celu) co powoduje, ·ze jego efektywna implementacjanie jest skomplikowana.

0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

g1

g2

g3

N

Err

Rysunek 3.2: Wartosci b÷¾edów estymacji Err(�Cr

N ;�) w funkcji liczby obserwacji wejscia i wyjsciasystemu dla nieliniowosci g1; g2 i g3

0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

g1

g2

g3

N

MISE

Rysunek 3.3: Wartosci b÷¾edów estymacji MISE�gCrN ;�

�w funkcji liczby obserwacji wejscia

i wyjscia systemu dla nieliniowosci g1; g2 i g3

Rozdzia÷4

Identy�kacja systemów Wieneraz wykorzystaniem metodynajmniejszych kwadratów

W tym rozdziale przedstawiony jest algorytm identy�kacji systemów Wienera zbudowanyw oparciu o metod¾e najmniejszych kwadratów oraz nieparametryczn ¾a estymacj¾e funkcjiregresji. W odró·znieniu od metody korelacyjnej algorytm nie wymaga, aby wejscie systemuby÷o sygna÷em gaussowskim. Przyjmuje si¾e, ·ze sygna÷fXng jest ograniczony oraz maci ¾ag÷¾a funkcj¾e g¾estosci prawdopodobienstwa, ró·zn ¾a od zera w otoczeniu punktu zero.Odnosnie nieliniowej charakterystyki g (�) zak÷ada si¾e jedynie, ·ze jest ona funkcj ¾a ci ¾ag÷¾a.Dopuszcza si¾e w ten sposób zarówno charakterystyki odwracalne, jak i nieodwracalne.Wyniki dotycz ¾ace metody zosta÷y otrzymane we wspó÷pracy z prof. M. Pawlakiem i prof.Z. Hasiewiczem, i cz¾esciowo opublikowane w [93]. W rozdziale prezentowana jest tak·zepokrewna idea metody identy�kacji skonstruowanej w oparciu o koncepcj¾e korelacjirangowej.

Wprowadzone estymatory cz¾esci liniowej, sygna÷u interakcyjnego i cz¾esci nieliniowejsystemu oznaczane b¾ed ¾a indeksem �LS�w przypadku algorytmu zbudowanego w oparciuo metod¾e najmniejszych kwadratów (od ang. Least Squares) oraz indeksem �RC�w przypadku metody rangowej (od ang. Rank Correlation).


Zgodnie z dyskusj ¾a w rozdziale 2, system Wienera (2.10)�(2.11) mo·ze byc zidenty�kowanytylko z dok÷adnosci ¾a do multiplikatywnej sta÷ej. St ¾ad, bez utraty ogólnosci mo·zemyprzyj ¾ac, ·ze dla rozwa·znej klasy systemów zachodzi �0 = 1. Dodatkowo przyjmiemynast¾epuj ¾ace za÷o·zenia o nieliniowosci g (�) i g¾estosci prawdopodobienstwa fX (�) sygna÷uwejsciowego fXng (zob. Pawlak et al. [93]):

Za÷o·zenie 4.1 G ¾estosc prawdopodobienstwa fX (�) jest funkcj ¾a ci ¾ag÷¾a o ograniczonymnosniku [af ; bf ] takim, ·ze af � 0 � bf oraz fX (0) > 0.

Za÷o·zenie 4.2 Nieliniowa charakterystyka g (�) jest ci ¾ag÷a i ró·zna od funkcji sta÷ej.

Uwaga 4.1 Poniewa·z sta÷a af mo·ze byc dowolnie ma÷a, a sta÷a bf dowolnie du·za,to wyst ¾epuj ¾acy w za÷o·zeniu 4.1 warunek ograniczonego nosnika funkcji fX (�) nie jestz praktycznego punktu widzenia istotny. Przyk÷adami g ¾estosci spe÷niaj ¾acych za÷o·zenie 4.1

36

Rozdzia� 4. Identy�kacja systemów Wienera z wykorzystaniem metody najmniejszych kwadratów 37

s ¾a m.in.: rozk÷ad jednostajny, rozk÷ad trójk ¾atny, rozk÷ad Epanechnikova oraz obci ¾ety rozk÷adnormalny.

4.2 Parametryczna identy�kacja podsystemu dynamicznegoz wykorzystaniem metody najmniejszych kwadratów

4.2.1 Koncepcja metody identy�kacji

Proponowany algorytm identy�kacji wymaga wydzielenia ze zbioru obserwacji wejsciai wyjscia f(Xn; Yn)gNn=1 dwóch podzbiorów T1 i T2 okreslonych nast¾epuj ¾aco

T1 = f(Xn; Yn)gn2I1 ;T2 = f(Xn; Yn)gn2I2 ;

gdzie

I1 = fp+ 1; : : : ; p+N1g ;I2 = f2p+ 1 +N1; : : : ; Ng ;

oraz N1 oznacza liczb ¾e elementów zbioru I1, (podobnie przez N2 b¾edziemy oznaczaclicznosc zbioru I2), rys. 4.1. Poniewa·z rozwa·zana klasa systemów posiada pami¾ec o d÷ugoscip, ÷atwo zauwa·zyc, ·ze elementy zbiorów T1 i T2 s ¾a wzajemnie stochastycznie niezale·zne1.Odnosnie licznosci zbiorów T1 i T2 za÷o·zymy, ·ze N1 ! 1 i N2 ! 1; gdy N ! 1, por.Pawlak et al. [93].

T1 T2

p pN1 N2

áÝXn ,Yn Þân=1N

Rysunek 4.1: Wydzielenie ze zbioru obserwacji f(Xn; Yn)gNn=1 stochastycznie niezale·znychpodzbiorów T1 i T2

Koncepcj¾e metody identy�kacji omówimy w dwóch etapach. Zak÷adaj ¾ac chwilowo, ·zenieliniowa charakterystyka g (�) jest znana, rozpoczniemy od rozwa·zenia zadania identy�-kacji polegaj ¾acego na oszacowaniu odpowiedzi impulsowej podsystemu dynamicznego napodstawie obserwacji ze zbioru T2. W celu uproszczenia zapisu wprowadzimy nast¾epuj ¾ac ¾anotacj¾e wektorow ¾a. Przez � oznaczymy (p+ 1)�elementowy wektor utworzony z kolejnychwyrazów odpowiedzi impulsowej f�igpi=0 podsystemu dynamicznego, tj. wektor o postaci

� = (1; �1; : : : ; �p)T ,

oraz okreslimy zbiór � � Rp+1 jako podzbiór przestrzeni Rp+1 utworzony z wektorówl = (l0; l1; : : : ; lp)

T , takich ·ze l0 = 1 oraz l1; : : : ; lp � L0, gdzie L0 < 1 jest pewn ¾asta÷¾a. Zbiór � jest oczywiscie zbiorem zwartym. Jest on bowiem zbiorem domkni¾etymi ograniczonym w przestrzeni skonczenie wymiarowej.

Przyjmiemy nast¾epuj ¾ace za÷o·zenie:1 tj. dowolna zmienna losowa ze zbioru T1 nie zale·zy od zmiennych losowych ze zbioru T2 i odwrotnie.


Za÷o·zenie 4.3 Wektor � jest elementem zbioru �, tj. � 2 �.

Nast¾epnie, przez analogi¾e do de�nicji sygna÷u wewn¾etrznego fVng (zob. wzór (2.10)), dlaka·zdego l 2 � wprowadzimy sygna÷fVn (l)g zale·zny od wektorowego parametru l 2 � taki,·ze

Vn (l) =

pXi=0

liXn�i. (4.1)

Zgodnie ze wzorem (4.1) oraz wzorem (2.10) de�niuj ¾acym sygna÷fVng, zachodzi

Vn (�) = Vn, (4.2)

i tym samym g (Vn (�)) = g (Vn).

Podobienstwo konstrukcji sygna÷ów fVng i fVn (l)g oraz ci ¾ag÷osc funkcji Vn (l)powoduje, ·ze je·zeli wektor l jest bliski2 wektorowi �, to ró·znica Vn � Vn (l) jest ma÷a(w pewnym sensie probabilistycznym3) i wobec tego dalej, je·zeli g (�) jest funkcj ¾a ci ¾ag÷¾a,to tak·ze ró·znica g (Vn) � g (Vn (l)) b¾edzie odpowiednio ma÷a. Obserwacja ta prowadzido wniosku, ·ze mo·zliwe jest skonstruowanie (w oparciu o g (Vn (l)) empirycznej funkcjikryterialnej ~QN2 (l) okreslaj ¾acej dla dowolnego wektora l 2 � �jakosc przybli·zenia�we-ktora � przez l. W tym celu, na podstawie obserwacji ze zbioru T2, mo·zna utworzyc zbiórf(Vn (l) ; Yn)gn2I2 i funkcj¾e kryterialn ¾a ~QN2 (l) zde�niowac nast¾epuj ¾aco

~QN2 (l) =1

N2

Xm2I2

[Ym � g (Vm (l))]2 . (4.3)

W rezultacie, wykorzystuj ¾ac kryterium (4.3), za estymator odpowiedzi impulsowej �mo·zna przyj ¾ac wektor l, który minimalizuje funkcj¾e ~QN2 (�), tj. estymator najmniejszychkwadratów o postaci

~�LSN2 = argminl2�

~QN2 (l) .

W sytuacji podstawowej dla naszych rozwa·zan, gdy nieliniowa charakterystyka g (�)nie jest znana, zastosowanie funkcji kryterialnej ~QN2 (l) wprost nie jest mo·zliwe i w kon-sekwencji proponowane podejscie nie mo·ze byc bezposrednio zastosowane. Mo·zna jednakpowy·zszy schemat zmody�kowac i w miejsce nieznanych wielkosci fg (Vn (l))gn2I2 wstawicich odpowiednie estymatory.

4.2.2 Konstrukcja pilotowego estymatora charakterystyki nieliniowej

Wprowadzony wy·zej sygna÷fVn (l)g wykorzystamy do zde�niowania funkcji g (�; l) : R!R, zale·znej od wektorowego parametru l, takiej ·ze

g (v; l) = E fYnjVn (l) = vg . (4.4)

Zgodnie z obserwacj ¾a (4.2) oraz wzorem (2.9) otrzymujemy natychmiast, ·ze g (v;�) =g (v). Zauwa·zmy nast¾epnie, ·ze dla dowolnego l 2 � mo·zliwe jest skonstruowanie

2np. w sensie metryki euklidesowej.3Koncepcja metody identy�kacji jest w sposób celowy omawiana z pomini¾eciem scis÷ych poj¾ec teorii

prawdopodobienstwa, a jej precyzyjne sformu÷owanie oraz w÷asnosci asymptotyczne zamieszczone s ¾aw dalszej cz¾esci rozdzia÷u.


estymatora funkcji g (v; l) na podstawie zbioru f(Vn (l) ; Yn)gn2I1 . Wykorzystuj ¾ac np.nieparametryczny estymator z j ¾adrem (por. rozdzia÷2, str. 15), otrzymujemy4

~gN1 (v; l) =

Xn2I1

YnK0

�v � Vn (l)

h0

�Xn2I1

K0

�v � Vn (l)

h0

� , (4.5)

gdzie K0 (�) i h0 = h0 (N1) s ¾a odpowiednio funkcj ¾a j ¾adra i parametrem wyg÷adzaniazale·znym od liczby obserwacji N1. Zauwa·zmy, ·ze dla dowolnego wektora l 2 �, zewzgl¾edu na zale·znosc (4.1), estymator ~gN1 (v; l) mo·ze byc wyznaczony na podstawiedost¾epnych obserwacji wejscia i wyjscia systemu ze zbioru T1. Warto równie·z podkreslic,·ze wyst¾epuj ¾ace w (4.5) sygna÷y fVn (l)g i fYng nie s ¾a ci ¾agami typu i:i:d:, co uniemo·zliwiabezposrednie zastosowanie klasycznej teorii do okreslenia w÷asnosci asymptotycznychestymatora ~gN1 (�; l) (zob. te·z uwaga 2.1 na str. 20).

Mody�kacja funkcji kryterialnej ~QN2 (l)

W celu skonstruowania estymatora odpowiedzi impulsowej � w przypadku nieznanejnieliniowosci g (�), zauwa·zmy, ·ze je·zeli ~gN1 (�; l) jest zgodnym estymatorem funkcji g (�; l)(dla ka·zdego l 2 �), to im mniejsza jest odleg÷osc wektora l od �, tym dok÷adniej ~gN1 (�; l)przybli·za nieliniow ¾a charakterystyk¾e g (�) = g (�; �). Powy·zsza obserwacja sugeruje wi¾ec,aby estymator ~gN1 (�; l) wstawic w miejsce prawdziwej charakterystyki nieliniowej g (�) wewzorze de�niuj ¾acym funkcj¾e kryterialn ¾a ~QN2 (�). W rezultacie otrzymujemy nowe, w pe÷niempiryczne, kryterium okreslaj ¾ace jakosc �dopasowania�wektora l do �,

QN (l) =1

N2

Xm2I2

[Ym � ~gN1 (Vm (l) ; l)]2 . (4.6)

Wynikaj ¾acy z (4.6) estymator najmniejszych kwadratów odpowiedzi impulsowej �okreslony jest zatem wzorem

�LS

N = argminl2� QN (l) .

Jak zaznaczono wy·zej, w odró·znieniu od ~�LSN2 , do wyznaczenia estymatora �

LS

N nie jestwymagana znajomosc nieliniowej charakterystyki g (�).

4.3 Estymacja sygna÷u interakcyjnego

Skonstruowany powy·zej estymator �LS

N mo·zna teraz wykorzystac do estymacji elementówsygna÷u interakcyjnego fVng. Stosuj ¾ac podejscie wprowadzone w rozdziale 3. (por. wzór(3.10) na str. 25), otrzymujemy

V LSn;N =��LS

N

�TXn, (4.7)

gdzie Xn = (Xn; Xn�1; : : : ; Xn�p)T . Ze wzgl¾edu na ograniczon ¾a liczb ¾e obserwacji wejscia

i wyjscia systemu, estymator (4.7) mo·ze byc wyznaczony jedynie dla Vn takich, ·ze n 2 I =fp+ 1; p+ 2; : : : ; Ng, por. wzór (3.11) w rozdziale 3.

4W dalszej cz¾esci rozdzia÷u estymator ~gN1 (v; l) b ¾edzie nazywany estymatorem pilotowym.


4.4 Nieparametryczna identy�kacja charakterystyki nieli-niowej

Jako estymator charakterystyki nieliniowej przyjmiemy, podobnie jak w punkcie 4.2.2,nieparametryczny estymator z j ¾adrem zbudowany tym razem w oparciu o zbiórf(V LSn;N ; Yn)gn2I , tzn.

gLSN (v) =

Xn2I

YnK

v � V LSn;N

h

!Xn2I

K

v � V LSn;N

h

! , (4.8)

gdzie K (�) i h = h (N) s ¾a odpowiednio funkcj ¾a j ¾adra i parametrem wyg÷adzania,por. estymatory (3.14) oraz (4.5). W÷asnosci asymptotyczne estymatora oraz wynikieksperymentów numerycznych przeprowadzonych dla ma÷ej i sredniej liczby obserwacjiprzedstawione s ¾a odpowiednio w p. 4.5.3 i p. 4.8.

4.5 W÷asnosci asymptotyczne algorytmu

Zbadamy obecnie asymptotyczne zachowanie omawianego algorytmu identy�kacji.W szczególnosci skupimy si¾e na wykazaniu zgodnosci estymatora odpowiedzi impulsowejpodsystemu dynamicznego i estymatora nieliniowej charakterystyki podsystemu staty-cznego. W tym celu przyjmiemy nast¾epuj ¾ace za÷o·zenia odnosnie elementów konstruk-cyjnych pilotowego estymatora ~gN1 (�; l):

Za÷o·zenie 4.4 J ¾adro K0 (�) jest funkcj ¾a ci ¾ag÷¾a spe÷niaj ¾ac ¾a warunekR1�1K0 (x) dx = 1

oraz tak ¾a, ·zek11[�r;r] (v) � K0 (v) � k21[�R;R] (v) ;

gdzie r � R, k1 � k2 s ¾a dowolnymi sta÷ymi.

Za÷o·zenie 4.5 Parametr wyg÷adzania h0 = h0 (N1) spe÷nia warunki: h0 ! 0 oraz N1h0 !1 gdy N1 !1.

W celu zapewnienia identy�kowalnosci podsystemu dynamicznego przyjmiemy równie·zza÷o·zenie typowe dla metody najmniejszych kwadratów:

Za÷o·zenie 4.6 Funkcja Q (l) = En[Y1 � g (V1 (l) ; l)]2

oposiada jedyne minimum globalne

w punkcie �.

Poniewa·z w Q (l) argument l wp÷ywa równoczesnie na konstrukcj¾e funkcji g (�; l) (zob. wzór(4.4)) jak i na jej argument V1 (l) (zob. wzór (4.1)), to automatyczne spe÷nienie za÷o·zenia4.6 nie jest oczywiste.

Wymagania odnosnie gLSN (�) umo·zliwiaj ¾ace wykazanie zgodnosci estymatora charakte-rystyki nieliniowej zamieszczone s ¾a w p. 4.5.3.

4.5.1 Analiza zbie·znosci estymatora odpowiedzi impulsowej podsystemudynamicznego

Zanim okreslone zostan ¾a w÷asnosci asymptotyczne estymatora �LS

N zauwa·zmy, ·ze z za-÷o·zenia 4.4 wynika ci ¾ag÷osc5 funkcji ~gN1 (Vn (l) ; l) wzgl¾edem l, dla ka·zdego n 2 I1.

5zob. przypis na stronie 15


W konsekwencji równie·z QN (l) jest funkcj ¾a ci ¾ag÷¾a. Z faktu, ·ze � jest zbiorem zwartym

wynika nast¾epnie, ·ze QN (�) osi ¾aga wartosc najmniejsz ¾a w � i wobec tego estymator �LS

N

jest dobrze okreslony. Nale·zy jednak podkreslic, ·ze dla skonczonej liczby obserwacji N ,empiryczna funkcja kryterialna QN (l) mo·ze posiadac wi¾ecej ni·z jedno minimum w zbiorze�. Za÷o·zenie 4.6 gwarantuje jednak, ·ze graniczna postac stosowanego kryterium (tj. przyN !1) posiada jedyne minimum globalne w punkcie �.

Poni·zsze twierdzenie formu÷uje warunki, przy których �LS

N zbiega wed÷ug prawdo-podobienstwa do wektora odpowiedzi impulsowej �, gdy liczba obserwacji N rosnie donieskonczonosci.

Twierdzenie 4.1 Je·zeli spe÷nione s ¾a za÷o·zenia 2.1�2.4 oraz 4.2�4.6, to dla systemuWienera (2.10)�(2.11) estymator �

LS

N jest zgodnym estymatorem wektora odpowiedziimpulsowej � podsystemu dynamicznego, tzn.

�LS

N ! �, gdy N !1,

wed÷ug prawdopodobienstwa.

Pe÷ny dowód, skonstruowany w oparciu o twierdzenie 5.7 w Van der Vaart [123](przytoczone wraz z dowodem w dodatku A.2) zamieszczony jest w pracy Pawlaka etal. [93].

4.5.2 Analiza zbie·znosci estymatora sygna÷u interakcyjnego

Udowodnimy nast¾epuj ¾acy lemat (por. analiza estymatora V Crn;N w rozdziale 3.):

Lemat 4.1 Je·zeli spe÷nione s ¾a za÷o·zenia twierdzenia 4.1, to dla ka·zdego n 2 I,hV LSn;N � Vn

i! 0; gdy N !1; (4.9)


Dowód. Zgodnie z de�nicj ¾a (4.1) sygna÷u fVng oraz de�nicj ¾a (4.7) estymatora V LSn;Notrzymujemy na mocy nierównosci Cauchy�ego�Schwarza (zob. dodatek B.4)��Vn � V LSn;N �� = ��h�� LSN iT Xn

�� LSN kXnk � C �� LSN , (4.10)

gdzie C = (p+ 1)max fjaf j ; jbf jg, zob. za÷. 4.1. Rezultat (4.9) wynika zatem bezposrednioz ograniczonosci sygna÷u fXng i twierdzenia 4.1.

4.5.3 Analiza zbie·znosci estymatora charakterystyki nieliniowej

Dla wykazania zgodnosci estymatora charakterystyki nieliniowej niezb¾edne jest posiadanieinformacji na temat szybkosci zbie·znosci estymatora odpowiedzi impulsowej cz¾esci liniowej.

Jednak przeprowadzona powy·zej analiza w÷asnosci asymptotycznych estymatora �LS

N

dowodzi jedynie zbie·znosci algorytmu i nie pozwala na wnioskowanie o jego szybkoscizbie·znosci. Nale·zy podkreslic, ·ze okreslenie rz¾edu szybkosci zbie·znosci estymatora odpowie-dzi impulsowej podsystemu dynamicznego jest zagadnieniem skomplikowanym i wymagazastosowania bardziej zaawansowanych narz¾edzi statystyki matematycznej i teorii praw-dopodobienstwa, por. np. Ichimura [58].


Z tego powodu analiza w÷asnosci teoretycznych algorytmu identy�kacji nieliniowoscib ¾edzie prowadzona przy dodatkowym, ogólnym, za÷o·zeniu odnosnie szybkosci zbie·znosciestymatora cz¾esci liniowej. Za÷ó·zmy mianowicie, ·ze zachodzi �LSN � �

= OP (aN ) , (4.11)

gdzie aN jest pewnym ci ¾agiem zbie·znym do zera.

Uwaga 4.2 Parametryczno�nieparametryczna konstrukcja estymatora �LS

N (w szczegól-nosci wyst ¾epowanie pilotowego estymatora nieparametrycznego w kryterium sredniokwadra-

towym) mo·ze powodowac, ·ze �LS

N zbiega do � wolniej ni·z OP�N�1=2�. W szczególnosci ci ¾ag

aN mo·ze wi ¾ec przyj ¾ac postac aN � N� , gdzie 2�0; 12�.

Odnosnie konstrukcji estymatora gLSN (�) za÷o·zymy, ·ze:



Za÷o·zenie 4.8 Parametr wyg÷adzania h = h (N) spe÷nia warunki

h! 0; Nh!1; gdy N !1; (4.12)

orazaN=h

2 ! 0; gdy N !1. (4.13)

Uwaga 4.3 Wymaganie (4.12) zawarte w za÷o·zeniu 4.8 spe÷nione jest w szczególnoscigdy h � N��, gdzie � 2 (0; 1). Z kolei, dla aN � N� (zob. uwaga 4.2), warunek (4.13)zachodzi gdy � < =2.

Zgodnosc estymatora gLSN (�) przy powy·zszych za÷o·zeniach oraz za÷o·zeniach twierdzenia4.1 wykazana jest w nast¾epuj ¾acym twierdzeniu:

Twierdzenie 4.2 Je·zeli spe÷nione s ¾a za÷o·zenia twierdzenia 4.1 oraz za÷o·zenia 4.7 i 4.8,to

gLSN (v)! g (v) ; gdy N !1, (4.14)

wed÷ug prawdopodobienstwa w ka·zdym punkcie v 2 R, w którym g ¾estosc fV (v)wewn ¾etrznego sygna÷u interakcyjnego fVng jest dodatnia.


4.6 Identy�kacja systemów Wienera z wykorzystaniem ko-relacji rangowej

Omówiona powy·zej metoda identy�kacji skonstruowana jest w oparciu o kryteriumsredniokwadratowe QN (�) utworzone na podstawie dost¾epnych danych pomiarowych orazprzy u·zyciu pilotowego estymatora charakterystyki nieliniowej. Proponowana obecniemody�kacja algorytmu polega na zastosowaniu koncepcji korelacji rangowej, zob. np.Koronacki i Mielniczuk [70], do skonstruowania odmiennej funkcji kryterialnej SN (�), por.Geenens i Simar [21]. Podobnie jak w przypadku kryterium QN (�), w funkcji SN (�) równie·z


wykorzystuje si¾e pilotowy estymator (4.5) oraz stosuje si¾e wydzielenie ze zbioru obserwacjipodzbiorów T1 i T2. Rozwa·zany obecnie algorytm umo·zliwia identy�kacj¾e odpowiedziimpulsowej podsystemu dynamicznego poprzez minimalizacj¾e funkcji SN (�). W p. 4.6.2i 4.8.2 wprowadzono odpowiednio koncepcj¾e metody oraz omówiono wyniki eksperymen-tów numerycznych dla ma÷ej i sredniej liczby obserwacji wejscia i wejscia systemu. Analizateoretyczna w÷asnosci asymptotycznych algorytmu nie zosta÷a przeprowadzona.

4.6.1 Parametryczna identy�kacja podsystemu dynamicznego z wyko-rzystaniem korelacji rangowej

Konstruowanie algorytmu rozpoczniemy od rozwa·zenia uproszczonego zadania identy�ka-cji, w którym na wyjsciu systemu nie wyst¾epuje szum fZng. W tej sytuacji mamy

Yn = g (Vn) . (4.15)

Chwilowo za÷o·zymy równie·z, ·ze nieliniowa charakterystyka g (�) jest znana, a zadanieidenty�kacji polega na wyznaczeniu odpowiedzi impulsowej podsystemu dynamicznegona podstawie zbioru obserwacji f(Xn; Yn)gNn=1.

4.6.2 Koncepcja metody identy�kacji

Idea omawianej metody opiera si¾e na oczywistym spostrze·zeniu, ·ze zgodnie z (4.15),

fg (Vi) � g (Vj)g wtedy i tylko wtedy, gdy fYi � Yjg , (4.16)

dla dowolnych i; j 2 I. Wykorzystuj ¾ac powy·zsz ¾a obserwacj¾e wprowadzimy funkcj¾e

s (v1; v2; y1; y2) = 1 [g (v1) � g (v2)]1 [y1 � y2]+1 [g (v1) < g (v2)]1 [y1 < y2] ,

gdzie v1; v2;y1; y2 2 R oraz 1 [A] oznacza indykator zdarzenia A. W uproszczonymzadaniu identy�kacji, tj. przy za÷o·zeniu braku szumu wyjsciowego, s (Vi; Vj ; Yi; Yj) = 1 dladowolnych i; j 2 I. Jednoczesnie funkcja s (Vi (l) ; Vj (l) ; Yi; Yj), gdzie elementy Vi (l) i Vj (l)zde�niowane s ¾a wzorem (4.1), mo·ze przyj ¾ac wartosc zero je·zeli l 6= �. W÷asnosc ta pozwalana wykorzystanie funkcji s (v1; v2; y1; y2) w konstrukcji kryterium okreslaj ¾acego jakoscprzybli·zenia wektora � przez dowolny wektor l 2 �. Odpowiednia funkcja kryterialnazbudowana w oparciu o obserwacje ze zbioru T2 przyjmuje postac (por. Geenens i Simar[21])

~SN2 (l) =

��N22

��1 Xi;j2I2;i6=j

s (Vi (l) ; Vj (l) ; Yi; Yj) , (4.17)

gdzie czynnik wagowy�N22

�oznacza symbol Newtona6 normalizuj ¾acy funkcj¾e ~SN2 (�) tak,

aby jej wartosci zawarte by÷y w przedziale [0; 1], por. Geenens i Simar [21], Han [45] orazwspó÷czynnik Kendalla (zob. np. Koronacki i Mielniczuk [70, str. 474]). Jest oczywiste,·ze wartosc maksymaln ¾a funkcja ~SN2 (l) osi ¾aga gdy l = �, bowiem dla ka·zdego i; j 2 I2zachodzi s (Vi; Vj ; Yi; Yj) = 1. Jako estymator odpowiedzi impulsowej � przyj ¾ac wi¾ec mo·zna

~�RCN2 = argmaxl2�

~SN2 (l) :

Podobnie jak w przypadku ~QN2 (�), kryterium ~SN2 (�) nie mo·ze byc bezposrednio u·zyte gdynieliniowosc g (�) nie jest znana. W konsekwencji estymator ~�

RCN2 nie mo·ze byc wyznaczony.

6Symbol Newtona�N22

�równy jest liczbie wszystkich kombinacji par elementów ze zbioru I2.


Wykorzystuj ¾ac podejscie omówione poprzednio, zast ¾apimy w ~SN2 (l) charakterystyk¾enieliniow ¾a g (�) pilotowym estymatorem (4.5). W rezultacie otrzymujemy

SN (l) =

��N22

��1 Xi;j2I2;i6=j

sN1 (Vi (l) ; Vj (l) ; Yi; Yj) ;

gdzie

sN1 (v1; v2; y1; y2) = 1 [~gN1 (v1; l) � ~gN1 (v2; l)]1 [y1 � y2]+1 [~gN1 (v1; l) < ~gN1 (v2; l)]1 [y1 < y2] ,

i ostatecznie nowy estymator odpowiedzi impulsowej podsystemu dynamicznego przyjmujepostac

�RC

N = argmaxl2� SN (l) .

4.6.3 Estymacja sygna÷u interakcyjnego oraz identy�kacja charaktery-styki nieliniowej

Uzyskany w p. 4.6.2 estymator �RC

N , zgodnie z procedur ¾a z p. 4.3, jest nast¾epniewykorzystany do przybli·zania sygna÷u wewn¾etrznego fVng. Przez analogi¾e do V LSn;Notrzymujemy

V RCn;N =��RC

N

�TXn,

gdzie n 2 I. Nast¾epnie, post¾epuj ¾ac podobnie jak w przypadku estymatora gLSN (v), doidenty�kacji nieliniowosci mo·zna z kolei zastosowac estymator

gRCN (v) =

Xn2I

YnK

v � V RCn;N

h

!Xn2I

K

v � V RCn;N

h

! ;

gdzie K (�) i h = h (N) s ¾a odpowiednio funkcj ¾a j ¾adra i parametrem wyg÷adzania.

4.6.4 Dyskusja algorytmu w kontekscie podejscia wykorzystuj ¾acegokryterium sredniokwadratowe

Otrzymany powy·zej estymator �RC

N , podobnie jak uzyskany w p. 4.2.2 estymator �LS

N ,jest argumentem, dla którego odpowiednia funkcja celu przyjmuje wartosc ekstremaln ¾a.W przypadku estymatora zbudowanego w oparciu o metod¾e najmniejszych kwadratów,

wektor �LS

N minimalizuje kryterium QN (�), a w przypadku metody wykorzystuj ¾acej

koncepcj¾e korelacji rangowej wektor �RC

N jest punktem, w którym SN (�) przyjmuje wartoscmaksymaln ¾a. Pomimo podobnej konstrukcji obu estymatorów, w przypadku estymatora

�RC

N w funkcji SN (l) nast¾epuje usrednianie�N22

�= 1

2

�N22 �N2

�elementów losowych,

natomiast w QN (�) usrednianych jest tylko N2 wyrazów. Zatem, dla skonczonej liczbyobserwacji, oszacowanie �

RC

N mo·ze posiadac mniejsz ¾a wariancj¾e ni·z oszacowanie �LS

N .



W rozdziale przeprowadzono analiz¾e w÷asnosci asymptotycznych algorytmu zbudowanegow oparciu o metod¾e najmniejszych kwadratów. Wykazano zgodnosc estymatora cz¾esciliniowej oraz zgodnosc estymatora nieliniowej charakterystyki g (�) przy za÷o·zeniu, ·ze znanyjest rz ¾ad szybkosci zbie·znosci estymatora odpowiedzi impulsowej podsystemu dynami-cznego. Warunki, przy których zachodzi zgodnosc estymatorów umo·zliwiaj ¾a zastosowaniemetody w przypadku szerokiej klasy sygna÷ów wejsciowych (zob. za÷. 4.1) oraz szerokiejklasy charakterystyk nieliniowych wyst¾epuj ¾acych w systemie (zob. za÷. 4.2).


Symulacje komputerowe proponowanych w rozdziale algorytmów przeprowadzono dlatrzech systemów Wienera z nieliniowosciami g1 (�), g2 (�) i g3 (�) jak w p. 3.7 (zob. wzory(3.36) na str. 32). Podsystem dynamiczny, podobnie jak w rozdziale 3, modelowanyby÷za pomoc ¾a odpowiedzi impulsowej (3.35). Rozwa·zane systemy pobudzano sygna÷amio nast¾epuj ¾acych g¾estosciach prawdopodobienstwa (zob. rys. 4.2):

� rozk÷ad jednostajny

fX;1 (x) =

�12 dla x 2 [�1; 1]0 dla x =2 [�1; 1] , (4.18)

� rozk÷ad trójk ¾atny

fX;2 (x) =

�1� jxj dla x 2 [�1; 1]0 dla x =2 [�1; 1] , (4.19)

� rozk÷ad Epanechnikova

fX;3 (x) =

�34

�1� x2

�dla x 2 [�1; 1]

0 dla x =2 [�1; 1] . (4.20)

0

0.5

1

2 1 0 1 2

fX,1ÝxÞ

x 0

0.5

1

2 1 0 1 2

x

fX,2ÝxÞ

0

0.5

1

2 1 0 1 2

x

fX,3ÝxÞ

Rysunek 4.2: Wykorzystywane w eksperymentach numerycznych g¾estosci prawdopodobienstwafX;1, fX;2 i fX;3 sygna÷u wejsciowego fXng

Do wyznaczania ekstremów funkcji kryterialnych QN (�) i SN (�) zastosowano funkcj¾efminsearch, wchodz ¾ac ¾a w sk÷ad pakietu obliczeniowego MATLAB i b¾ed ¾ac ¾a implementacj ¾abezgradientowego algorytmu optymalizacji Neldera�Meada (zob. np. Walters et. al [131],Lagarias [74] et al.). Sygna÷zak÷ócaj ¾acy wygenerowano z rozk÷adu jednostajnego o zerowej


wartosci oczekiwanej i wariancji dobranej tak, aby NSR= 10% (por. p. 3.7 w rozdziale3). W symulacjach badano zale·znosc b÷¾edów empirycznych Err (�;�) i MISE (�;�),okreslonych wzorami (3.39) i (3.40) na str. 33, od liczby obserwacji N wejscia i wyjsciasystemu (zmienianej od 25 do 500). Zgodnie z za÷o·zeniami przyj¾etymi w p. 4.1, mul-tiplikatywna sta÷a � wyst¾epuj ¾aca we wzorach (3.39) i (3.40) jest równa 1. Podobniejak w rozdziale 3 w de�nicjach b÷¾edów Err (�; 1) i MISE (�; 1) przyj¾eto nast¾epuj ¾acewartosci sta÷ych R i M : R = 30, M = 1000. Poniewa·z nosnik rozwa·zanych g¾estosciprawdopodobienstwa jest równy [�1; 1], wi¾ec sygna÷wewn¾etrzny fVng posiada÷g¾estoscprawdopodobienstwa o nosniku [#1; #2], gdzie #1 � �2:28 oraz #2 � 2:28. W pilotowymestymatorze ~gN1 (�; l) (zob. wzór (4.5)) zastosowano funkcj¾e j ¾adra okreslon ¾a wzorem

K0 (v) =

�1516

�1� v2

�2 dla v 2 [�1; 1]0 dla v =2 [�1; 1] .

W estymatorze gLSN (�) (zob. wzór (4.8)) wykorzystano natomiast j ¾adro gaussowskie, tj.funkcj¾e postaci

K (v) =1p2�exp

��v

2

2

�.

Wyniki eksperymentów wykonanych dla algorytmu wykorzystuj ¾acego kryterium srednio-kwadratowe i algorytmu zbudowanego w oparciu o ide¾e korelacji rangowej przedstawionoodpowiednio w p. 4.8.1 i p. 4.8.2.

4.8.1 Identy�kacja z wykorzystaniem metody najmniejszych kwadratów

Rysunki 4.3 i 4.4 (zob. str. 48) przedstawiaj ¾a wyniki eksperymentu, tj. zale·znosci b÷¾edów

Err��LS

N ; 1�i MISE

�gLSN ; 1

�od liczby obserwacji N , dla g¾estosci sygna÷u wejsciowego

okreslonej funkcj ¾a fX;1 (�). Na rysunkach 4.5, 4.6 (zob. str. 48) oraz 4.7 i 4.8 przedstawionoz kolei rezultaty symulacji komputerowych odpowiednio dla g¾estosci wejscia fX;2 (�)oraz fX;3 (�). Otrzymane wyniki pokazuj ¾a, ·ze w przypadku systemów z nieliniowosciamig1 (�) i g2 (�) (tj. nieliniowosciami spe÷niaj ¾acymi za÷o·zenie 4.2), pobudzanych sygna÷amio g¾estosciach fX;1 (�), fX;2 (�) i fX;3 (�), b÷¾edy empiryczne malej ¾a wraz ze wzrostem liczbyobserwacji N . Podobne wartosci b÷¾edów uzyskano równie·z dla nieci ¾ag÷ej nieliniowoscig3 (�) nie spe÷niaj ¾acej wymagania 4.2 co, nie przes ¾adzaj ¾ac o zbie·znosci, sugeruje ·zeprzyj¾ete w rozdziale za÷o·zenia dotycz ¾ace charakterystyki g (�) s ¾a jedynie warunkamiwystarczaj ¾acymi i przypuszczalnie mog ¾a byc os÷abione. Rysunki 4.3, 4.5 oraz 4.7 prowadz ¾aponadto do wniosku, ·ze charakter g¾estosci wejscia fX (�) nie ma istotnego wp÷ywu nazachowanie si¾e estymatorów cz¾esci liniowej systemu. Przyk÷adowo, dyskutowane b÷¾edy

Err��LS

N ; 1�przyjmuj ¾a wartosci mniejsze ni·z 10%, gdy liczba obserwacji N jest wi¾eksza

od 250, niezale·znie od zastosowanej g¾estosci wejscia fX (�). Podobnie, w przypadku b÷¾edówempirycznychMISE

�gLSN ; 1

�uzyskane wartosci (zob. rys 4.4, 4.6, 4.8) s ¾a mniejsze ni·z 10%

gdy liczba obserwacji jest wi¾eksza od 200.

4.8.2 Identy�kacja z wykorzystaniem korelacji rangowej

Rezultaty eksperymetów wykonanych dla algorytmu zbudowanego w oparciu o koncepcj¾ekorelacji rangowej zamieszczone s ¾a na rysunkach 4.9�4.14 (zob. str. 50�51). Rysunki

4.9, 4.10 przedstawiaj ¾a b÷¾edy Err��RC

N ; 1�i MISE

�gRCN ; 1

�dla sygna÷u wejsciowego

o g¾estosci fX;1 (�). Podobnie rysunki 4.11, 4.12 oraz 4.13, 4.14 obrazuj ¾a wyniki badanodpowiednio dla g¾estosci wejscia fX;2 (�) oraz fX;3 (�). Otrzymane wyniki pokazuj ¾a, ·ze


badane b÷¾edy malej ¾a wraz ze wzrostem liczby obserwacji N . W przypadku ma÷ej liczby

obserwacji (tj. mniejszej od 200) wartosci b÷¾edów Err��RC

N ; 1�i MISE

�gRCN ; 1

�s ¾a

jednak wi¾eksze od b÷¾edów uzyskanych w badaniach algorytmu wykorzystuj ¾acego kryteriumsredniokwadratowe. W konsekwencji, w przypadku ma÷ej liczby obserwacji systemu,

estymatory �LS

N i gLSN (�) posiadaj ¾a lepsze w÷asnosci empiryczne od estymatorów �RC

N

i gRCN (�) niezale·znie od charakteru nieliniowosci wyst¾epuj ¾acej w systemie oraz typu

g¾estosci sygna÷u wejsciowego fXng. W odró·znieniu od estymatorów �LS

N i gLSN (�) omawianeobecnie estymatory �

RC

N i gRCN (�) s ¾a ponadto bardziej wra·zliwe na charakter nieliniowosciwyst¾epuj ¾acej w systemie. Otrzymane wyniki (zob. rys. 4.9, 4.11, 4.13) pokazuj ¾a, ·zenajmniejsze wartosci b÷¾edów estymacji cz¾esci liniowej systemu uzyskano dla g÷adkieji monotonicznej nieliniowosci g1 (�). Nieco wi¾eksze wartosci otrzymano dla g÷adkiej,ale niemonotonicznej nieliniowosci g2 (�). W przypadku odcinkami sta÷ej i nieci ¾ag÷ej

nieliniowosci g3 (�) b÷¾edy Err��RC

N ; 1�przyjmowa÷y natomiast wartosci najwi¾eksze.


W rozdziale zaprezentowano dwie metody identy�kacji systemów Wienera. Algorytmzbudowany w oparciu o metod¾e najmniejszych kwadratów dedykowany jest systemompobudzanym ograniczonym sygna÷em losowym typu i:i:d: o ci ¾ag÷ej funkcji g¾estosciprawdopodobienstwa. Metoda pozwala na identy�kacj¾e obiektów, w których nieliniowoscg (�) spe÷nia warunek ci ¾ag÷osci. W celu estymacji odpowiedzi impulsowej liniowegopodsystemu dynamicznego niezb¾edne jest wyznaczenie minimum nieliniowej funkcjikryterialnej QN (�). Z tego powodu praktyczne zastosowanie algorytmu wymaga u·zyciadodatkowych technik optymalizacji nieliniowej. Podobna sytuacja ma miejsce w przypadkualgorytmu zbudowanego w oparciu o koncepcj¾e korelacji rangowej, w którym estymatorodpowiedzi impulsowej podsystemu dynamicznego de�niowany jest jako maksimum funkcjikryterialnej SN (�).

W rozdziale przeprowadzono analiz¾e teoretyczn ¾a w÷asnosci asymptotycznych estyma-

torów �LS

N i gLSN (�) oraz omówiono wyniki eksperymentów numerycznych przeprowa-dzonych dla algorytmu wykorzystuj ¾acego kryterium sredniokwadratowe oraz algorytmuzbudowanego w oparciu o koncepcj¾e korelacji rangowej.


0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

g1

g2

g3

N

Err

Rysunek 4.3: B÷¾edy estymacji Err(�LS

N ; 1) w funkcji liczby obserwacji wejscia i wyjscia systemudla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;1

0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

g1

g2

g3

N

MISE

Rysunek 4.4: B÷¾edy estymacji MISE�gLSN ; 1


systemu dla nieliniowosci g1; g2, g3 i g¾estosci sygna÷u wejsciowego fX;1

0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

g1

g2

g3

N

Err




0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

g1

g2

g3

N

MISE




0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

g1

g2

g3

N

Err



0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

g1

g2

g3

N

MISE





0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500 550 600 650 700

g1

g2

g3

N

Err

Rysunek 4.9: B÷¾edy estymacji Err(�RC


0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500 550 600 650 700

g1

g2

g3

N

MISE

Rysunek 4.10: B÷¾edy estymacji MISE�gRCN ; 1



0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500 550 600 650 700

g1

g2

g3

N

Err




0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500 550 600 650 700

g1

g2

g3

N

MISE




0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500 550 600 650 700

g1

g2

g3

N

Err



0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500 550 600 650 700

g1

g2

g3

N

MISE




Rozdzia÷5

Identy�kacja systemów Wienerametod ¾a usrednionej pochodnej

W tym rozdziale przedstawiono algorytm identy�kacji systemów Wienera ze skonczon ¾apami¾eci ¾a i niegaussowskim sygna÷em wejsciowym, skonstruowany w oparciu o koncepcj¾eestymacji usrednionej pochodnej (ang. Average Derivative estimate, zob. np. Powell etal. [95], Härdle i Stoker [47]). W odró·znieniu od metody zaproponowanej w rozdziale 4,algorytm pozwala na identy�kacj¾e podsystemu dynamicznego bez koniecznosci stosowaniadodatkowych procedur optymalizacji nieliniowej, a wi¾ec jest prostszy pod wzgl¾edemobliczeniowym. Nie jest równie·z dokonywana dekompozycja zbioru pomiarów.

Wprowadzone w rozdziale estymatory cz¾esci liniowej, sygna÷u interakcyjnego i cz¾escinieliniowej systemu oznaczane b¾ed ¾a indeksem �AD� (od ang. Average Derivative), gdyg¾estosc sygna÷u wejsciowego fXng jest a priori znana oraz indeksem �fAD�, gdy g¾estoscfX (�) jest nieznana.


Ze wzgl¾edu na charakter zastosowanego podejscia kluczowymi za÷o·zeniami odnosniekonstrukcji systemu i sygna÷u wejsciowego s ¾a wymagania dotycz ¾ace g÷adkosci nieliniowoscig (�) i g¾estosci prawdopodobienstwa fX (�) sygna÷u wejsciowego fXng. Przyjmuje si¾ew szczególnosci, ·ze:

Za÷o·zenie 5.1 Funkcja g ¾estosci prawdopodobienstwa fX (�) sygna÷u wejsciowego fXngposiada ograniczony nosnik, supp fX = [af ; bf ] ; jaf j ; jbf j <1 oraz ci ¾ag÷¾a pochodn ¾a f 0X (x)dla x 2 [af ; bf ]. Ponadto fX (af ) = fX (bf ) = 0.

Za÷o·zenie 5.2 Nieliniowa charakterystyka g (�) posiada ci ¾ag÷¾a pochodn ¾a g0 (�).

5.2 Reprezentacja systemu Wienera za pomoc ¾a statycznegonieliniowego systemu typu MISO

Niech Xn = (Xn; Xn�1; : : : ; Xn�p)T b¾edzie (p+ 1)�elementowym wektorem utworzonym

z kolejnych obserwacji sygna÷u wejsciowego fXng. Wykorzystuj ¾ac powy·zsz ¾a notacj¾e,system Wienera (2.10)�(2.11) mo·zna zapisac w równowa·znej postaci za pomoc ¾a równania

Yn = G (Xn) + Zn; (5.1)

52

Rozdzia� 5. Identy�kacja systemów Wienera metod �a usrednionej pochodnej 53

X n

Xn

Xn?1

Xn?p

GÝ6ÞYn

Zn

Rysunek 5.1: Reprezentacja systemu Wienera ze skonczon ¾a pami¾eci ¾a przy pomocy statycznegosystemu nieliniowego o strukturze MISO

gdzie funkcja G : Rp+1 ! R dana jest wzorem

G (x) = g��Tx

�; x 2 Rp+1; (5.2)

a wektor � 2 Rp+1 utworzony jest z elementów odpowiedzi impulsowej podsystemu dy-namicznego, tj. � = (�0; �1; : : : ; �p)

T . Reprezentacja (5.1) pozwala przedstawic rozwa·zanysystem Wienera jako statyczny system nieliniowy o strukturze MISO z wektorowymwejsciem fXng i skalarnym wyjsciem fYng, (zob. rys. 5.1).

Wykorzystuj ¾ac zbiór obserwacji wejscia i wyjscia f(Xn; Yn)gNn=1 systemu (2.10)�(2.11)skonstruujemy analogiczny zbiór pomiarów wejscia i wyjscia, w÷asciwy dla reprezentacji(5.1). Zbiór ten przyjmuje postac

TG = f(Xn; Yn)gn2I ; (5.3)

gdzie I = fp+ 1; p+ 2; : : : ; Ng jest (N � p)�elementowym zbiorem indeksów (standardo-wo oznaczymy równie·z NI = # fIg = N � p).

W celu wprowadzenia koncepcji omawianej metody identy�kacji konieczne jestokreslenie podstawowych w÷asnosci statystycznych sygna÷u fXng. Zgodnie z przyj¾etymiza÷o·zeniami odnosnie wejscia fXng (zob. za÷o·zenie 2.2, str. 22), sygna÷fXng jest ci ¾agiemwektorów losowych o tym samym rozk÷adzie, ale nie jest ci ¾agiem typu i:i:d. Z koleielementy sk÷adowe ka·zdego wektoraXn s ¾a niezale·znymi zmiennymi losowymi o tym samymrozk÷adzie. W konsekwencji prawdziwa jest poni·zsza w÷asnosc:

W÷asnosc 5.1 Sygna÷fXng jest ci ¾agiem wektorów losowych o funkcji g ¾estosci praw-dopodobienstwa fX : Rp+1 ! R danej wzorem

fX (x) =

p+1Yj=1

fX

�x(j)

�; x 2 Rp+1; (5.4)

gdzie x(j) oznacza j�ty element wektora1 x.

Z za÷o·zenia 5.1 oraz wzoru (5.4) wynika, ·ze nosnik = supp fX funkcji fX (�) jestkostk ¾a w przestrzeni Rp+1 o bokach [af ; bf ]. Ponadto fX (�) jest funkcj ¾a ró·zniczkowaln ¾aw zbiorze .

1W rozdziale zapis w(j) oznaczac b ¾edzie ogólnie j�ty element wektora w.


5.3 Idea metody usrednionej pochodnej

Oznaczmy przez dG;l (x) i df;l (x) nast¾epuj ¾ace pochodne cz ¾astkowe

dG;l (x) =@G (x)

@x(l)oraz df;l (x) =

@fX (x)

@x(l); (5.5)

gdzie l 2 f1; 2; : : : ; p+ 1g oraz x 2 Rp+1. Niech dalej DG (x) i Df (x) b¾ed ¾a odpowiedniogradientami funkcji G (�) i fX (�) w punkcie x, tj.

DG (x) = (dG;1 (x) ; dG;2 (x) ; : : : ; dG;p+1 (x))T ;

Df (x) = (df;1 (x) ; df;2 (x) ; : : : ; df;p+1 (x))T :

Na mocy za÷o·zenia 5.2, gradient DG (x) jest dobrze okreslony w ka·zdym punkcie x 2Rp+1. Podobnie, zgodnie z za÷o·zeniem 5.1, gradient Df (x) jest dobrze okreslony w ka·zdympunkcie x 2 .

Podstaw ¾a omawianej metody identy�kacji jest obserwacja, ·ze na mocy reprezentacji(5.2) prawdziwa jest zale·znosc

DG (x) = g0 ��Tx��; (5.6)

gdzie g0 (x) oznacza pochodn ¾a funkcji g (�) w punkcie x 2 R. Wzór (5.6) prowadzi dokluczowego dla dalszych rozwa·zan spostrze·zenia:

Wniosek 5.1 Gradient DG (x) w dowolnym punkcie x 2 Rp+1 jest proporcjonalny dowektora odpowiedzi impulsowej �.

Powy·zszy wniosek sugeruje wi¾ec, aby jako oszacowanie przeskalowanej odpowiedziimpulsowej podsystemu dynamicznego przyj ¾ac estymator gradientu DG (x) w dowolnym,ustalonym punkcie x. Zauwa·zmy jednak, ·ze dowolnosc wyboru argumentu x prowadziw szczególnosci do nast¾epuj ¾acej równosci

DG (Xn) = g0 ��TXn

��, n 2 I,

i wobec tego prawdziwa jest równie·z zale·znosc

E fDG (Xn)g = �0�, (5.7)

gdzie �0 = E�g0��TXn

�. Z równania (5.7) wynika, ·ze wartosc oczekiwana E fDG (Xn)g

jest proporcjonalna do wektora � ze sta÷ym wspó÷czynnikiem proporcjonalnosci równym�0. Zatem identy�kacja podsystemu dynamicznego mo·ze byc zrealizowana poprzez esty-macj¾e wyra·zenia E fDG (Xn)g. Niestety, ze wzgl¾edu na nieznajomosc nieliniowosci g (�),gradient DG równie·z nie jest znany i w konsekwencji bezposrednie zastosowanie równania(5.7) nie jest mo·zliwe. Pewnym rozwi ¾azaniem, umo·zliwiaj ¾acym omini¾ecie wspomnianegoproblemu, jest utworzenie estymatora DG;N gradientu DG i wstawienie go do (5.7)

w miejsce DG, a nast¾epnie estymacja wartosci oczekiwanej EnDG;N (Xn)

o. Podejscie

to posiada jednak istotn ¾a wad¾e w postaci koniecznosci szacowania gradientu nieznanej,wieloargumentowej funkcji G (�).

W celu omini¾ecia powy·zszych trudnosci wprowadzimy do równania (5.6) czynnikwagowy fX (x), tj.

fX (x)DG (x) = fX (x) g0 ��Tx��. (5.8)


Równosc (5.8) prowadzi teraz do wniosku, ·ze

E�fX (Xn)DG (Xn)

= �1�, (5.9)

gdzie �1 = E�fX (Xn) g

0 ��TXn

�.

Dalsze rozwa·zania poprzedzone zostan ¾a nast¾epuj ¾acym lematem (por. lemat 2.1w Powell et al. [95]).

Lemat 5.1 Dla nieliniowej charakterystyki g (�) oraz funkcji g ¾estosci prawdopodobienstwafX (�) sygna÷u wejsciowego fXng spe÷niaj ¾acych odpowiednio za÷o·zenia 5.1 i 5.2, zachodzinast ¾epuj ¾acy zwi ¾azek

E�fX (Xn)DG (Xn)

= �2E fDf (Xn)Yng : (5.10)

Dowód lematu zamieszczony jest w dodatku A.3.

Równosc (5.10) pozwala przepisac wzór (5.9) w znacznie dogodniejszej dla dalszychrozwa·zan formie, wykorzystuj ¾acej obok sygna÷u wejsciowego fXng, tak·ze sygna÷wyjsciowyfYng, tj.

E fYnDf (Xn)g = ��; (5.11)

gdzie� = ��1=2.

W reprezentacji skalarnej zale·znosc (5.11) przyjmuje postac p+ 1 równan

E fYndf;i+1 (Xn)g = ��i; i = 0; 1; : : : ; p. (5.12)

Zauwa·zmy teraz, ·ze zgodnie z (5.4) oraz (5.5),

df;i (x) = f0X

�x(i)

� p+1Yk=1;k 6=i

fX

�x(k)

�; i 2 f1; 2; : : : ; p+ 1g : (5.13)

Zatem, gdy g¾estosc prawdopodobienstwa fX (�) wejscia fXng jest znana, mo·zliwe jestbezposrednie wyznaczenie pochodnych cz ¾astkowych df;i (�) ; i = 1; 2; : : : ; p + 1. W tymprzypadku zale·znosc (5.12) pozwala wi¾ec na prost ¾a estymacj¾e elementu ��i poprzezestymacj¾e odpowiedniej wartosci oczekiwanej wyst¾epuj ¾acej we wzorze (5.12). Zagadnienieto omawiane jest poni·zej.

5.4 Identy�kacja systemów Wienera w przypadku znanejg¾estosci prawdopodobienstwa sygna÷u wejsciowego


Zak÷adamy znajomosc a priori funkcji g¾estosci prawdopodobienstwa fX (�) sygna÷uwejsciowego fXng. Proponowany estymator konstruowany jest w oparciu o zale·znosc(5.12). Naturalnym oszacowaniem wartosci oczekiwanej po lewej stronie równania (5.12)jest srednia z próby utworzona na podstawie elementów zbioru TG, zob. wzór (5.3).W rezultacie estymator przeskalowanej odpowiedzi impulsowej f��igpi=0 przyjmuje postac

�AD

i;N =1

NI

Xn2I

Yndf;i+1 (Xn) ; i = 0; 1; : : : ; p; (5.14)

gdzie funkcja df;i+1 (�) okreslona jest wzorem (5.13).

W÷asnosci asymptotyczne estymatorów �AD

i;N ; i = 0; 1; : : : ; p oraz wyniki badan em-pirycznych dla ma÷ej i umiarkowanej liczby obserwacji omówiono odpowiednio w p. 5.4.4i p. 5.7.


5.4.2 Estymacja sygna÷u interakcyjnego

Estymator przeskalowanego sygna÷u interakcyjnego f�Vng konstruowany jest podobnie jakw przypadku metod omawianych w rozdzia÷ach 3. i 4. Obecnie jest on zatem zbudowany

w oparciu o estymatory �AD

i;N ; i = 0; 1; : : : ; p i wyra·za si¾e wzorem

V ADn;N =

pXi=0

�AD

i;NXn�i. (5.15)

Vn = �TXn.

Ze wzgl¾edu na ograniczon ¾a liczb ¾e dost¾epnych obserwacji wejscia i wyjscia systemu,estymator (5.15) mo·ze byc wyznaczony dla n 2 I.

5.4.3 Nieparametryczna identy�kacja charakterystyki nieliniowej

W przypadku znanej g¾estosci prawdopodobienstwa fX (�) sygna÷u wejsciowego, estymatorprzeskalowanej charakterystyki nieliniowej g (�=�) konstruowany jest w oparciu o ci ¾agoszacowan fV ADn;N gn2I sygna÷u f�Vng i okreslony jest wzorem

gADN (v) =

Xn2I

YnK

v � V ADn;N

h

!Xn2I

K

v � V ADn;N

h

! . (5.16)

Podobnie jak w przypadku estymatorów gCrN (�) i gLSN (�) (zob. rozdzia÷y 3. i 4.), K (�)i h = h (N) s ¾a odpowiednio funkcj ¾a j ¾adra i parametrem wyg÷adzania zale·znym od liczbyobserwacji N .

5.4.4 W÷asnosci asymptotyczne algorytmu

Analiza zbie·znosci estymatora odpowiedzi impulsowej podsystemu dynami-cznego

Poni·zsze twierdzenie podaje warunki, przy których estymator �AD

i;N dany wzorem (5.14)zbiega do ��i; i = 0; 1; : : : ; p wed÷ug prawdopodobienstwa z szybkosci ¾a zbie·znosci rz¾eduOP�N�1=2�, tj. z szybkosci ¾a typow ¾a dla metod parametrycznych.

Twierdzenie 5.1 Je·zeli dla systemu Wienera (2.10)�(2.11) spe÷nione s ¾a za÷o·zenia

2.1�2.4 oraz 5.1, 5.2, to dla ka·zdego i 2 f0; 1; 2; : : : ; pg estymator �ADi;N zbiega wed÷ugprawdopodobienstwa do ��i, gdy N !1. Ponadto

�AD

i;N = ��i +OP

�N�1=2

�.

Dowód. Niech �i;n = Yndf;i+1 (Xn) dla ka·zdego n 2 I oraz i 2 f0; 1; : : : ; pg. Wtedyestymator �

AD

i;N mo·zna zapisac w postaci

�AD

i;N =1

NI

Xn2I

�i;n.


Poniewa·z fXng i fZng s ¾a stacjonarnymi ci ¾agami zmiennych losowych, wi¾ec��i;nn2I

równie·z jest stacjonarnym ci ¾agiem zmiennych losowych. Zatem wartosc oczekiwanaestymatora (5.14) jest równa

En�AD

i;N

o= E

��i;n= E fYndf;i+1 (Xn)g ,

co na mocy równosci (5.12) prowadzi do wniosku, ·ze

En�AD

i;N

o= ��i;

tzn. �AD

i;N jest nieobci ¾a·zonym estymatorem elementu ��i. Analiz¾e wariancji estymatora �AD

i;N

rozpoczniemy od wykazania ·ze V ar��i;n<1. Ze wzgl¾edu na stochastyczn ¾a niezale·znosc

sygna÷u fXng i szumu fZng oraz wzór (5.1), prawdziwa jest nast¾epuj ¾aca nierównosc

V ar��i;n� 2V ar fG (Xn) df;i+1 (Xn)g+ 2�2ZV ar fdf;i+1 (Xn)g . (5.17)

Poniewa·z G (�) jest funkcj ¾a ci ¾ag÷¾a (na mocy za÷o·zenia 5.2), a df;i+1 (�) jest funkcj ¾aograniczon ¾a (na mocy za÷o·zenia 5.1), wi¾ec wariancje po prawej stronie nierównosci (5.17) s ¾askonczone i tym samym V ar

��i;n<1. Zauwa·zmy nast¾epnie, ·ze dla dowolnych indeksów

k; l 2 I zmienne losowe �i;k i �i;l s ¾a stochastycznie niezale·zne, je·zeli jk � lj > p. Zatem namocy lematu A.1 w dodatku A.1 otrzymujemy

V arn�AD

i;N

o� p+ 1

NIV ar

��i;n

i wobec tego

V arn�AD

i;N

o= O

�N�1� ;

co konczy dowód twierdzenia.

Analiza zbie·znosci estymatora sygna÷u interakcyjnego

Poni·zszy lemat podaje warunki, przy których estymator V ADn;N zbiega wed÷ug prawdopodo-bienstwa do �Vn.

Lemat 5.2 Je·zeli spe÷nione s ¾a za÷o·zenia twierdzenia 5.1, to dla ka·zdego n 2 I estymatorV ADn;N jest zgodnym estymatorem elementu �Vn oraz

V ADn;N = �Vn +OP

�N�1=2

�. (5.18)

Ponadtosupn2I

��V ADn;N � �Vn�� = OP �N�1=2�. (5.19)

Dowód. Rz ¾ad szybkosci zbie·znosci w (5.18) wynika z de�nicji sygna÷u fVng, postaciestymatora V ADn;N oraz z szybkosci zbie·znosci �

AD

i;N do ��i, (por. dowód lematu 3.1 na str.28). Odnosnie (5.19) zauwa·zmy, ·ze

supn2I

��V ADn;N � �Vn�� sup1�n�N

jXnjpXi=0

��ADi;N � ��i�� .Zgodnie z za÷o·zeniem 5.1, ci ¾ag

�sup1�n�N jXnj

jest ograniczony z prawdopodobienstwem

jeden, bowiem P�sup1�n�N jXnj � c0

= 0, gdzie c0 = max fjaf j ; jbf jg. Zbie·znosc (5.19)

wynika zatem z twierdzenia 5.1.


Analiza zbie·znosci estymatora charakterystyki nieliniowej

Post¾epuj ¾ac podobnie jak w rozdziale 3. przyjmiemy nast¾epuj ¾ace za÷o·zenia o funkcji j ¾adraK (�) i parametrze wyg÷adzania h w estymatorze nieliniowosci gADN (�):



Za÷o·zenie 5.4 Zbie·zny do zera ci ¾ag liczbowy h = h (N) posiada rz ¾ad szybkosci zbie·znosciN�1=5, tj. h � N�1=5.

Warunki przy których estymator gADN (�) zbiega do przeskalowanej nieliniowosci g (�=�)podaje poni·zsze twierdzenie.

Twierdzenie 5.2 Je·zeli spe÷nione s ¾a za÷o·zenia twierdzenia 5.1 oraz za÷o·zenia 5.3, 5.4i dodatkowo � 6= 0, to dla systemu Wienera (2.10)�(2.11) zachodzi zbie·znosc

gADN (v)! g (v=�) gdy N !1 (5.20)

wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R, w którym fV (v=�) > 0.

Dowód. Dowód przebiega analogicznie do dowodu twierdzenia 3.2. Przyjmiemy standar-dowe oznaczenia

rADN (v) =1

NIh

Xn2I

YnK

v � V ADn;N

h

!; fADN (v) =

1

NIh

Xn2I

K

v � V ADn;N

h

!;

oraz r (v) = ��1g (v=�) fV (v=�). Zbie·znosc w (5.20) zachodzi je·zeli rADN (v) i fADN (v)zbiegaj ¾a wed÷ug prawdopodobienstwa odpowiednio do r (v) i ��1fV (v=�) przy N ! 1,w ka·zdym punkcie v 2 R, w którym fV (v=�) > 0. Wykorzystuj ¾ac dekompozycj¾e

rADN (v)� r (v) =�rADN (v)� ~rN (v)

�+ [~rN (v)� r (v)] ; (5.21)

gdzie

~rN (v) =1

NIh

Xn2I

YnK

�v � �Vnh

�,

zbadamy asymptotyk¾e wyra·zen�rADN (v)� ~rN (v)

�i [~rN (v)� r (v)]. Rozpoczniemy od

okreslenia zachowania asymptotycznego ró·znicy [~rN (v)� r (v)]. Zauwa·zmy, ·ze

E f~rN (v)g =1

h

Z 1

�1K

�v � �xh

�g (x) fV (x) dx =

1

h

Z 1

�1K

�v � xh

�r (x) dx. (5.22)

Poniewa·z nieliniowa charakterystyka g (�) jest funkcj ¾a ci ¾ag÷¾a (za÷o·zenie 5.2) oraz g¾estoscsygna÷u wejsciowego ma ograniczony nosnik (za÷o·zenie 5.1), to ca÷ka

R1�1 jr (v)j dv jest

skonczona. St ¾ad, zgodnie z lematem B.3 z dodatku B.3, na mocy za÷o·zen 5.3 i 5.4 mamiejsce nast¾epuj ¾aca zbie·znosc

E f~rN (v)g ! r (v) , gdy N !1; (5.23)

w ka·zdym punkcie v 2 R.Wykorzystuj ¾ac w÷asnosc 3.2 z rozdzia÷u 3, na mocy lematu A.1 z dodatku A.1 zauwa·zamynast¾epnie, ·ze prawdziwe jest nast¾epuj ¾ace oszacowanie wariancji estymatora ~rN (v),

V ar f~rN (v)g �p+ 1

NIh2V ar

�Y1K

�v � �V1h

��. (5.24)


Ze wzgl¾edu na ograniczonosc j ¾adra K (�) widzimy dalej, ·ze element h�1V arfY1K([v ��V1]=h)g wyst¾epuj ¾acy w (5.24) jest ograniczony przez

2k0hE

�g2 (V1)K

�v � �V1h

��+2k0�

2Z

hE

�K

�v � �V1h

��. (5.25)

Ponowne wykorzystanie za÷o·zen 5.1 i 5.2 prowadzi do wniosku, ·zeR1�1 g

2 (v=�) fV (v=�) dv<1. Zatem, na mocy lematu B.3 z dodatku B.3, wyra·zenie (5.25) d ¾a·zy do

2k0�fV

�v�

� hg2�v�

�+ �2Z

i<1,

gdy N ! 1 w ka·zdym punkcie v 2 R. Ostatecznie wi¾ec nierównosc (5.24), dla hspe÷niaj ¾acego za÷o·zenie 5.4, daje

V ar f~rN (v)g = O�N�4=5

�; (5.26)

w ka·zdym punkcie v 2 R.Zgodnie z rezultatami w (5.23) i (5.26) zachodzi wi¾ec zbie·znosc

[~rN (v)� r (v)]! 0; gdy N !1;

wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R.Przejdziemy teraz do okreslenia asymptotyki wyra·zenia

�rADN (v)� ~rN (v)

�. Korzystaj ¾ac

z faktu, ·ze j ¾adro K (�) spe÷nia warunek Lipschitza (zob. za÷. 5.3), otrzymujemy��rADN (v)� ~rN (v)�� sup

n2I

��Vn � V ADn;N �� L

NIh2

Xn2I

jYnj :

Uzyskany w lemacie 5.2 rezultat dotycz ¾acy szybkosci zbie·znosci wyra·zenia (5.19) wrazze zbie·znosci ¾a2 (1=NI)

Pn2I jYnj = E fjY1jg + OP

�N�1=2� i za÷o·zeniem 5.4 prowadzi do

wniosku, ·ze ��rADN (v)� ~rN (v)��! 0; gdy N !1;

wed÷ug prawdopodobienstwa w ka·zdym punkcie v 2 R. Ostatecznie wi¾ec

rADN (v)! r (v) ; gdy N !1;

wed÷ug prawdopodobienstwa w ka·zdym punkcie v 2 R.Stosuj ¾ac analogiczn ¾a argumentacj¾e dla estymatora fADN (v) otrzymujemy zbie·znosc

fADN (v)! ��1fV (v=�) ; gdy N !1;

wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R, co konczy dowód twierdzenia.

Uwaga 5.1 Nale·zy zwrócic uwag ¾e, ·ze spe÷nienie wymagania � 6= 0 zawartego w twierdze-niu 5.2 zale·zy zarówno od postaci g ¾estosci wejscia systemu jak i typu charakterystykinieliniowej g (�). St ¾ad jego ogólna dyskusja jest zadaniem trudnym. Niemniej jednak wartozauwa·zyc, ·ze niezale·znie od typu g ¾estosci fX (�) spe÷niaj ¾acej za÷o·zenie 5.1, warunek tenzachodzi dla klasy scisle monotonicznych charakterystyk nieliniowych.

2por. dowód tw. 3.2


Analiza rz¾edu szybkosci zbie·znosci estymatora charakterystyki nieliniowej

Okreslimy teraz rz ¾ad szybkosci zbie·znosci estymatora gADN (�). W tym celu ograniczymyklas¾e rozwa·zanych systemów do systemów z dwukrotnie ró·zniczkowalnymi nieliniowoscia-mi (por. za÷o·zenia u Greblickiego [26]). Za÷o·zymy równie·z, ·ze fX (�) jest funkcj ¾a dwukrotnieró·zniczkowaln ¾a.

Za÷o·zenie 5.5 Drugie pochodne g00 (�) i f 00X (�) nieliniowej charakterystyki g (�) i g ¾estoscifX (�) s ¾a funkcjami ci ¾ag÷ymi.

Za÷o·zenie 5.6 Pochodna g0 (�) nieliniowosci g (�) jest ograniczona przez wielomian, tj.istnieje taki wielomian m0 (�) dowolnego skonczonego stopnia, ·ze jg0 (v)j � m0 (v) ; 8v 2 R.

Przyjmiemy równie·z dodatkowe za÷o·zenia o funkcji j ¾adra K (�).

Za÷o·zenie 5.7 J ¾adro K (�) posiada ci ¾ag÷¾a i ograniczon ¾a drug ¾a pochodn ¾a K 00 (�), tj. jK 00 (v)j< k1 <1, 8v 2 R. Ponadto

R1�1 vK (v) dv = 0 oraz

R1�1 v

2K (v) dv <1.

Mo·zna teraz sformu÷owac nast¾epuj ¾ace twierdzenie.

Twierdzenie 5.3 Je·zeli spe÷nione s ¾a za÷o·zenia twierdzenia 5.2 oraz dodatkowo za÷o·zenia5.5�5.7, to dla systemu Wienera (2.10)�(2.11) zachodzi zbie·znosc

gADN (v) = g (v=�) +OP

�N�(2=5)

�; (5.27)

w ka·zdym punkcie v 2 R, w którym fV (v=�) > 0.


5.5 Zastosowanie metody usrednionej pochodnej w przy-padku nieznanej g¾estosci prawdopodobienstwa sygna÷uwejsciowego

Omówiony powy·zej algorytm umo·zliwia identy�kacj¾e systemówWienera przy za÷o·zeniu, ·zeg¾estosc prawdopodobienstwa sygna÷u wejsciowego jest a priori znana. Obecnie rozwa·zanamody�kacja metody pozwala z kolei na identy�kacj¾e, w przypadku gdy funkcja fX (�) niejest dana a priori, lecz wiadomo jedynie, ·ze fX (�) oraz jej pochodna f 0 (�) s ¾a funkcjamijednostajnie ci ¾ag÷ymi (zob. np. Rudin [99]).

Szczególnie wygodnym kryterium przy rozstrzyganiu czy dana funkcja spe÷nia warunekjednostajnej ci ¾ag÷osci jest twierdzenie, w mysl którego ka·zda funkcja ci ¾ag÷a w zbiorzezwartym jest w tym zbiorze jednostajnie ci ¾ag÷a, Rudin [99, str. 78]. Wynika st ¾adbezposrednio, ·ze na mocy za÷o·zenia 5.1 fX (�) oraz f 0X (�) s ¾a jednostajnie ci ¾ag÷e.


Proponowana wersja algorytmu polega na zast ¾apieniu funkcji fX (�) wyst¾epuj ¾acej wewzorze de�niuj ¾acym estymatory �

AD

i;N ; i = 0; 1; : : : ; p, (zob. wzory (5.13) i (5.14)) przez

estymator fX;N (�) g¾estosci prawdopodobienstwa sygna÷u fXng zbudowany w oparciuo dost¾epne obserwacje wejscia systemu fXngNn=1. Podobnie, w miejsce pochodnej f 0X (�)


wstawiony zostanie estymator �X;N (�) równie·z utworzony na podstawie obserwacji wejsciasystemu. W rezultacie, zmody�kowany estymator przeskalowanej odpowiedzi impulsowejf��igpi=0 przyjmie postac

�fAD

i;N =1

NI

Xn2I

Yndf;i+1;N (Xn) ; i = 0; 1; : : : ; p; (5.28)

gdzie df;i;N (�) ; i = 0; 1; : : : ; p, s ¾a estymatorami pochodnych cz ¾astkowych df;i, i =0; 1; : : : ; p, i wyra·zaj ¾a si¾e wzorem, por. (5.13),

df;i;N (x) = �X;N

�x(i)

� p+1Yj=1;j 6=i

fX;N

�x(j)

�; i = 0; 1; : : : ; p:

W rozwa·zanym podejsciu fX;N (�) jest estymatorem j ¾adrowym (por. wzór (2.2) w rozdziale2) postaci

fX;N (x) =1

h1N

NXn=1

K1

�x�Xnh1

�; (5.29)

gdzie h1 = h1 (N) iK1 (�) s ¾a odpowiednio parametrem wyg÷adzania i funkcj ¾a j ¾adra. W celuoszacowania pochodnej f 0X (�) wykorzystamy zaproponowany przez Bhattacharya�¾e [4]estymator �X;N (�) okreslony nast¾epuj ¾aco

�X;N (x) =1

h22N

NXn=1

K 02

�x�Xnh2

�. (5.30)

W przypadku gdy fX;N (�) i �X;N (�) posiadaj ¾a te same j ¾adra oraz ci ¾agi h1, h2 s ¾a równe,÷atwo zauwa·zyc, ·ze zachodzi zale·znosc

�X;N (x) =dfX;N (x)

dx.

W rezultacie, w celu oszacowania pochodnej g¾estosci wejscia, wykorzystano estymatorb¾ed ¾acy pochodn ¾a klasycznego, j ¾adrowego estymatora g¾estosci prawdopodobienstwa.

Uwaga 5.2 Do estymacji funkcji g ¾estosci prawdopodobienstwa fX (�) oraz jej pochodnejf 0X (�) mo·zna zastosowac równie·z inne podejscia. Przyk÷adowo, w pracy [36] Greblickii Pawlak wprowadzaj ¾a estymatory funkcji g ¾estosci i jej pochodnych konstruowane przyu·zyciu szeregów Hermite�a.

5.5.2 Estymacja sygna÷u interakcyjnego i charakterystyki nieliniowej

Przez analogi¾e do (5.15) wprowadzimy nast¾epuj ¾acy estymator przeskalowanego sygna÷uinterakcyjnego f�Vng,

V fADn;N =

pXi=0

�fAD

i;N Xn�i, n 2 I.

Podobnie, post¾epuj ¾ac tak jak w p. 5.4.3, estymator przeskalowanej charakterystykinieliniowej g (�=�) przyjmie postac

gfADN (v) =

Xn2I

YnK

v � V fADn;N

h

!Xn2I

K

v � V fADn;N

h

! ;

gdzie K (�) i h = h (N) s ¾a odpowiednio funkcj ¾a j ¾adra i parametrem wyg÷adzania.


5.5.3 W÷asnosci asymptotyczne algorytmu

Prezentowana obecnie analiza teoretyczna algorytmu dotyczy zbie·znosci metody. W celuwykazania zgodnosci estymatora gfADN (�) konieczna jest jednak znajomosc szybkosci zbie-·znosci estymatora �

fAD

i;N . Ze wzgl¾edu na trudnosci analityczne zwi ¾azane z okresleniem

szybkosci zbie·znosci estymatora �fAD

i;N , b ¾edziemy dalej zak÷adac, ·ze szybkosc zbie·znosci

�fAD

i;N jest znana. Analogiczne podejscie zastosowano w rozdziale 4.

Analiza zgodnosci estymatora odpowiedzi impulsowej podsystemu dynami-cznego

Okreslimy warunki, przy których �fAD

i;N , i = 0; : : : ; p s ¾a zgodnymi estymatorami elementówprzeskalowanej odpowiedzi impulsowej ��i; i = 0; : : : ; p. W tym celu zauwa·zmy najpierw,

·ze wobec zbie·znosci badanego wczesniej estymatora �AD

i;N (zob. twierdzenie 5.1), nierównosc��fADi;N � ��i�� fADi;N � �ADi;N

��+ ��ADi;N � ��i�� ;sprowadza rozwa·zany obecnie problem do wykazania, ·ze

��fADi;N � �ADi;N��! 0, gdy N !1,

wed÷ug prawdopodobienstwa.Zauwa·zmy, ·ze ��fADi;N � �ADi;N

�� 1

NI

Xn2I

jYnj��df;i+1;N (Xn)� df;i+1 (Xn)

�� ,i dlatego ��fADi;N � �ADi;N

�� supx2

��df;i+1;N (x)� df;i+1 (x)�� 1NI

Xn2I

jYnj

W celu wykazania zgodnosci estymatora wystarczy zatem dowiesc, ·ze

supx2

��df;i+1;N (x)� df;i+1 (x)��! 0, gdy N !1, (5.31)

wed÷ug prawdopodobienstwa. Na mocy lematu A.2 w dodatku A.3 zbie·znosc w (5.31)zachodzi, je·zeli estymatory fX;N (x) i �X;N (x) zbiegaj ¾a jednostajnie wed÷ug prawdopodo-bienstwa odpowiednio do fX (x) i f 0X (x), gdy N !1, tzn.

supx2R

��fX;N (x)� fX (x)��! 0; gdy N !1; (5.32)

orazsupx2R

��X;N (x)� f 0X (x)��! 0; gdy N !1; (5.33)


Zagadnienie zbie·znosci jednostajnej j ¾adrowych estymatorów g¾estosci prawdopodobien-stwa dyskutowane jest mi¾edzy innymi przez Nadaraya�¾e [81], Schustera [112], Van Ryzina[106] i Silvermana [116]. Zgodnie z wynikami otrzymanymi np. przez Silvermana, zbie·znoscw (5.32) i (5.33) zachodzi je·zeli funkcje fX (�) i f 0X (�) s ¾a jednostajnie ci ¾ag÷e oraz j ¾adraK1 (�), K2 (�) i parametry wyg÷adzania h1, h2 spe÷niaj ¾a odpowiednio za÷o·zenia twierdzenA i C w [116].

Uzyskane powy·zej rezultaty dowodz ¾a prawdziwosci nast¾epuj ¾acego twierdzenia:


Twierdzenie 5.4 Je·zeli dla systemu Wienera (2.10)�(2.11) spe÷nione s ¾a za÷o·zenia twier-dzenia 5.1 oraz zachodz ¾a zbie·znosci (5.32) i (5.33), to dla ka·zdego i 2 f0; : : : ; pg estymator�fAD

i;N jest zgodnym estymatorem elementu ��i, tzn.

�fAD

i;N ! ��i; gdy N !1,


Analiza zgodnosci estymatora odpowiedzi impulsowej podsystemu dynami-cznego

Post¾epuj ¾ac tak jak w przypadku estymatora gLSN (�) (zob. rozdzia÷4 i wzór (4.11)),za÷o·zymy ·ze zachodzi �fADN � ��

= OP (aN ) ,gdzie �

fAD

N =��fAD

0;N ; �fAD

1;N : : : ; �fAD

p;N

�Toraz aN jest pewnym ci ¾agiem zbie·znym do zera.

Odnosnie konstrukcji estymatora gfADN (�) za÷o·zymy, ·ze:



Za÷o·zenie 5.9 Parametr wyg÷adzania h = h (N) spe÷nia warunki

h! 0; Nh!1; gdy N !1;

orazaN=h

2 ! 0; gdy N !1.

Zgodnosc estymatora gfADN (�) przy powy·zszych za÷o·zeniach oraz za÷o·zeniach twierdzenia5.4, wykazana jest w nast¾epuj ¾acym twierdzeniu:

Twierdzenie 5.5 Je·zeli spe÷nione s ¾a za÷o·zenia twierdzenia 5.4, za÷o·zenia 5.8, 5.9, oraz� 6= 0, to

gfADN (v)! g (v=�) ; gdy N !1,wed÷ug prawdopodobienstwa w ka·zdym punkcie v 2 R, w którym fV (v=�) > 0.

Dowód twierdzenia przebiega analogicznie do dowodu twierdzenia 4.2 w rozdziale 4.


W rozdziale omówiono algorytm identy�kacji systemów Wienera zbudowany w oparciuo koncepcj¾e estymacji usrednionej pochodnej. Dla skonstruowanej w dwóch wersjachmetody (tj. dla przypadku ze znan ¾a oraz z nieznan ¾a g¾estosci ¾a prawdopodobienstwa sygna÷uwejsciowego fXng) przeprowadzono analiz¾e teoretyczn ¾a odnosz ¾ac ¾a si¾e do asymptoty-cznego zachowania si¾e estymatorów. W szczególnosci wykazano zgodnosc estymatorów

f�ADi;N gpi=0, g

ADN (�) oraz okreslono ich rz¾edy szybkosci zbie·znosci. W przypadku estyma-

torów f�fADi;N gpi=0, gfADN (�), tj. w sytuacji gdy g¾estosc prawdopodobienstwa fX (�) sygna÷u

wejsciowego fXng jest nieznana, wykazano zgodnosc estymatorów odpowiedzi impulsowejcz¾esci liniowej systemu oraz (przy za÷o·zeniu, ·ze znany jest rz ¾ad szybkosci zbie·znosci

oszacowan f�fADi;N gpi=0) zgodnosc estymatora nieliniowej charakterystyki g (�).



Dla opracowanego algorytmu identy�kacji wykonano badania symulacyjne ilustruj ¾ace

zachowanie estymatorów �AD

N , gADN (�) oraz �fADN , gfADN (�) dla ma÷ej i umiarkowanej liczbyobserwacji wejscia i wyjscia systemu.

Badania przeprowadzono dla systemów pobudzanych sygna÷ami wejsciowymi o g¾esto-sciach fX;2 (�), fX;3 (�) (zob. wzory (4.19)�(4.20) na str. 45) oraz fX;4 (�), zob. rys. 5.2.Funkcja fX;4 (�) okreslona jest wzorem

fX;4 (x) =2

3' (x) +

1

3' (x� 1:4) ,

gdzie ' (x) jest g¾estosci ¾a prawdopodobienstwa ' (x) = (15=16)�x4 � 2x2 + 1

�1[�1;1] (x).

Podobnie jak w rozdzia÷ach 3. i 4., podsystem dynamiczny modelowany by÷za pomoc ¾aodpowiedzi impulsowej (3.35), str. 32. Ze wzgl¾edu na zerowanie si¾e sta÷ej � w przypadkunieliniowosci g2 (�) i g3 (�) (por. uwaga 5.1 na str. 59), w badaniach wykorzystanonast¾epuj ¾ace charakterystyki nieliniowe (zob. rys. 5.3)

g1 (v) = 2 arctan (2v) ,

g4 (v) = 2 sin (2v) ,

g5 (v) =

8<:1:5v + 4:5 dla v < �1�2v + 1 dla �1 � v � 11:5v � 2:5 dla v > 1

.

0

0.5

1

1 0 1 2 3

x

fX,4ÝxÞ

0

0.5

1

2 1 0 1 2

x

fX,2ÝxÞ

0

0.5

1

2 1 0 1 2

x

fX,3ÝxÞ

Rysunek 5.2: Wykorzystywane w eksperymentach numerycznych g¾estosci prawdopodobienstwafX;2; fX;3 i fX;4

W symulacjach badano zale·znosc b÷¾edów empirycznych Err (�;�) i MISE (�;�),okreslonych wzorami (3.39) i (3.40) na str. 33, od liczby obserwacji N wejscia i wyjsciasystemu (zmienianej od 25 do 500). W de�nicji b÷¾edów Err (�;�) i MISE (�;�) przyj¾etonast¾epuj ¾ace wartosci sta÷ych R i M : R = 30, M = 1000. Wartosci sta÷ej � wyznaczononumerycznie dla ka·zdej z zastosowanych nieliniowosci (oraz dla g¾estosci fX;2 (�), fX;3 (�)i fX;4 (�)). W przypadku g¾estosci wejscia fX;2 (�) i fX;3 (�) (o nosniku [�1; 1]), sygna÷wewn¾etrzny fVng posiada÷g¾estosc prawdopodobienstwa o nosniku [#1; #2], gdzie #1 ��2:28 i #1 � 2:28. Dla g¾estosci fX;4 (�) (z nosnikiem [�1; 2:4]) sta÷e #1 i #2 przyjmowa÷yodpowiednio wartosci �2:28 i 5:48. Sygna÷zak÷ócaj ¾acy fZng wygenerowano z rozk÷adujednostajnego o zerowej sredniej i wariancji dobranej tak, aby NSR= 10% (por. rozdzia÷3). W estymatorach gADN (�) i gfADN (�) zastosowano gaussowsk ¾a funkcj¾e j ¾adra

K (v) =1p2�exp

��v

2

2

�.


3

2

1

0

1

2

3

3 2 1 0 1 2 3

v

g4ÝvÞ

3

2

1

0

1

2

3

3 2 1 0 1 2 3

v

g5ÝvÞ

3

2

1

0

1

2

3

3 2 1 0 1 2 3

g1ÝvÞ

vc

Rysunek 5.3: Wykorzystywane w symulacjach nieliniowosci g1, g4 i g5

5.7.1 Rezultaty eksperymentów w przypadku znanej g¾estosci prawdo-podobienstwa sygna÷u wejsciowego

Rysunki 5.4�5.9 (zob. str. 67) przedstawiaj ¾a wyniki eksperymentów numerycznych, tj.

zale·znosci b÷¾edów empirycznych Err(�AD

N ;�) i MISE�gADN ;�

�od liczby obserwacji

wejscia i wyjscia systemu. Uzyskane rezultaty prowadz ¾a do wniosku, ·ze wraz ze wzrostemliczby obserwacji N wartosci badanych b÷¾edów malej ¾a. Gdy sygna÷wejsciowy posiadag¾estosc fX;2 (�) lub fX;3 (�) b÷¾edy empiryczne przyjmuj ¾a zbli·zone wartosci, niezale·znie odnieliniowosci wyst¾epuj ¾acej w systemie (zob. rys. 5.4�5.7). Nale·zy jednak podkreslic, ·ze dlacharakterystyki g5 (�) (nie spe÷niaj ¾acej za÷o·zenia 5.1) uzyskano nieznacznie gorsze rezultatyeksperymentu (zob. rys. 5.4 i 5.6). Przyk÷adowo, b÷¾ad Err(�

AD

N ;�) o wartosci 5% dlanieliniowosci g1 (�) i g4 (�) otrzymano przy N = 150. Dla nieliniowosci g5 (�), natomiast, t¾esam ¾a wartosc b÷¾edu uzyskano przy N = 300 (dla N = 150 b÷¾ad przyjmowa÷wartosc 12%,por. rys. 5.4). W przypadku g¾estosci fX;4 (�) uzyskane b÷¾edy s ¾a istotnie wi¾eksze (zob. rys.5.8 i 5.9) ni·z w przypadku g¾estosci fX;2 (�) i fX;3 (�), co prowadzi do wniosku, ·ze badanyalgorytm jest wra·zliwy na charakter g¾estosci sygna÷u wejsciowego. Rezultaty otrzymanedla g¾estosci fX;4 (�) wskazuj ¾a ponadto, ·ze typ nieliniowosci wyst¾epuj ¾acej w systemie mo·zerównie·z istotnie wp÷ywac na efektywnosc algorytmu. Dla ci ¾ag÷ej i monotonicznej nielin-


iowosci g1 (�), prezentowane na wykresach 5.8 i 5.9 b÷¾edy Err(�AD

N ;�) i MISE�gADN ;�

�przyjmowa÷y wartosci najmniejsze. Dla nieliniowosci g5 (�) z kolei (tj. nieliniowosci niespe÷niaj ¾acej za÷o·zenia 5.1), otrzymano wi¾eksze wartosci b÷¾edów.

5.7.2 Rezultaty eksperymentów w przypadku nieznanej g¾estosci praw-dopodobienstwa sygna÷u wejsciowego

Badany algorytm identy�kacji w przypadku nieznanej g¾estosci wejscia fX (�) wymaga zas-tosowania estymatorów �X;N (�) i fX;N (�) (zob. wzory (5.29) i (5.30)). W eksperymentach

numerycznych przyj¾eto, ·ze funkcje K1 (�) i K2 (�) wyst¾epuj ¾ace w oszacowaniach �X;N (�)i fX;N (�) s ¾a j ¾adrami gaussowskimi, tj.

K1 (v) = K2 (v) =1p2�exp

��v

2

2

�.

Wykresy 5.10�5.15 (zob. str. 69) obrazuj ¾a zmiany wielkosci b÷¾edów empirycznych

Err(�fAD

N ;�) i MISE�gfADN ;�

�otrzymanych dla systemów z nieliniowosciami g1 (�) ;

g4 (�) ; g5 (�) i pobudzanych sygna÷ami o g¾estosciach prawdopodobienstwa fX;2 (�) ; fX;3 (�)i fX;4 (�). Na podstawie otrzymanych rezultatów mo·zna stwierdzic, ·ze badane b÷¾edymalej ¾a wraz ze wzrostem liczby obserwacji N zarówno dla charakterystyk g1 (�) i g4 (�)spe÷niaj ¾acych przyj¾ete w rozdziale za÷o·zenia, jak i dla charakterystyki g5 (�), która nie jestró·zniczkowalna w punktach �1 i 1.

Wartosci uzyskanych b÷¾edów s ¾a na ogó÷wi¾eksze od odpowiadaj ¾acych im b÷¾edówotrzymanych w przypadku algorytmu wykorzystuj ¾acego aprioryczn ¾a znajomosc g¾estosciprawdopodobienstwa sygna÷u wejsciowego. Przyk÷adowo, dla g¾estosci fX;2 (�) i nieliniowoscig1 (�) b÷¾ad estymatora �

fAD

N nie przekracza÷30%, gdy liczba obserwacji N by÷a wi¾eksza

od 220 (zob. rys. 5.10). Analogiczny eksperyment wykonany dla estymatora �AD

N (tj. przyza÷o·zeniu znajomosci g¾estosci wejscia) pozwoli÷uzyskac 30% b÷¾ad, ju·z przy N = 30. DlaN = 220 b÷¾ad ten wynosi÷natomiast tylko oko÷o 3%.


Przedstawiony w rozdziale algorytm identy�kacji skonstruowany zosta÷w oparciu o kon-cepcj¾e estymacji usrednionej pochodnej, zob. Powell et al. [95]. W wersji podstawowejmetoda umo·zliwia szacowanie obu podsystemów przy za÷o·zeniu, ·ze g¾estosc praw-dopodobienstwa sygna÷u wejsciowego fXng jest znana. W rozdziale przedstawiono równie·zmody�kacj¾e algorytmu pozwalaj ¾ac ¾a na identy�kacj¾e w przypadku, gdy g¾estosc wejscianie jest a priori znana. Przeprowadzono analiz¾e teoretyczn ¾a w÷asnosci asymptotycznychobu algorytmów. W szczególnosci wykazano zgodnosc oraz okreslono rz¾edy szybkosci

zbie·znosci estymatorów f�AD

i;N gpi=0 i g

ADN (�) (tj. estymatorów umo·zliwiaj ¾acych identy�kacj¾e,

gdy g¾estosc wejscia jest znana) oraz wykazano zgodnosc estymatorów f�fADi;N gpi=0 i gfADN (�)

(tj. estymatorów umo·zliwiaj ¾acych identy�kacj¾e w przypadku nieznanej g¾estosci wejscia).Wykonane badania eksperymentalne proponowanych podejsc ilustruj ¾a zachowanie si¾e obumetod w przypadku ma÷ej i umiarkowanej liczby obserwacji wejscia i wyjscia systemu.


0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

g1

g4

g5

Err

N

Rysunek 5.4: B÷¾edy estymacji Err(�AD

N ;�) w funkcji liczby obserwacji wejscia i wyjscia systemudla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;2

0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

g1

g4

g5

MISE

N

Rysunek 5.5: B÷¾edy estymacji MISE�gADN ;�



0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

g1

g4

g5

Err

N




0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

g1

g4

g5

MISE

N




0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

g1

g4

g5

Err

N



0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

g1

g4

g5

MISE

N





0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

g1

g4

g5

Err

N

Rysunek 5.10: B÷¾edy estymacji Err(�fAD


0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

g1

g4

g5

MISE

N

Rysunek 5.11: B÷¾edy estymacji MISE(gfADN ;�) w funkcji liczby obserwacji wejscia i wyjsciasystemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;2

0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

g1

g4

g5

Err

N




0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

g1

g4

g5

MISE

N

Rysunek 5.13: B÷¾edy estymacji MISE�gfADN ;�



0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

g1

g4

g5

Err

N



0

10

20

30

40

50

60

70

80

90

100

0 50 100 150 200 250 300 350 400 450 500

g1

g4

g5

MISE

N

Rysunek 5.15: B÷¾edy estymacji MISE(gfADN ;�) w funkcji liczby obserwacji wejscia i wyjsciasystemu dla nieliniowosci g1; g4, g5 i g¾estosci sygna÷u wejsciowego fX;4

Rozdzia÷6

Porównanie opracowanych metodidenty�kacji systemów Wienera

W tym rozdziale przedstawiona jest zbiorcza analiza porównawcza uzyskanych wynikóworaz krótka charakterystyka cech wspólnych proponowanych metod identy�kacji, na tleinnych podejsc omawianych w literaturze. Dyskutowane w pracy algorytmy porównywanes ¾a równie·z ze sob ¾a pod k ¾atem zakresu stosowalnosci, w÷asnosci asymptotycznych orazw÷asnosci dla ma÷ej i umiarkowanej liczby obserwacji wejscia i wyjscia systemu.

6.1 Opracowane metody identy�kacji, a metody parame-tryczne i nieparametryczne

Skonstruowane w pracy algorytmy i ich analiza rozszerzaj ¾a dotychczasow ¾a teori¾e oraz daj ¾amo·zliwosc identy�kacji systemów Wienera w przypadku, gdy bezposrednie zastosowanieopracowanych wczesniej metod parametrycznych i nieparametrycznych jest niemo·zliwe.W odró·znieniu od wi¾ekszosci wczesniejszych podejsc, omawiane w pracy algorytmy(z pomini¾eciem algorytmu korelacyjnego) pozwalaj ¾a bowiem na identy�kacj¾e systemówWienera, gdy 1) wejscie systemu nie jest sygna÷em gaussowskim, 2) charakterystykanieliniowa systemu nie jest odwracalna. W przypadku gaussowskiego wejscia fXng, zapro-ponowana w rozdziale 3. metoda korelacyjna funkcjonuje dla szerokiej klasy charakterystyknieliniowych w systemie. Nie zak÷ada si¾e mianowicie, w odró·znieniu od wi¾ekszosci metodparametrycznych, ·ze nieliniowosc jest typu wielomianowego (por. 2.2.1, str. 16), a jedynie·ze jest funkcj ¾a ograniczon ¾a przez wielomian dowolnego (skonczonego) stopnia.

Ze wzgl¾edu na jednolity szkielet konstrukcyjny (zob. p. 2.3.1, str. 20), proponowanepodejscia posiadaj ¾a nast¾epuj ¾ace cechy wspólne:

� Zak÷adana jest parametryczna informacja wst¾epna o podsystemie dynamicznym oraznieparametryczna o podsystemie statycznym (w odró·znieniu od metod parame-trycznych i nieparametrycznych, w których zak÷ada si¾e czysto parametryczn ¾a i czystonieparametryczn ¾a informacj¾e wst¾epn ¾a o systemie).

� Algorytmy umo·zliwiaj ¾a nieparametryczn ¾a identy�kacj¾e charakterystyki nieliniowej�wprost�, tj. nie poprzez funkcj¾e odwrotn ¾a (w odró·znieniu od dotychczasowychpodejsc nieparametrycznych, w których szacowana jest funkcja odwrotna do nielin-iowosci).

71

Rozdzia� 6. Porównanie opracowanych metod identy�kacji systemów Wienera 72

� Identy�kacja nieliniowosci przeprowadzana jest przy u·zyciu estymatora odpowiedziimpulsowej podsystemu dynamicznego (w odró·znieniu od algorytmów nieparame-trycznych, w których oba podsystemy identy�kowane s ¾a niezale·znie).

� Dopuszcza si¾e wyst¾epowanie addytywnego i niedost¾epnego dla pomiarów szumu nawyjsciu ca÷ego systemu (por. dyskusja w p.2.2).

6.2 Zakres stosowalnosci

Proponowane w pracy podejscia ró·zni ¾a si¾e mi¾edzy sob ¾a pod wzgl¾edem zastosowanych doich konstrukcji metod matematycznych. Algorytm omawiany w rozdziale 3. zbudowanyjest w oparciu o metod¾e korelacyjn ¾a. Z kolei algorytmy przedstawione w rozdziale 4.bazuj ¾a na metodzie najmniejszych kwadratów oraz idei estymacji korelacji rangowej,a metoda prezentowana w rozdziale 5. wykorzystuje koncepcj¾e estymacji usrednionejpochodnej. Zró·znicowana baza konstrukcyjna estymatorów powoduje, ·ze dyskutowanealgorytmy mog ¾a byc stosowane przy ró·znych za÷o·zeniach odnosnie nieliniowosci wyst¾epu-j ¾acej w systemie oraz dla ró·znych sygna÷ów wejsciowych. Ponadto algorytmy cechuj ¾asi¾e ró·znymi w÷asnosciami dla ma÷ej i umiarkowanej liczby obserwacji wejscia i wyjsciasystemu. Okreslaj ¾ac zakres stosowalnosci, otrzymane w pracy algorytmy mo·zna wi¾eccharakteryzowac wed÷ug nast¾epuj ¾acych kryteriów:

Wymagania dotycz ¾ace sygna÷u wejsciowego. Szczególna konstrukcja systemówWienera (zob. uwaga 2.1 i 2.2 na str. 20) powoduje, ·ze charakter sygna÷u wejsciowegofXng ma kluczowe znaczenie podczas konstruowania algorytmów identy�kacji. Z tegowzgl¾edu parametryczne i nieparametryczne metody omawiane w literaturze z regu÷ywymagaj ¾a, aby wejscie systemu by÷o sygna÷em gaussowskim. Proponowane w pracyalgorytmy pozwalaj ¾a natomiast na identy�kacj¾e zarówno w przypadku gaussowskich(rozdzia÷3) jak i niegaussowskich (rozdzia÷y 4 i 5) sygna÷ów wejsciowych. Wspólnymwymaganiem dla proponowanych metod jest za÷o·zenie, ·ze sygna÷wejsciowy jest ci ¾agiemtypu i:i:d: Porównanie opracowanych algorytmów pod k ¾atem za÷o·zen dotycz ¾acych sygna÷uwejsciowego przedstawia tabela 6.1.

Algorytm identy�kacji Wymagania dotycz ¾ace sygna÷u wejsciowego

Algorytm korelacyjny Gaussowski sygna÷wejsciowy o dowolnej wartosci sre-dniej i wariancji

Algorytm wykorzystuj ¾acy me-tod¾e najmniejszych kwadra-tów

Ci ¾ag÷a funkcja g¾estosci o ograniczonym (chocia·z do-wolnie du·zym) nosniku

Algorytm wykorzystuj ¾acy ko-relacj¾e rangow ¾a

Nie przeprowadzono analizy teoretycznej algorytmu

Algorytm usrednionej pocho-dnej ze znan ¾a g¾estosci ¾a wej-scia

Ró·zniczkowalna g¾estosc o zwartym (chocia·z dowolniedu·zym) nosniku

Algorytm usrednionej pocho-dnej z nieznan ¾a g¾estosci ¾a wej-scia

Ró·zniczkowalna g¾estosc o zwartym (chocia·z dowolniedu·zym) nosniku

Tabela 6.1: Porównanie proponowanych algorytmów identy�kacji pod wzgl¾edem g÷ównychwymagan dotycz ¾acych sygna÷u wejsciowego


Wymagania dotycz ¾ace sygna÷u zak÷ócaj ¾acego. Proponowane w pracy metody umo-·zliwiaj ¾a identy�kacj¾e systemów Wienera w przypadku, gdy sygna÷wyjsciowy (tzn. sygna÷b¾ed ¾acy wyjsciem nieliniowego podsystemu statycznego) zak÷ócany jest przez addytywnyi niedost¾epny dla pomiarów szum fZng typu i:i:d: o zerowej sredniej i skonczonej wariancji.Wymaganie to jest wspólne dla wszystkich omawianych w pracy algorytmów.

Wymagania dotycz ¾ace podsystemu liniowego. Charakter proponowanych metodwymaga posiadania parametrycznej wiedzy o liniowym podsystemie dynamicznym (tj.znajomosci d÷ugosci pami¾eci, czyli sta÷ej p < 1). Podobnie jak w przypadku za÷o·zenodnosnie szumu wyjsciowego, wymaganie to jest wspólne dla wszystkich prezentowanychw pracy algorytmów.

Wymagania dotycz ¾ace podsystemu nieliniowego. W odró·znieniu od za÷o·zen doty-cz ¾acych podsystemu liniowego, dyskutowane metody ró·zni ¾a si¾e mi¾edzy sob ¾a pod wzgl¾e-dem warunków jakie musi spe÷niac nieliniowa charakterystyka wyst¾epuj ¾aca w systemie.Tabela 6.2 zawiera wykaz podstawowych wymagan odnosnie nieliniowosci, gwarantuj ¾acychzbie·znosc poszczególnych algorytmów.

Algorytm identy�kacji Wymagania dotycz ¾ace nieliniowosci

Algorytm korelacyjny Nieliniowa charakterystyka ograniczona jest przezwielomian dowolnego skonczonego stopnia

Algorytm wykorzystuj ¾acy me-tod¾e najmniejszych kwadra-tów

Nieliniowa charakterystyka jest ci ¾ag÷a i ró·zna odfunkcji sta÷ej

Algorytm wykorzystuj ¾acy ko-relacj¾e rangow ¾a

Nie przeprowadzono analizy teoretycznej algorytmu

Algorytm usrednionej pocho-dnej ze znan ¾a g¾estosci ¾a wej-scia

Nieliniowa charakterystyka posiada ci ¾ag÷¾a pochodn ¾a

Algorytm usrednionej pocho-dnej z nieznan ¾a g¾estosci ¾a wej-scia

Nieliniowa charakterystyka posiada ci ¾ag÷¾a pochodn ¾a

Tabela 6.2: Porównanie proponowanych algorytmów identy�kacji pod wzgl¾edem g÷ównychwymagan dotycz ¾acych nieliniowej charakterystyki w systemie

6.3 W÷asnosci asymptotyczne

Dla proponowanych w pracy algorytmów identy�kacji systemów Wienera przeprowadzonazosta÷a analiza teoretyczna1 okreslaj ¾aca asymptotyczne w÷asnosci estymatorów liniowegopodsystemu dynamicznego oraz nieliniowego podsystemu statycznego. W przypadkuestymatorów odpowiedzi impulsowej cz¾esci liniowej systemu badano zbie·znosc orazszybkosc zbie·znosci oszacowan wed÷ug prawdopodobienstwa, a w przypadku estymatorównieliniowej charakterystyki g (�), badano punktow ¾a zbie·znosc i szybkosc zbie·znosci (równie·z

1W pracy nie przeprowadzono analizy teoretycznej w÷asnosci asymptotycznych algorytmu zbudowanegow oparciu o koncepcj¾e korelacji rangowej.


wed÷ug prawdopodobienstwa). Uzyskane wyniki prowadz ¾a do wniosku, ·ze proponowanemetody identy�kacji s ¾a zbie·zne.

6.4 Numeryczna realizacja algorytmów

Wa·znym, z punktu widzenia zastosowan, kryterium porównawczym omawianych metod,jest ÷atwosc ich implementacji. Zarówno algorytm korelacyjny, jak i metoda wykorzystuj ¾acakoncepcj¾e estymacji usrednionej pochodnej (ze znan ¾a oraz nieznan ¾a g¾estosci ¾a wejscia),nie wymagaj ¾a stosowania skomplikowanych procedur numerycznych (jak np. odwracaniemacierzy czy wyznaczanie minimum wielowymiarowej funkcji celu). Z tego wzgl¾eduwymienione wy·zej algorytmy mog ¾a byc ÷atwo zaimplementowane w wielu srodowiskachprogramistycznych. Z kolei algorytmy zbudowane w oparciu o kryterium sredniokwadra-towe i koncepcj¾e korelacji rangowej s ¾a algorytmami, w których konieczne jest wyznaczenieekstremów wielowymiarowych funkcji celu co powoduje, ·ze do ich efektywnej implementacjikonieczne jest zastosowanie specjalizowanych procedur optymalizacyjnych.

Przedstawiona tu analiza pokazuje, ·ze cele i zadania postawione w punktach 2.5 i 2.6.2zosta÷y w pracy zrealizowane.

Rozdzia÷7

Uwagi koncowe

W rozdziale podsumowano oryginalne wyniki naukowe uzyskane w pracy, przedstawionootwarte problemy badawcze oraz zaproponowano kierunki dalszych badan.

7.1 Oryginalne wyniki naukowe przedstawione w pracy

W pracy otrzymano nast¾epuj ¾ace oryginalne wyniki naukowe:

� Zaproponowano ogólny schemat dwuetapowej, parametryczno�nieparametrycznejidenty�kacji systemów Wienera wykorzystuj ¾acy koncepcj¾e estymacji nieznanegosygna÷u interakcyjnego fVng wyst¾epuj ¾acego w systemie.

� Zaproponowano klas¾e parametryczno�nieparametrycznych algorytmów umo·zliwia-j ¾acych identy�kacj¾e systemów Wienera przy ró·znorodnych za÷o·zeniach odnosniesygna÷u wejsciowego oraz dla szerokiej klasy charakterystyk nieliniowych.W szczególnosci opracowano:

� algorytm korelacyjny (rozdzia÷3),

� algorytm wykorzystuj ¾acy metod¾e najmniejszych kwadratów (rozdzia÷4),

� algorytm zbudowany w oparciu o koncepcj¾e korelacji rangowej (rozdzia÷4),

� algorytm wykorzystuj ¾acy ide¾e estymacji usrednionej pochodnej (rozdzia÷5).

� Przeprowadzono analiz¾e teoretyczn ¾a w÷asnosci asymptotycznych algorytmu korela-cyjnego, algorytmu zbudowanego w oparciu o metod¾e najmniejszych kwadratów orazalgorytmu wykorzystuj ¾acego ide¾e estymacji usrednionej pochodnej.W szczególnosci:

� dla metody korelacyjnej okreslono warunki, przy których estymatory podsys-temów liniowego i nieliniowego s ¾a zgodne,

� okreslono rz¾edy szybkosci zbie·znosci estymatorów cz¾esci liniowej i nieliniowejw metodzie korelacyjnej,

�wykazano zgodnosc estymatorów podsystemów liniowego i nieliniowego opra-cowanych w oparciu o metod¾e najmniejszych kwadratów,

� przy za÷o·zeniu znajomosci g¾estosci sygna÷u wejsciowego dla metody wykorzystu-j ¾acej estymacj¾e usrednionej pochodnej wykazano zgodnosc oraz okreslono rz¾edyszybkosci zbie·znosci estymatorów podsystemów liniowego i nieliniowego.

75

Rozdzia� 7. Uwagi koncowe 76

�w przypadku nieznanej g¾estosci wejscia dla metody wykorzystuj ¾acej estymacj¾eusrednionej pochodnej wykazano zgodnosc estymatorów cz¾esci liniowej i nieli-niowej systemu.

Ponadto:

� Opracowano implementacj¾e proponowanych algorytmów w srodowisku obliczenio-wym MATLAB.

� Przeprowadzono badania eksperymentalne algorytmów ilustruj ¾ace zachowanie si¾emetod dla ma÷ej i umiarkowanej liczby obserwacji wejscia i wyjscia systemu.

7.2 Otwarte problemy badawcze

Prezentowane w rozprawie algorytmy, wraz z rezultatami teoretycznymi dotycz ¾acymiich w÷asnosci asymptotycznych i wynikami eksperymentów numerycznych, prowadz ¾a donast¾epuj ¾acych, nowych problemów badawczych:

� Okreslenie dalszych w÷asnosci teoretycznych proponowanych algorytmów.W szczegól-nosci:

� opracowanie wersji algorytmu wykorzystuj ¾acego kryterium sredniokwadratoweumo·zliwiaj ¾acej identy�kacj¾e systemów Wienera bez koniecznosci dzieleniazbioru dost¾epnych obserwacji wejscia i wyjscia systemu,

� okreslenie rz¾edu szybkosci zbie·znosci algorytmu wykorzystuj ¾acego kryteriumsredniokwadratowe,

� okreslenie w÷asnosci asymptotycznych algorytmu wykorzystuj ¾acego ide¾e ko-relacji rangowej,

� analiza w÷asnosci asymptotycznych algorytmów w przypadku sygna÷ów wejscio-wych innych ni·z sygna÷y typu i:i:d:,

� analiza w÷asnosci asymptotycznych algorytmów w przypadku szumu fZng nieb¾ed ¾acego ci ¾agiem typu i:i:d:

� Mody�kacja zaproponowanych algorytmów umo·zliwiaj ¾aca identy�kacj¾e systemówWienera w przypadku skonczonej pami¾eci o nieznanej d÷ugosci.

� Analiza zachowania algorytmów dla systemów Wienera o nieskonczonej pami ¾eci.

Dodatek A

Uzupe÷nienia i dowody twierdzen

A.1 Uzupe÷nienia do rozdzia÷u 3

Lemat A.1 (por. Pawlak et al. [93]) Niech f�ngNn=1 b ¾edzie ci ¾agiem zmiennych losowych,takim ·ze V ar f�ng < 1; n = 1; 2; : : : ; N oraz �n i �m s ¾a niezale·zne je·zeli jn�mj > p;p 2 N; p <1. Wtedy

V ar

�XN

n=1�n

�� (p+ 1)

XN

n=1V ar f�ng . (A.1)

Dowód. Rozwa·zmy przypadek gdy E f�ng = 0; n = 1; 2; : : : ; N . Zapiszemy sum¾e wyrazówci ¾agu f�ngNn=1 w nast¾epuj ¾acy sposóbXN

n=1�n =

Xp+1

m=1Am,

gdzie Am = (�m+�m+(p+1)+�m+2(p+1)+: : :+�m+s(p+1)) i s =jN�mp+1

k. Stosuj ¾ac nierównosc

Cauchy�ego (zob. np. Leja [75], Jakubowski i Sztencel [60]), otrzymujemy

E

��Xp+1

m=1Am

�2�� (p+ 1)

Xp+1

m=1E�A2m,

co przy za÷o·zeniu ·ze E f�ng = 0; n = 1; 2; : : : ; N , daje

V ar

�XN

n=1�n

�� (p+ 1)

Xp+1

m=1V ar fAmg .

Zauwa·zaj ¾ac nast¾epnie, ·ze zmienne losowe wchodz ¾ace w sk÷ad elementu Am, m 2 f1; 2; : : : ;p + 1g s ¾a niezale·zne, otrzymujemy nierównosc (A.1). W przypadku ogólnym, tj. gdynie zachodzi warunek E f�ng = 0; n = 1; 2; : : : ; N , nierównosc (A.1) wynika z faktu, ·zeV ar f�m � ag = V ar f�mg ; 8a 2 R.Dowód Lematu 3.2. Rozpoczniemy od wykazania tezy twierdzenia w przypadku gdy�� = 0 oraz �

2� = 1. Równosc (3.24) oznacza

1, ·ze dla dowolnie ma÷ego " > 0 oraz dowolniema÷ego � > 0,

limN!1

P

(N�" sup

1�n�Nj�nj > �

)= 0.

1de�nicja symbolu oP (�) zamieszczona jest w dodatku B na str. 87.

77

Dodatek A. Uzupe�nienia i dowody twierdzen 78

Zauwa·zmy, ·ze

P

(N�" sup

1�n�Nj�nj > �

)= 1� P

(N�" sup

1�n�Nj�nj � �

)= 1� P

��N�" j�1j � �

�\ : : : \

�N�" j�N j � �

�.

Ze wzgl¾edu na niezale·znosc zmiennych losowych f�ngNn=1 mamy dalej

P

(N�" sup

1�n�Nj�nj > �

)= 1�

�P�N�" j�1j � �

�N= 1� [P fj�1j � �N "g]N .

Oznaczaj ¾ac przez � (�) dystrybuant¾e rozk÷adu normalnego N (0; 1) otrzymujemy nast¾e-pnie, ·ze

P

(N�" sup

1�n�Nj�nj > �

)= 1� [2� (�N ")� 1]N .

W celu udowodnienia tezy (3.24) wystarczy wi¾ec pokazac, ·ze dla dowolnie ma÷ego " > 0i dowolnie ma÷ego � > 0

limN!1

[2� (�N ")� 1]N = 1.

Zauwa·zmy, ·ze ci ¾ag [2� (�N ")� 1]N jest ci ¾agiem ograniczonym z góry przez 1. Wyko-rzystamy nast¾epuj ¾ace oszacowanie dystrybuanty rozk÷adu normalnego, zob. Jakubowskii Sztencel [60, str. 119],

� (x) > 1� 1p2�e�x

2=2 1

x, x > 0.

Zatem

2� (�N ")� 1 > 1� 1

�N "exp

��

2N2"

2

�;

i tym samym

[2� (�N ")� 1]N >�1� 1

�N "exp

��

2N2"

2

��N. (A.2)

Zauwa·zmy nast¾epnie, ·ze ci ¾ag 1�N" exp

�� 2N2"

2

�d ¾a·zy do zera asymptotycznie szybciej ni·z

ci ¾ag 1=N2. St ¾ad, je·zeli zachodzi zbie·znosc

limN!1

�1� 1

N2

�N= 1; (A.3)

to równie·z prawa strona nierównosci (A.2) d ¾a·zy do 1, gdy N !1. Aby pokazac zbie·znoscw (A.3) wystarczy z kolei zauwa·zyc, ·ze

limN!1

�1� 1

N2

�N=

limN!1

�1� 1

N

�N! limN!1

�1 +

1

N

�N!= e�1e1 = 1.

Na koniec, dla dowolnego �� i �2� , otrzymujemy N

�1=2 sup1�n�N j�nj = ��N�1=2�� sup1�n�N

�� n��

��+��N�1=2 = oP�N�(1=2)+"�+O �N�1=2� = oP �N�(1=2)+"� ; co konczy

dowód.

Dowód Twierdzenia 3.3. W dowodzie wykorzystamy dekompozycj¾e (3.26), okreslaj ¾acnajpierw rz ¾ad szybkosci zbie·znosci estymatora ~rN (v) do r (v), a nast¾epnie rz ¾ad szybkosci


zbie·znosci do zera ró·znicy�rCrN (v)� ~rN (v)

�. Ca÷kuj ¾ac przez podstawienie, zapiszemy

wartosc oczekiwan ¾a estymatora ~rN (v) w postaci

E f~rN (v)g =1

h

Z 1

�1K

�v � xh

�r (x) dx =

Z 1

�1K (x) r (v � hx) dx.

Stosuj ¾ac twierdzenie Taylora (zob. np. Leja [75], Wand i Jones [132]), na mocy za÷o·zenia3.6, zauwa·zamy ·ze

r (v � hx) = r (v)� hxr0 (v) + 12h2x2r00 (v) + o

�h2�,

co z kolei prowadzi do wniosku, ·ze (zob. za÷o·zenia 3.4 i 3.8 o funkcji j ¾adra)

E f~rN (v)g = r (v) +1

2h2r00 (v)

Z 1

�1x2K (x) dx+ o

�h2�.

St ¾ad, zgodnie z za÷o·zeniem 3.5,

bias f~rN (v)g = E f~rN (v)g � r (v) = O�N�2=5

�.

W rezultacie, wykorzystuj ¾ac oszacowanie wariancji estymatora ~rN (v) uzyskane w dowodzietwierdzenia 3.2 (patrz wzór (3.32)), otrzymujemy rz ¾ad szybkosci zbie·znosci

[~rN (v)� r (v)] = OP�N�2=5

�,

w ka·zdym punkcie v 2 R. Udowodnimy z kolei, ·ze�rCrN (v)� ~rN (v)

�= OP

�N (�2=5)+"

�. (A.4)

W tym celu wykorzystamy fakt dwukrotnej ró·zniczkowalnosci j ¾adra K (�). Rozwijaj ¾acfunkcj¾e K (�) w szereg Taylora

K (u1) = K (u2) +K0 (u2) (u1 � u2) +

1

2K 00 (u0) (u1 � u2)2 ,

gdzie u0 jest punktem posrednim le·z ¾acym pomi¾edzy u1 i u2, mo·zemy ró·znic¾e [rCrN (v) �~rN (v)] zapisac w postaci

1

NIh

Xn2I

Yn

�1

hK 0�v � �Vnh


�+

1

2h2K 00�v � �n;N

h


�2�,

(A.5)gdzie �n;N jest zmienn ¾a losow ¾a przyjmuj ¾ac ¾a wartosci

2 pomi¾edzy �Vn i V Crn;N . Reprezentacja(A.5) prowadzi po zastosowaniu nierównosci trójk ¾ata do nast¾epuj ¾acego oszacowania

��rCrN (v)� ~rN (v)�� ~r0N (v)�� sup

n2Ijdn;N j+ sup

n2I

�d2n;N

�� 1

NIh3

Xn2I

YnK00�v � �n;N

h

�� ;gdzie dn;N = �Vn � V Crn;N oraz ~r0N (v) jest pochodn ¾a estymatora ~rN (v), tj. ~rN (v)= d~rN (v) =dv. Na podstawie za÷o·zenia 3.8 o ograniczonosci drugiej pochodnej j ¾adra K (�),prawdziwe jest oszacowanie��rCrN (v)� ~rN (v)

�� ~r0N (v)�� supn2I

jdn;N j+ supn2I

�d2n;N

k1NIh3

Xn2I

jYnj . (A.6)

Odnosnie drugiego sk÷adnika po prawej stronie nierównosci (A.6) zauwa·zamy, ·ze:

2 tj. �n;N = �n;N (!) jest tak ¾a zmienn ¾a losow ¾a, ·ze dla ka·zdego zdarzenia !, minf�Vn (!) ; V Crn;N (!)g �

�n;N (!) � maxf�Vn (!) ; V Crn;N (!)g.


� Na mocy lematu 3.3, dla dowolnie ma÷ego " > 0,

supn2I

�d2n;N

=

�supn2I

jdn;N j�2= oP

�N�1+"� .

� Zgodnie z za÷o·zeniem 3.5,h�3 � N3=5.

� Stacjonarnosc sygna÷u fYng oraz skonczona d÷ugosc pami¾eci systemu prowadz ¾a downiosku, ·ze

N�1I

Xn2I

jYnj = E jY1j+OP�N�1=2

�.

Wobec tego

supn2I

�d2n;N

k1NIh3

Xn2I

jYnj = OP�N�(2=5)+"

�.

W celu okreslenia rz¾edu szybkosci zbie·znosci w (A.4) wystarczy wi¾ec udowodnic, ·zeestymator ~r0N (v) jest ograniczony wed÷ug prawdopodobienstwa

3 w ka·zdym punkcie v 2 R.W tym celu wyka·zemy zbie·znosc ~r0N (v) wed÷ug prawdopodobienstwa do r

0 (v).Zauwa·zmy, ·ze zgodnie z przyj¾etymi za÷o·zeniamiZ 1

�1

1

hK 0�v � xh

�r (x) dx =

Z 1

�1K

�v � xh

�r0 (x) dx; (A.7)

oraz ·ze ca÷kaR1�1 jr

0 (v)j dv jest skonczona. St ¾ad na mocy lematu B.3 w dodatku B.2,

E�~r0N (v)

=1

h2

ZK 0�v � xh

�r (x) dx! r0 (v) ; gdy N !1;

w ka·zdym punkcie v 2 R. W celu okreslenia w÷asnosci asymptotycznych wariancjiestymatora ~r0N (v), zastosujemy lemat A.1 z dodatku A.1. Otrzymujemy

V ar�~r0N (v)

� p+ 1

NIh4V ar

�Y1K

0�v � V1h

��.

Wystarczy zatem pokazac, ·ze funkcja

�N (v)def:=

1

h2E

�Y 21 K

02�v � V1h

��,

zbiega do sta÷ej, gdy N !1, dla ka·zdego v 2 R. Zauwa·zmy, ·ze

�N (v) �k

h2E

�g2 (V1)K

0�v � V1h

��+k�2Zh2

E

�K 0�v � V1h

��.

Wykorzystuj ¾ac argumentacj¾e jak w (A.7) oraz lemat B.3 otrzymujemy �N (v) ! c (v) <1, gdy N !1. Uzyskane rezultaty prowadz ¾a do wniosku ·ze

rCrN (v) = r (v) +OP

�N�(2=5)+"

�; (A.8)

dla dowolnie ma÷ego " > 0 w ka·zdym punkcie v 2 R. Zauwa·zmy dalej, ·ze analogicznaargumentacja dla estymatora fCrN (v) prowadzi do wniosku, ·ze

fCrN (v) = ��1f (v=�) +OP�N�(2=5)+"

�; (A.9)

dla dowolnie ma÷ego " > 0 w ka·zdym punkcie v 2 R. Zbie·znosc w (3.34) wynika zatembezposrednio z (A.8) i (A.9) oraz lematu B.1 w dodatku B.1, co konczy dowód.

3Ci ¾ag zmiennych losowych fXng jest ograniczony wed÷ug prawdopodobienstwa, je·zeli dla ka·zdego " > 0istnieje sta÷a M taka, ·ze supn P fjXnj > Mg < ", Van der Vaart [123, str. 8].



Twierdzenie A.1 (zob. Van der Vaart [123, tw. 5.7, str. 45]) Niech MN (�) b ¾edzieci ¾agiem funkcji losowych argumentu � 2 �, gdzie � jest przestrzeni ¾a metryczn ¾a z metryk ¾ad (�; �). Niech ponadto M (�) b ¾edzie funkcj ¾a deterministyczn ¾a, tak ¾a ·ze

sup�2�

jMN (�)�M (�)j ! 0; gdy N !1, (A.10)

wed÷ug prawdopodobienstwa oraz dla ka·zdego " > 0,

inf�:d(�;�0)�"

M (�) > M (�0) , (A.11)

gdzie �0 jest elementem przestrzeni �. Wtedy dowolny ci ¾ag estymatorówn�N

o; dla którego

istnieje zbie·zny do zera (wed÷ug prawdopodobienstwa) ci ¾ag zmiennych losowych f�Ng, taki·ze

MN

��N

��MN (�0) + �N , (A.12)

zbiega wed÷ug prawdopodobienstwa do �0, gdy N !1.

Dowód. (por. Van der Vaart [123, tw. 5.7, str. 46]) Nale·zy wykazac, ·ze d��N ; �0

�! 0

wed÷ug prawdopodobienstwa gdy N !1. Z warunku A.11 wynika, ·ze dla ka·zdego " > 0istnieje takie � > 0, ·ze dla ka·zdego � : d (�; �0) � ",

M (�) > M (�0) + �.

Wobec tego zdarzenie fd(�N ; �0) � "g implikuje zdarzenie A = fM(�N ) �M (�0) > �gi w celu udowodnienia tezy twierdzenia wystarczy pokazac ·ze P fAg ! 0, gdy N !1.Mamy

M��N

��M (�0) =

hM��N

��MN

��N

�i+hMN

��N

��M (�0)

i, (A.13)

Z warunku (A.10) wynika, ·zehM��N

��MN

��N

�i! 0 wed÷ug prawdopodobienstwa,

gdy N !1. Odnosnie drugiego sk÷adnika po prawej stronie równosci (A.13) zauwa·zamy,·ze zgodnie z za÷o·zeniem A.12,

MN

��N

��M (�0) =

hMN

��N

��MN (�0)

i+ [MN (�0)�M (�0)]

� �N + [MN (�0)�M (�0)] :

Wykorzystuj ¾ac ponownie warunek (A.10) otrzymujemy zbie·znosc [MN (�0)�M (�0)]!0 wed÷ug prawdopodobienstwa, gdy N ! 1 i wobec tego P fAg ! 0 gdy N ! 1, cokonczy dowód twierdzenia.

Dowód Twierdzenia 4.2. (por. dowód tw. 3.2) Przyjmiemy nast¾epuj ¾ace oznaczenia

rLSN (v) =1

NIh

Xi2IYiK

v � V LSi;N

h

!oraz fLSN (v) =

1

NIh

Xi2IK

v � V LSi;N

h

!.

Dodatkowo oznaczymy r (v) = g (v) fV (v), gdzie fV (�) jest g¾estosci ¾a prawdopodobienstwasygna÷u interakcyjnego fVng. Zbie·znosc w (4.14) zachodzi, je·zeli rLSN (v) i fLSN (v) zbiegaj ¾a


wed÷ug prawdopodobienstwa odpowiednio do r (v) i fV (v) przy N !1 w ka·zdym punkciev 2 R, w którym fV (v) > 0. W dowodzie wykorzystamy dekompozycj¾e

rLSN (v)� r (v) =�rLSN (v)� ~rLSN (v)

�+�~rLSN (v)� r (v)

�, (A.14)

gdzie

~rLSN (v) =1

NIh

Xi2IYiK

�v � Vih

�.

Zgodnie z przyj¾etymi za÷o·zeniami odnosnie sygna÷u wejsciowego i szumu na wyjsciuotrzymujemy

E�~rLSN (v)

=1

h

Z 1

�1K

�v � xh

�r (x) dx.

Poniewa·z nieliniowa charakterystyka g (�) jest funkcj ¾a ci ¾ag÷¾a (zob. za÷o·zenie 4.2) orazsygna÷wejsciowy jest ograniczony (za÷o·zenie 4.1), to

R1�1 jr (v)j dv < 1. St ¾ad, zgodnie

z lematem B.3 z dodatku B.3, na mocy za÷o·zen 4.7 i 4.8, ma miejsce nast¾epuj ¾aca zbie·znosc

E�~rLSN (v)

! r (v) , gdy N !1; (A.15)

w ka·zdym punkcie v 2 R. Lemat A.1 z dodatku A.1 oraz w÷asnosc 3.2 (str. 30) prowadz ¾anast¾epnie do wniosku, ·ze

V ar�~rLSN (v)

� p+ 1

NIh2V ar

�Y1K

�v � V1h

��. (A.16)

Ze wzgl¾edu na ograniczonosc j ¾adraK (�), element h�1V ar fY1K ([v � V1] =h)g wyst¾epuj ¾acyw (A.16) jest ograniczony przez (por. Greblicki [25, dowód tw. 1])

2k0hE

�g2 (V1)K

�v � V1h

��+2k0�

2Z

hE

�K

�v � V1h

��. (A.17)

Ponowne wykorzystanie za÷o·zen 4.2 i 4.1 prowadzi do wniosku, ·zeR1�1 g

2 (v) fV (v) dv <

1. Zatem, na mocy lematu B.3 z dodatku B.3, wyra·zenie (A.17) d ¾a·zy do k0fV (v) [g2 (v)++�2Z ] < 1, gdy N ! 1, w ka·zdym punkcie v 2 R. Ostatecznie wi¾ec nierównosc (A.16),dla h spe÷niaj ¾acego za÷o·zenie 4.8, daje

V ar�~rLSN (v)

! 0; gdy N !1; (A.18)

w ka·zdym punkcie v 2 R.Zgodnie z rezultatami w (A.15) i (A.18) zachodzi wi¾ec zbie·znosc�

~rLSN (v)� r (v)�! 0; gdy N !1;

wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R.Przejdziemy teraz do do drugiego etapu dowodu, tj. do zbadania asymptotyki wyra·zenia�rLSN (v)� ~rLSN (v)

�w dekompozycji (A.14). Korzystaj ¾ac z faktu, ·ze j ¾adro K (�) spe÷nia

warunek Lipschitza (zob. za÷. 4.7) otrzymujemy��rLSN (v)� ~rLSN (v)�� sup

n2I

��Vn � V LSn;N �� L

NIh2

Xi2IjYij .

Wzór (4.10) oraz nierównosc Cauchy�ego�Schwarza (zob. dodatek B.4) prowadz ¾a downiosku, ·ze

supn2I

��Vn � V LSn;N �� = supn2I

��h�� LSN iT Xn

�� sup

n2I

n �� LSN kXnko

= C �� LSN ,


gdzie C = (p+ 1)max fjaf j ; jbf jg. Zatem, na mocy (4.11), supn2I��Vn � V LSn;N �� = OP (aN ).

Równoczesnie (por. wzór (3.33))

1

NI

Xi2IjYij = E fjY1jg+OP

�N�1=2

�.

Otrzymujemy wi¾ec zbie·znosc (zob. za÷o·zenie 4.8)��rLSN (v)� ~rLSN (v)��! 0; gdy N !1;

wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R. W rezultacie

rLSN (v)! r (v) ; gdy N !1;

wed÷ug prawdopodobienstwa w ka·zdym punkcie v 2 R.Stosuj ¾ac analogiczn ¾a argumentacj¾e dla estymatora fN (v) otrzymujemy zbie·znosc

fLSN (v)! fV (v) ; gdy N !1;

wed÷ug prawdopodobienstwa, w ka·zdym punkcie v 2 R, co konczy dowód twierdzenia.


Dowód Lematu 5.1. (zob. te·z dowód lematu 2.1 w [95]) Nale·zy wykazac, ·zeZRp+1

f2X (x)DG (x) dx = �2ZRp+1

Df (x)G (x) fX (x) dx: (A.19)

Zgodnie z za÷o·zeniem 5.1 funkcje podca÷kowe w (A.19) maj ¾a nosnik . Ponadto G (x)i fX (x) s ¾a ró·zniczkowalne w zbiorze . St ¾ad, na mocy lematu B.4 w dodatku B.3,otrzymujemy tez¾e twierdzenia.

Dowód Twierdzenia 5.3. W dowodzie wykorzystamy dekompozycj¾e (5.21), okreslaj ¾acnajpierw rz ¾ad szybkosci zbie·znosci estymatora ~rN (v), a nast¾epnie rz ¾ad szybkosci zbie·znoscido zera ró·znicy

�rADN (v)� ~rN (v)

�.

Ca÷kuj ¾ac przez podstawienie zapiszemy wartosc oczekiwan ¾a estymatora ~rN (v) w postaci

E f~rN (v)g =1

h

Z 1

�1K

�v � xh

�r (x) dx =

Z 1

�1K (x) r (v � hx) dx.

Zgodnie z rozwini¾eciem Taylora, na mocy za÷o·zenia 5.5,

r (v � hx) = r (v)� hxr0 (v) + 12h2x2r00 (v) + o

�h2�,

co z kolei prowadzi do wniosku, ·ze (zob. za÷o·zenia 5.3 i 5.7 o funkcji j ¾adra)

E f~rN (v)g = r (v) +1

2h2r00 (v)

Z 1

�1x2K (x) dx+ o

�h2�.

St ¾ad, poniewa·z h � N�1=5,

bias f~rN (v)g = E f~rN (v)g � r (v) = O�N�2=5

�.

W rezultacie, wykorzystuj ¾ac oszacowanie wariancji estymatora ~rN (v) uzyskane w dowodzietwierdzenia 5.2, (patrz wzór (5.26)) otrzymujemy rz ¾ad szybkosci zbie·znosci

[~rN (v)� r (v)] = OP�N�2=5

�,


w ka·zdym punkcie v 2 R. Udowodnimy nast¾epnie, ·ze�rADN (v)� ~rN (v)

�= OP

�N�2=5

�. (A.20)

W tym celu wykorzystamy fakt dwukrotnej ró·zniczkowalnosci j ¾adra K (�). Rozwijaj ¾acfunkcj¾e K (�) w szereg Taylora

K (u1) = K (u2) +K0 (u2) (u1 � u2) +

1

2K 00 (u0) (u1 � u2)2 ,

gdzie u0 jest punktem posrednim le·z ¾acym pomi¾edzy u1 i u2, ró·znic¾e�rADN (v)� ~rN (v)

�zapiszemy w postaci

1

NIh

Xn2I

Yn

�1

hK 0�v � �Vnh

��Vn � V ADn;N

�+

1

2h2K 00�v � �n;N

h

��Vn � V ADn;N

�2�,

(A.21)gdzie �n;N jest zmienn ¾a losow ¾a przyjmuj ¾ac ¾a wartosci

4 pomi¾edzy �Vn i V ADn;N . Reprezentacja(A.21) prowadzi do nast¾epuj ¾acego oszacowania

��rADN (v)� ~rN (v)�� ~r0N (v)�� sup

n2Ijdn;N j+ sup

n2I

�d2n;N

�� 1

NIh3

Xn2I

YnK00�v � �n;N

h

�� ;gdzie dn;N = �Vn � V ADn;N oraz ~r0N (v) jest pochodn ¾a estymatora ~rN (v), tj. ~r0N (v)= d~rN (v) =dv. Po uwzgl¾ednieniu za÷o·zenia 5.7 otrzymujemy dalej��rADN (v)� ~rN (v)

�� ~r0N (v)�� supn2I

jdn;N j+ supn2I

�d2n;N

k1NIh3

Xn2I

jYnj . (A.22)

Na mocy lematu 5.2 supn2Ind2n;N

o= (supn2I jdn;N j)2 = OP

�N�1�. Zachodzi równie·z

zbie·znosc (por. wzór (3.33) w dowodzie tw. 3.2, str. 29)

N�1I

Xn2I

jYnj = E jY1j+OP�N�1=2

�.

St ¾ad, na mocy za÷o·zenia 5.4,

supn2I

�d2n;N

k1NIh3

Xn2I

jYnj = OP�N�2=5

�.

W celu wykazania rz¾edu szybkosci zbie·znosci jak we wzorze (A.20) wystarczy wi¾ecudowodnic, ·ze estymator ~r0N (v) jest ograniczony wed÷ug prawdopodobienstwa

5 w ka·zdympunkcie v 2 R. Wyka·zemy wi¾ec zbie·znosc ~r0N (v) wed÷ug prawdopodobienstwa do r0 (v).Zgodnie z przyj¾etymi za÷o·zeniamiZ 1

�1

1

hK 0�v � xh

�r (x) dx =

Z 1

�1K

�v � xh

�r0 (x) dx; (A.23)

oraz ca÷kaR1�1 jr

0 (v)j dv jest skonczona. St ¾ad na mocy lematu B.3 w dodatku B.3,

E�~r0N (v)

=1

h2

ZK 0�v � xh

�r (x) dx! r0 (v) ; gdy N !1;

4zob. przypis na stronie 79.5zob. przypis na stronie 80.


w ka·zdym punkcie v 2 R. W celu okreslenia w÷asnosci asymptotycznych wariancjiestymatora ~r0N (v), zastosujemy lemat A.1 z dodatku A.1. Otrzymujemy

V ar�~r0N (v)

� p+ 1

NIh4V ar

�Y1K

0�v � �V1h

��.

Wystarczy zatem pokazac, ·ze funkcja

�N (v)def:=

1

h2E

�Y 21 K

02�v � V1h

��,

zbiega do sta÷ej gdy N !1, dla ka·zdego v 2 R. Zauwa·zmy, ·ze (zob. za÷o·zenie 5.3)

�N (v) �L

h2E

�g2 (V1)K

0�v � V1h

��+L�2Zh2

E

�K 0�v � V1h

��.

Wykorzystuj ¾ac argumentacj¾e jak w (A.23) oraz lemat B.3, otrzymujemy �N (v)! c (v) <1, gdy N !1. Uzyskane rezultaty prowadz ¾a do wniosku, ·ze

rADN (v) = r (v) +OP

�N�2=5

�; (A.24)

w ka·zdym punkcie v 2 R. Analogiczna argumentacja dla estymatora fADN (v) prowadzi downiosku, ·ze

fADN (v) = ��1f (v=�) +OP�N�2=5

�; (A.25)

w ka·zdym punkcie v 2 R. Zbie·znosc w (A.20) wynika zatem ze wzorów (A.24) i (A.25)oraz lematu B.1 w dodatku B.1, co konczy dowód twierdzenia.

Lemat A.2 Je·zeli spe÷nione jest za÷o·zenie 5.1 oraz zachodz ¾a zbie·znosci (5.32) i (5.33),to

supx2

��df;i+1;N (x)� df;i+1 (x)��! 0, gdy N !1,


Dowód. Stosuj ¾ac elementarn ¾a nierównosc6 jab� cdj � jbj ja� cj+jcj jb� dj otrzymujemynast¾epuj ¾ace oszacowanie��df;i+1;N (x)� df;i+1 (x)��

��N;i (x)�� X;N �x(i)�� f 0X �x(i)��++��f 0X �x(i)�� N;i (x)� �i (x)�� ,

gdzie

�i (x) =

p+1Yk=1;k 6=i

fX

�x(k)

�oraz �N;i (x) =

p+1Yj=1;j 6=i

fX;N

�x(j)

�.

Zatem

supx2

��df;i+1;N (x)� df;i+1 (x)�� supx2Rp

��N;i (x)�� supx2R

��X;N (x)� f 0X (x)��++c sup

x2Rp

��N;i (x)� �i (x)�� ,gdzie c = supx2R jf 0X (x)j. Zauwa·zmy, ·ze wobec za÷o·zenia 5.1, c < 1. z kolei zbie·znoscwyra·zenia supx2Rp

��N;i (x)�� do supx2Rp j�i (x)j < 1 wynika ze zbie·znosci jednostajnej

6Nierównosc wynika z dekompozycji ab� cd = b (a� c) + c (b� d) oraz nierównosci trójk ¾ata.


(tzn. w normie supremum) wyra·zenia��N;i (x)� �i (x)�� do zera oraz ci ¾ag÷osci normy

(w szczególnosci normy supremum). Zgodnie z nierównosci ¾a (B.4) z dodatku B.4 otrzy-mujemy dla ka·zdego x 2 Rp, ·ze

��N;i (x)� �i (x)�� p�1N (x)

pXj=1

��fX;N �x(j)�� fX �x(j)�� ; (A.26)

gdzie N (x) = maxfjfX;N (x(1))j; : : : ; jfX;N (x(p))j; jfX(x(1))j; : : : ; jfX(x(p))jg. Oszacowanie(A.26) prowadzi z kolei do wniosku, ·ze

supx2Rp

��N;i (x)� �i (x)�� p supx2Rp

�� p�1N (x)�� supx2R

��fX;N (x)� fX (x)��co, po ponownym zastosowaniu nierównosci (B.4) z dodatku B.4, konczy dowód lematu.

Dodatek B

Wykorzystywane w pracy faktyz teorii prawdopodobienstwai analizy matematycznej

B.1 Szybkosc zbie·znosci ci ¾agów zmiennych losowych

De�nicja B.1 Dla ci ¾agu zmiennych losowych f�ng oraz ci ¾agu liczb dodatnich fbng zbie-·znego do zera, symbol �n = OP (bn) oznacza, ·ze ci ¾ag zmiennych losowych frn (�n=bn)gzbiega do zera wed÷ug prawdopodobienstwa gdy N !1, przy dowolnie wolno zbie·znym dozera ci ¾agu liczbowym frng.

De�nicja B.2 Dla ci ¾agu zmiennych losowych f�ng oraz ci ¾agu liczb dodatnich fbng zbie-·znego do zera, symbol �n = oP (bn) oznacza, ·ze ci ¾ag zmiennych losowych f�n=bng zbiegado zera wed÷ug prawdopodobienstwa gdy N !1.

Lemat B.1 Niech f�ng oraz f�ng b ¾ed ¾a ci ¾agami zmiennych losowych takimi ·ze �n = a +OP (an) oraz �n = b+OP (bn), gdzie b 6= 0. Wówczas

�n�n=a

b+OP (max fan; bng)

Dowód. zob. Hasiewicz i Sliwinski [55, str. 259].

Lemat B.2 Niech f�ng oraz f�ng b ¾ed ¾a ci ¾agami zmiennych losowych, takimi ·ze �n =a+OP (an) oraz �n = b+OP (bn). Wówczas

�n�n = ab+OP (max fan; bng)

Dowód. Nale·zy pokazac, ·ze dla dowolnie wolno zbie·znego do zera ci ¾agu rn oraz dowolnego" > 0 zachodzi

limn!1

P

�jrnj

j�n�n � abjmax fan; bng

> "

�= 0.

Na podstawie dekompozycji

�n�n � ab = �n (�n � b) + b (�n � a)

otrzymujemy nast¾epuj ¾ace oszacowanie

j�n�n � abj � j�nj j�n � bj+ jbj j�n � aj : (B.1)

87

Dodatek B. Wykorzystywane w pracy fakty z teorii prawdopodobienstwa i analizy matematycznej 88

NiechM 2 R+ b¾edzie dowoln ¾a sta÷¾a, tak ¾a ·zeM > jaj iM > jbj. Za÷ó·zmy, ·ze dla dowolnego" > 0 i ci ¾agu rn dowolnie wolno zbie·znego do zera, zasz÷o zdarzenie okreslone za pomoc ¾anierównosci

j�n � aj < 12M jrnjan" i j�n � bj < 1

2M jrnjbn" i j�nj < M:

Wtedy, zgodnie z nierównosci ¾a (B.1), otrzymujemy

j�n�n � abj �M1

2M jrnjbn"+M

1

2M jrnjan" =

1

2 jrnj" (an + bn) ;

co prowadzi do wniosku, ·ze

j�n�n � abj � "max fan; bng

jrnj:

Zachodzi wi¾ec nast¾epuj ¾ace oszacowanie

P

�j�n�n � abj > "

max fan; bngjrnj

�� (B.2)

� P�j�n � aj �

an2M jrnj

"

�+ P

�j�n � bj �

bn2M jrnj

"

�+ P fj�nj �Mg :

Na mocy za÷o·zen twierdzenia dwa pierwsze wyrazy po prawej stronie nierównosci (B.2)d ¾a·z ¾a do zera gdy n!1. Odnosnie wyra·zenia P fj�nj �Mg zachodzi natomiast

P fj�nj �Mg � P fj�n � aj+ jaj �Mg = P fj�n � aj �M � jajg :

Ostatecznie zatem, poniewa·z �n = a+OP (an), otrzymujemy

limn!1

P fj�nj �Mg = 0

co konczy dowód.

B.2 Wybrane w÷asnosci zmiennych losowych gaussowskich

Twierdzenie B.1 Niech �i; i = 1; 2; : : : ; n b ¾ed ¾a niezale·znymi gaussowskimi zmiennymilosowymi o srednich odpowiednio �i oraz wariancjach �

2i , tj. �i � N

��i; �

2i

�. Wtedy

zmienna losowa � =Pni=1 �i ma rozk÷ad normalny N

��; �2

�z parametrami

� =Pni=1 �i oraz �2 =

Pni=1 �

2i

Dowód. Zob. np. Ostasiewicz et al. [86] str. 169.

Twierdzenie B.2 Niech X i Y b ¾ed ¾a zmiennymi losowymi o ÷¾acznym rozk÷adzie normal-nym. Niech E fXg = �X , E fY g = �Y oraz V ar fXg = �2X i V ar fY g = �2Y wtedy

E fXjY = yg = �Y + ��Y�X

(y � �X) (B.3)

gdzie � = Corr fX;Y g.

Dowód. Zob. np. Papoulis [88] str. 201.


B.3 Wybrane zagadnienia teorii ca÷ki i analizy matematy-cznej

Lemat B.3 (zob. Parzen [90]) Niech ' (�) oznacza dowoln ¾a funkcj ¾e, dla której ca÷kaR1�1 j' (x)j dx jest skonczona oraz K (�) b ¾edzie dodatni ¾a funkcj ¾a borelowsk ¾a, spe÷niaj ¾ac ¾awarunki:

1. K (�) jest funkcj ¾a ograniczon ¾a, tj. supv2RK (v) <1,

2.R1�1K (v) dv = 1,

3. limjvj!1 vK (v) = 0.

Wtedy dla dodatniego ci ¾agu liczbowego h, zbie·znego do zera,

limh!0

1

h

Z 1

�1' (x)K

�v � xh

�dx = ' (v) ;

w ka·zdym punkcie v 2 R, w którym ' (v) jest ci ¾ag÷a.

Dowód. Zob. np. Parzen [90].

Lemat B.4 (zob. Ko÷odziej [66, str. 340]) Je·zeli u i v s ¾a funkcjami klasy C1 zmiennych�1; �2; : : : ; �m okreslonymi na ograniczonym zbiorze otwartym w przestrzeni euklidesowejRm i nosnik przynajmniej jednej z tych funkcji zawarty jest w , toZ

u@v

@�kdx = �

Zv@u

@�kdx k = 1; 2; : : : ;m.

Dowód. Zob. Ko÷odziej [66, str. 340].

B.4 Wykorzystywane nierównosci

Lemat B.5 (nierównosc Cauchy�ego�Schwarza) Jesli v 2 H i w 2 H, gdzie H jestprzestrzeni ¾a z iloczynem skalarnym, to

j(v; w)j � kvk kwk ;

gdzie (v; w) jest iloczynem skalarnym elementów v i w.

Dowód. Zob. np. Rudin [100, str. 327]

Lemat B.6 Dla dowolnych p�elementowych ci ¾agów liczbowych faig i fbig prawdziwa jestnierównosc ��

pYi=1

ai �pYi=1

bi

�� p�1pXi=1

jai � bij , (B.4)

gdzie = max fja1j ; : : : ; japj ; jb1j ; : : : ; jbpjg.

Dowód. Nierównosc (B.4) wynika z nierównosci trójk ¾ata oraz równosci

pYi=1

ai �pYi=1

bi =

pXi=1

BiAi (ai � bi) , (B.5)


gdzie

Bi =

(b1b2 : : : bi�1 dla i > 1

1 dla i = 1oraz Ai =

(ai+1ai+2 : : : ap dla i < p

1 dla i = p.

Wzór (B.5) mo·zna z kolei udowodnic stosuj ¾ac zasad¾e indukcji matematycznej i dekompo-zycj¾e a1a2 � b1b2 = a2 (a1 � b1) + b1 (a2 � b2).

Literatura

[1] E. W. Bai. Frequency domain identi�cation of Hammerstein models. IEEETransactions on Automatic Control, 48:530�542, 2003.

[2] N. J. Bershad, P. Celka, S. McLaughlin. Analysis of stochastic gradient tracking oftime-varying polynomial Wiener systems. IEEE Transactions on Signal Processing,48(6):1676�1686, 2000.

[3] N. J. Bershad, P. Celka, S. McLaughlin. Analysis of stochastic gradient identi�-cation of Wiener�Hammerstein systems for nonlinearities with Hermite polynomialexpansions. IEEE Transactions on Signal Processing, 49:1060�1072, 2001.

[4] P. K. Bhattacharya. Estimation of a probability density function and its derivatives.Sankhya Ser. A, 29:373�382, 1967.

[5] S. A. Billings. Identi�cation of nonlinear systems � a survey. IEE Proceedings,127:272�285, 1980.

[6] S. A. Billings, S. Y. Fakhouri. Identi�cation of nonlinear systems using the Wienermodel. Electronics Letters, 13:502�504, 1977.

[7] S. A. Billings, S. Y. Fakhouri. The theory of separable processes with applicationsto the identi�cation of nonlinear systems. IEE Proceedings, 125:1051�1058, 1978.

[8] S. A. Billings, S. Y. Fakhouri. Identi�cation of systems containing linear dynamicand static nonlinear elements. Automatica, 18(1):15�26, 1982.

[9] S. Boyd, L. O. Chua. Fading memory and the problem of approximating nonlinearoperators with Volterra series. IEEE Transactions on Circuits and Systems,CAS-32(11):1150�1161, 1985.

[10] J. Bruls, C. T. Chou, B. R. J Haverkamp, M. Verhaegen. Linear and non�linearsystem identi�cation using separable least�squares. European Journal of Control,5:116�128, 1999.

[11] P. Celka, N. J. Bershad, J. M. Vesin. Fluctuation analysis of stochastic gradient iden-ti�cation of polynomial Wiener systems. IEEE Transactions on Signal Processing,48(6):1820�1825, 2000.

[12] P. Celka, N. J. Bershad, J. M. Vesin. Stochastic gradient identi�cation of polynomialWiener systems: analysis and application. IEEE Transactions on Signal Processing,49:301�313, 2001.

[13] P. Celka, P. Colditz. Nonlinear nonstationary Wiener model of infant EEG seizures.IEEE Transactions on Biomedical Engineering, 49(3):556�564, 2002.

91

Literatura 92

[14] G. Chen, Y. Chen, H. Ogmen. Identifying chaotic systems via a Wiener-type cascademodel. IEEE Control Systems Magazine, 17(5):29�36, 1997.

[15] H. Chen. Recursive identi�cation for Wiener model with discontinuous piece-wiselinear function. IEEE Transactions on Automatic Control, 51(3):390�400, 2006.

[16] A. C. den Brinker. A comparision of results from parameter estimations of impulseresponses of the transient visual system. Biological Cybernetics, 61:139�151, 1989.

[17] L. Devroye. On the almost everywhere convergence of nonparametric regressionfunction estimates. The Annals of Statistics, 9(6):1310�1319, 1981.

[18] L. Devroye, L. Györ�. Nonparametric Density Estimation: the L1 view. Wiley, NewYork, 1985.

[19] M. Enqvist. Linear models of nonlinear FIR systems with gaussian inputs. Reportno.: LiTH-ISY-R-2462, Linköpings Universitet, Sweden, 2002.

[20] G. M. Fichtenholz. Rachunek ró·zniczkowy i ca÷kowy, Tom I i II. PWN, Warszawa,1978.

[21] G. Geenens, L. Simar. Index coe¢ cients estimation in Single�Index Models: theGeneralized Maximum Rank Correlation Estimator. Technical report, 0560, Institutde Statistique Université Catholique de Louvain, Belgium, 2005.

[22] J. C. Gómez, E. Baeyens. Subspace identi�cation of multivariable Hammerstein andWiener models. IFAC, 15th Triennial World Congress, Barcelona, Spain, 2002.

[23] J. C. Gómez, A. Jutan, E. Baeyens. Wiener model identi�cation and predictivecontrol of a pH neutralisation process. Control theory and applications, IEE Proc.,151(3):329�338, 2004.

[24] G. C. Goodwin, R. L. Payne. Dynamic system identi�cation. Experiment design anddata analysis. Academic Press, New York, USA, 1977.

[25] W. Greblicki. Nieparametryczna identy�kacja systemów. Archiwum Automatyki iRobotyki, XXXVI(2):277�290, 1991.

[26] W. Greblicki. Nonparametric identi�cation of Wiener systems. IEEE Transactionson Information Theory, 38:1487�1493, 1992.

[27] W. Greblicki. Nonparametric identi�cation of Wiener systems by orthogonal series.IEEE Transactions on Automatic Control, 39(10):2077�2086, 1994.

[28] W. Greblicki. Nonparametric approach to Wiener system identi�cation. IEEETransactions on Circuits and Systems�I: Fundamental Theory and Applications,44(6):538�545, 1997.

[29] W. Greblicki. Continuous�time Wiener system identi�cation. IEEE Transactionson Automatic Control, 43(10):1488�1493, 1998.

[30] W. Greblicki. Recursive identi�cation of Wiener systems. International Journal ofApplied Mathematics and Computer Science, 11(4):977�991, 2001.

[31] W. Greblicki. Recursive identi�cation of continuous�time Hammerstein systems.International Journal of Systems Science, 33(12):969�977, 2002.

Literatura 93

[32] W. Greblicki. Stochastic approximation in nonparametric identi�cation of Hammer-stein systems. IEEE Transactions on Automatic Control, 47:100�111, 2002.

[33] W. Greblicki. Nonlinearity recovering in Wiener system driven with correlated signal.IEEE Transactions on Automatic Control, 49:1805�1810, 2004.

[34] W. Greblicki. Podstawy automatyki. Wydawnictwo Politechniki Wroc÷awskiej,Wroc÷aw, 2006.

[35] W. Greblicki, A. Krzy·zak, M. Pawlak. Distribution�free pointwise consistency ofkernel regression estimate. The Annals of Statistics, 12(4):1570�1575, 1984.

[36] W. Greblicki, M. Pawlak. Hermite series estimates of a probability density and itsderivatives. Journal of Multivariate Analysis, 15:174�182, 1984.

[37] W. Greblicki, M. Pawlak. Fourier and Hermite series estimates of regressin functions.Annals of the Institute of Statistical Mathematics, 37A:443�454, 1985.

[38] W. Greblicki, M. Pawlak. Identi�cation of discrete Hammerstein systems usingkernel regression estimates. IEEE Transactions on Automatic Control, 31:74�77,1986.

[39] W. Greblicki, M. Pawlak. Nonparametric identi�cation of Hammerstein systems.IEEE Transactions on Information Theory, 35:409�418, 1989.

[40] W. Greblicki, M. Pawlak. Nonparametric identi�cation of a cascade nonlinear timeseries system. Signal Processing, 22:61�75, 1991.

[41] W. Greblicki, M. Pawlak. Nonparametric identi�cation of particular nonlinear timeseries system. IEEE Transactions on Signal Processing, 40:985�989, 1992.

[42] W. Greblicki, M. Pawlak. Cascade non�linear system identi�cation by anon�parametric method. International Journal of Systems Science, 25:129�153,1994.

[43] W. Greblicki, M. Pawlak. Nonparametric recovering nonlinearities in block�orientedsystems with the help of Laguerre polynomials. Control�Theory and AdvancedTechnology, 10:771�791, 1994.

[44] A. Hagenblad. Aspects of the identi�cation of Wiener systems, Thesis no.793.Link opings Universitet, SE-581 83 Link oping, Sweden, 1999.

[45] A. K. Han. Non�parametric analysis of a generalized regression model. Journal ofEconometrics, 35:303�316, 1987.

[46] W. Härdle. Applied nonparametric regression. Cambridge University Press, 1994.

[47] W. Härdle, M. Stoker. Investigating smooth multiple regression by the method ofaverage derivative. Journal of the American Statistical Association, 84(408):986�995,1989.

[48] Z. Hasiewicz. Identy�kacja sterowanych systemów o z÷o·zonej strukturze,Prace naukowe Instytutu Cybernetyki Technicznej Politechniki Wroc÷awskiej.Wydawnictwo Politechniki Wroc÷awskiej, Wroc÷aw, 1993.

[49] Z. Hasiewicz. Informacja wst¾epna o systemie a metody identy�kacji. InstytutCybernetyki Technicznej Politechniki Wroc÷awskiej, Preprinty 11/94, 1994.

Literatura 94

[50] Z. Hasiewicz. Hammerstein system identi�cation by the Haar multiresolutionapproximation. International Journal of Adaptive Control and Signal Processing,13:691�717, 1999.

[51] Z. Hasiewicz. Non�parametric estimation of non�liearity in a cascade time�seriessystem by multiscale approximations. Signal Processing, 81:791�807, 2001.

[52] Z. Hasiewicz, G. Mzyk. Combined parametric�nonparametric identi�cation ofHammerstein systems. IEEE Transactions on Automatic Control, 49(8):1370�1375,2004.

[53] Z. Hasiewicz, M. Pawlak, P. Sliwinski. Non�parametric identi�cation ofnon�linearities in block�oriented complex systems by orthogonal wavelets withcompact support. IEEE Transactions on Circuits and Systems I: Fundametal Theoryand Applications, 52(2):427�442, 2005.

[54] Z. Hasiewicz, P. Sliwinski. Identi�cation of non�linear characteristics of a class ofblock�oriented non�linear systems via Daubechies wavelet�based models. Interna-tional Journal of Systems Science, 33(14):1121�1144, 2002.

[55] Z. Hasiewicz, P. Sliwinski. Falki ortogonalne o zwartym nosniku. Akademicka O�cynaWydawnicza EXIT, Warszawa, 2005.

[56] M. C. Hughes, D. T. Westwick. Identi�cation of IIR Wiener systems with splinenonlinearities that have variable knots. IEEE Transactions on Circuits and SystemsI: Fundametal Theory and Applications, 52(2):427�442, 2005.

[57] I. W. Hunter, M. J. Korenberg. The identi�cation of nonlinear biological systems:Wiener and Hammerstein cascade models. Biological Cybernetics, 55:135�144, 1986.

[58] H. Ichimura. Semiparametric least squares (SLS) and weighted SLS estimation ofsingle�index models. Journal of Econometrics, 58:71�120, 1993.

[59] O. L. R. Jacobs. Recursive estimation for non�linear Wiener systems by on�lineimplementation of Bayes� rule. Transactions of the Institute of Measurement andControl, 7:245�250, 1985.

[60] J. Jakubowski, R. Sztencel. Wst ¾ep do teorii prawdopodobienstwa. SCRIPT,Warszawa, 2004.

[61] R. I. Jennrich. Asymptotic properties of non�linear least squares estimators. IEEETransactions on Automatic Control, 50(10):1617�1622, 2005.

[62] B. Jeong, K. Yoo, H. Rhee. Nonlinear model predictive control using a Wienermodel of a continuous methyl methacrylate polymerization reactor. Industrial andEngineering Chemistry Research, 40:5968�5977, 2001.

[63] A. Kalafatis, N. Ari�n, L. Wang, W. R. Cluett. A new approach to the identi�cationof pH processes based on the Wiener model. Chemical Engineering Science,50(23):3693�3701, 1995.

[64] H. Kang, Y. Cho, D. Youn. On compensating nonlinear distortions of anOFDM system using an e¢ cient adaptive predistorter. IEEE Transactions onCommunications, 47(4):522�526, 1999.

[65] A. Y. Kibangou, G. Favier. Wiener�Hammerstein systems modeling using diagonalVolterra kernels coe¢ cients. IEEE Signal Processing Letters, 13(6):381�384, 2006.

Literatura 95

[66] W. Ko÷odziej. Wybrane rozdzia÷y analizy matematycznej. PWN, Warszawa, 1970.

[67] M. Korenberg., I. Hunter. Two methods for identifying Wiener cascades having non-invertible static nonlinearities. Annals of Biomedical Engineering, 27(6):793�8004,1999.

[68] M. J. Korenberg. Parallel cascade identi�cation and kernel estimation for nonlinearsystems. Annals of Biomedical Engineering, 19:429�455, 1991.

[69] M. J. Korenberg, I. W. Hunter. The identi�cation of nonlinear biological systems:LNL cascade models. Biological Cybernetics, 55:125�134, 1986.

[70] J. Koronacki, J. Mielniczuk. Statystyka dla studentów kierunków technicznych iprzyrodniczych. WNT, Warszawa, 2006.

[71] A. Krzy·zak. Identi�cation of non�linear systems by recursive kernel regressionestimates. International Journal of Systems Science, 24(3):577�598, 1993.

[72] P. Kulczycki. Estymatory j ¾adrowe w analizie systemowej. WNT, Warszawa, 2005.

[73] S. L. Lacy, D. S. Bernstein. Identi�cation of FIR Wiener systems with un-known, non-invertible, polynomial non-linearities. International Journal of Control,76(15):1500�1507, 2003.

[74] J. C. Lagarials, J. A. Reeds, M. H. Wright, P. E. Wright. Convergence properties ofthe Nelder�Mead simplex method in low dimesions. SIAM Journal of Optimization,9(1):112�147, 1998.

[75] F. Leja. Rachunek ró·zniczkowy i ca÷kowy. Panstwowe Wydawnictwo Naukowe, 1965.

[76] L. Ljung. System Identi�cation Theory for the User. Prentice�Hall, EnglewoodCli¤s, NJ, 1987.

[77] Y. P. Mack, B. W. Silverman. Weak and strong uniform consistency of kernelregression estimates. Probability Theory and Related Fields, 61(3):405�415, 1982.

[78] K. Manczak, M. Nahorski. Komputerowa identy�kacja obiektów dynamicznych.PWN, Warszawa, 1981.

[79] V. Z. Marmarelis, K. I. Naka. White�noise analysis of a neuron chain: an applicationof the Wiener theory. Science, 175:1276�1278, 1978.

[80] G. Mzyk. Parametryczna identy�kacja systemów o z÷o·zonej strukturze, (rozprawadoktorska). Instytut Cybernetyki Technicznej Politechniki Wroc÷awskiej, Wroc÷aw,2002.

[81] É. A. Nadaraya. On non�parametric estimates of density functions and regressioncurves. Theory of Probability and its Applications, 10:186�190, 1965.

[82] K. S. Narendra, P. G. Gallman. An iterative method for the identi�cation onnon�linear systems using a Hammerstein model. IEEE Transactions on AutomaticControl, 11:546�550, 1966.

[83] O. Nelles. Nonlinear System Identi�cation. Springer�Verlag, New York, 2001.

[84] A. E. Nordsjö, L. H. Zetterberg. Identi�cation of certain time-varying nonlinearWiener and Hammerstein systems. IEEE Transactions on Signal Processing,49(3):577�592, 2001.

Literatura 96

[85] S. J. Norquay, A. Palazoglu, J. A. Romagnoli. Model predictive control based onWiener models. Chemical Engineering Science, 53(1):75�84, 1998.

[86] S. Ostasiewicz, Z. Rusnak, U. Siedlecka. Statystyka, elementy teorii i zadania. Wyd.Akademii Ekonomicznej we Wroc÷awiu, Wroc÷aw, 1999.

[87] G. A. Pajunen. Recursive identi�cation of Wiener type nonlinear systems.Proceedings of the 1985 American Control Conference, 3:1365�1370, 1985.

[88] A. Papoulis. Prawdopodobienstwo, zmienne losowe i procesy stochastyczne. WNT,Warszawa, 1972.

[89] J. Park, I. W. Sandberg. Criteria for the approximation of nonlinear systems. IEEETransactions on Circuits and Systems I: Fundamental Theory and Applications,39(8):673�676, 1992.

[90] E. Parzen. On estimation of a probability density function and mode. The Annalsof Mathematical Statistics, 33:1065�1076, 1962.

[91] M. Pawlak. On the series expansion approach to the identi�cation of Hammersteinsystems. IEEE Transactions on Automatic Control, 36:763�767, 1991.

[92] M. Pawlak, Z. Hasiewicz. Nonlinear system identi�cation by the Haar multiresolutionanalysis. IEEE Transactions on Circuits and Systems I: Fundamental Theory andApplications, 45:945�961, 1998.

[93] M. Pawlak, Z. Hasiewicz, P. Wachel. On non�parametric identi�cation of Wienersystems. IEEE Transactions on Signal Processing, 55(2):482�492, 2007.

[94] R. K. Pearson, M. Pottmann. Gray�box identi�cation of block�oriented nonlinearmodels. Journal of Process Control, 10:301�315, 2000.

[95] J. L. Powell, J. H. Stock, T. M. Stoker. Semiparametric estimation of indexcoe¢ cients. Econometrica, 57(6):1403�1430, 1989.

[96] R. Pupeikis. Identi�cation of piecewise a¢ ne Wiener systems using data partition.Department of Electrical Engineering, Link oping University, Sweden, Report no.:LiTH-ISY-R-2523, 2003.

[97] R. Pupeikis. On the identi�cation of wiener systems having saturation�like functionswith positive slopes. Informatica, 16(1):131�144, 2005.

[98] R. Raich, G. Tong Zhou, M. Viberg. Subspace based approaches for Wiener systemidenti�cation. IEEE Transactions on Automatic Control, 50(10):1629�1634, 2005.

[99] W. Rudin. Podstawy analizy matematycznej. WNT, Warszawa, 2000.

[100] W. Rudin. Analiza funkcjonalna. WNT, Warszawa, 2002.

[101] L. Rutkowski. Sequential estimates of probability densities by orthogonal series andtheir applications in pattern classi�cation. IEEE Transactions on System, Man, andCybernetics, SMC-10(12):918�920, 1980.

[102] L. Rutkowski. On-line identi�cation of time-varying systems by nonparametrictechniques. IEEE Transactions on Automatic Control, AC-27:228�230, 1982.

[103] L. Rutkowski. On system identi�cation by nonparametric function �tting. IEEETransactions on Automatic Control, AC-27:225�227, 1982.

Literatura 97

[104] L. Rutkowski. On nonparametric identi�cation with prediction of time-varyingsystems. IEEE Transactions on Automatic Control, AC-29:58�60, 1984.

[105] L. Rutkowski. Generalized regression neural networks in time�varying environment.IEEE Transactions on Neural Networks, 15(3):576�596, 2004.

[106] J. Van Ryzin. On strong consistency of density estimates. The Annals ofMathematical Statistics, 40(5):1765�1772, 1969.

[107] I. W. Sandberg. Approximation theorems for discrete�time systems. IEEETransactions on Circuits and Systems, 38(5):564�566, 1991.

[108] I. W. Sandberg. Structure theorems for nonlinear systems.Multidimensional Systemsand Signal Processing, 2(3):267�286, 1991.

[109] I. W. Sandberg. Approximations for nonlinear functionals. IEEE Transactions onCircuits and Systems I: Fundamental Theory and Applications, 39(1):65�67, 1992.

[110] D. Sbárbaro, T. A. Johansen. Multiple local Laguerre models for modelling nonlineardynamic systems of the Wiener class. IEE Proceedings � Control Theory andApplications, 144(5):375�380, 1997.

[111] J. Schoukens, J. G. Nemeth, P. Crama, Y. Rolain, R. Pintelon. Fast approximateidenti�cation of nonlinear systems. Automatica, 39:1267�1274, 2003.

[112] E. F. Schuster. Estimation of a probability density function and its derivatives. TheAnnals of Mathematical Statistics, 40(4):1187�1195, 1969.

[113] E. F. Schuster. Joint asymptotic distribution of the estimated regression function at a�nite number of distinct points. The Annals of Mathematical Statistics, 43(1):84�88,1972.

[114] E. Sekko, G. Thomas, A. Boukrouche. A deconvolution technique using optimalWiener �ltering and regularization. Signal Processing, 72:23�32, 1999.

[115] J. Shi, H.H. Sun. Nonlinear system identi�cation via parallel cascaded structure.Proceedings of the Twelfth Annual International Conference of the IEEE Engineeringin Medicine and Biology Society, 12(4):1897�1898, 1990.

[116] B. W. Silverman. Weak and strong uniform consistency of the kernel estimate of adensity and its derivatives. The Annals of Statistics, 6(1):177�184, 1978.

[117] J. Sjöberg, Q. Zhang, L. Ljung, A. Benveniste, B. Delyon, P. Glorennec, H. Hjalmars-son, A. Juditsky. Nonlinear black�box modeling in system identi�cation: a uni�edoverview. Automatica, 31(12):1691�1724, 1995.

[118] T. Söderström, P. Stoica. System Identi�cation. Upper Saddle River NJ:PrenticeHall, 1989.

[119] J. Solé-Casals, C. Jutten, D. T. Pham. Fast approximation of nonlinearities forimproving inversion algorithms of PNL mixtures and Wiener systems. SignalProcessing, 85:1780�1786, 2005.

[120] C. J. Stone. Optimal rates of convergence for nonparametric estimators. The Annalsof Statistics, 8(6):1348�1360, 1980.

[121] A. Taleb, J. Sole, C. Jutten. Quasi�nonparametric blind inversion of Wiener systems.IEEE Transactions on Signal Processing, 49(5):917�924, 2001.

Literatura 98

[122] C. W. Therrien. The Lee�Wiener legacy, a history of the statistical theory ofcommunication. IEEE Signal Processing Magazine, 19(6):33�34, 2002.

[123] A.W. van der Vaart. Asymptotic Statistics. Cambridge University Press, Cambridge,1998.

[124] J. Vörös. Parameter identi�cation of Wiener systems with discontinuous nonlinear-ities. Systems and Control Letters, 44(5):363�372, 2001.

[125] P. Wachel. Falkowe algorytmy nieparametrycznej estymacji nieliniowosci w systemieWienera. Praca magisterska, specjalnosc: Komputerowe Sieci Sterowania, kierunek:Automatyka i Robotyka, Wydzia÷Elektroniki, Politechnika Wroc÷awska, 2004.

[126] P. Wachel. Non�parametric recovery of non�linearity in Wiener systems bywavelet�based kernel algorithm. 10th IEEE International Conference on Methodsand Models in Automation and Robotics, strony 491�496, 2004.

[127] P. Wachel. A mixed parametric�non-parametric method of Wiener system identi�-cation. 11th IEEE International Conference on Methods and Models in Automationand Robotics, 2005.

[128] P. Wachel. Parametric�non-parametric identi�cation of Wiener systems withnon-inverse nonlinearities. Raport Instytutu Informatyki, Automatyki i RobotykiPolitechniki Wroc÷awskiej, Preprints No.1/2007, 2007.

[129] P. Wachel. Two�stage identi�cation of Wiener systems with �nite memory andnoninverse nonlinearities. 13th IEEE International Conference on Methods andModels in Automation and Robotics, 2007.

[130] P. Wachel. Noninverse identi�cation of Wiener systems. Referat przyj ¾ety dowyg÷oszenia na Krajowej Konferencji Automatyki, Szczyrk, 2008.

[131] F. H. Walters, L. R. Parker, S. L. Morgan, S. N. Deming. Sequential SimplexOptimization. CRC Press, Boca Raton, FL, 1991.

[132] M. P. Wand, M. C. Jones. Kernel Smoothing. Chapman and Hall, 1995.

[133] G. S. Watson. Smooth regression analysis. Sankhya, Ser. A, 26:356�359, 1964.

[134] D. T. Westwick, R. E. Kearney. A new algorithm for the identi�cation of multipleinput Wiener systems. Biological Cybernetics, 68:75�85, 1992.

[135] D. T. Westwick, M. Verhaegen. Identifying MIMO Wiener systems using subspacemodel identi�cation methods. Signal Processing, 52(2):235�258, 1996.

[136] N. Wiener. Nonlinear problems in random theory. Wiley, New York, 1958.

[137] T. Wigren. Recursive prediction error identi�cation using the nonlinear Wienermodel. Automatica, 29(4):1011�1025, 1993.

[138] T. Wigren. Convergence analysis of recursive identi�cation algorithms basedon the nonlinear Wiener model. IEEE Transactions on Automatic Control,39(11):2191�2206, 1994.

[139] C. Wu. Asymptotic theory of nonlinear least squares estimation. The Annals ofStatistics, 9:501�513, 1981.

Literatura 99

[140] M. Xu, G. Chen, Y. Tian. Identifying chaotic systems using Wiener and Hammer-stein cascade models. Mathematical and Computer Modelling, 33:483�493, 2001.

[141] Y. Zhu. Distillation column identi�cation for control using Wiener model. Proceed-ings of the 1999 American Control Conference, 5:3462�3466, 1999.

Parametryczno–nieparametryczna identyfikacja systemów Wienera

Documents

Transcript of Parametryczno–nieparametryczna identyfikacja systemów Wienera