OBLICZENIA OBLICZENIA INTELIGENTNEINTELIGENTNE · Inteligencja werbalna – zdolność...

OBLICZENIA OBLICZENIA INTELIGENTNEINTELIGENTNE

PODSTAWY I ZASTOSOWANIAPODSTAWY I ZASTOSOWANIA

JJ óó z e fz e f K o r b i c zK o r b i c zJJ óó z e fz e f K o r b i c zK o r b i c z

U N I W E R S Y T E T Z I E L O N O G Ó R S K IU N I W E R S Y T E T Z I E L O N O G Ó R S K II n sI n s t y t u tt y t u t S t e r o w a n i a i S y s t e m ó w S t e r o w a n i a i S y s t e m ó w I n f o r m a t y c z n y c hI n f o r m a t y c z n y c h

w w w. i s s i . u z . z g o r a . p lw w w. i s s i . u z . z g o r a . p l

J ó z e f K o r b i c z J ó z e f K o r b i c z P o l i t e c h n i k a O p o l s k aP o l i t e c h n i k a O p o l s k a3 1 m a r c a 2 0 1 43 1 m a r c a 2 0 1 4

PLAN PREZENTACJIPLAN PREZENTACJI

� Wprowadzenie

� Sztuczne sieci neuronowe

� Systemy rozmyte� Systemy rozmyte

� Algorytmy ewolucyjne

� Systemy ekspertowe

� Wnioski

� Zakończenie – Co czytać?

J ó z e f K o r b i c z J ó z e f K o r b i c z P o l i t e c h n i k a O p o l s k aP o l i t e c h n i k a O p o l s k a22 3 1 m a r c a 2 0 1 43 1 m a r c a 2 0 1 4

WPROWADZENIEWPROWADZENIE


WPROWADZENIEWPROWADZENIE::INTELIGENCJAINTELIGENCJA

Inteligencja – rozumiana jako sprawność umysłowa ma wiele odcieni znaczeniowych i

co za tym idzie ma wiele różnych definicji:

� Inteligencja to ogólna zdolność adaptacji do nowych warunków i wykonywania � Inteligencja to ogólna zdolność adaptacji do nowych warunków i wykonywania nowych zadań przez wykorzystanie środków myślenia

� Inteligencja to zdolność uczenia się

� Inteligencja to zespół zdolności umysłowych umożliwiających jednostce sprawne korzystanie z nabytej wiedzy oraz skuteczne zachowanie się wobec nowych zadań i sytuacji

� Inteligencja to zdolność do aktywnego przetwarzania informacji w celu lepszego przystosowywania się do zmiennego środowiska


WPROWADZENIEWPROWADZENIE: : RODZAJE INTELIGENCJIRODZAJE INTELIGENCJI

� Inteligencja kognitywna (lub kognitywistyczna) to najogólniej zdolność do myślenia skutecznego w szczególności w sytuacjach nieprzewidywanych i niepewnych

� Inteligencja werbalna – zdolność formułowania wypowiedzi

� Inteligencja emocjonalna – kompetencje osobiste człowieka w rozumieniu, zdolności rozpoznawania stanów emocjonalnych własnych oraz innych osób

� Inteligencja społeczna – zdolność społecznego przystosowania i wywierania wpływu na środowisko, sztuka nawiązywania pozytywnych, obustronnie satysfakcjonujących relacji interpersonalnych w codziennych kontaktach


WPROWADZENIEWPROWADZENIE: : SZTUCZNA INTELIGENCJA... O CZYM TO JEST?SZTUCZNA INTELIGENCJA... O CZYM TO JEST?

� Kierunek poznawczy AI

Próba zrozumienia istoty inteligencji poprzez badanie własności maszyn inteligentnych

� Kierunek techniczny AI

Budowa bytów (maszyn) posiadających cechy świadczące o ich inteligencji


WPROWADZENIE: WPROWADZENIE: SZTUCZNA INTELIGENCJASZTUCZNA INTELIGENCJA

((ARTIFICIALARTIFICIAL INTELLIGENCEINTELLIGENCE, AI, AI))

� Dziedzina wiedzy zajmująca sie poznaniem istoty inteligencji oraz próbą jej implementacji

Główne zadanie sztucznej inteligencji: budowa urządzeń inteligentnych� Główne zadanie sztucznej inteligencji: budowa urządzeń inteligentnych

� Sztuczna inteligencja łączy różne dziedziny nauki i techniki: matematykę, informatykę, ekonomię, neurobiologię, teorię sterowania i cybernetykę, lingwistykę, filozofię, psychologię i inne...

� Sztuczna inteligencja jest dziedziną nie do końca sformalizowaną: istotną rolę odgrywa w niej heureza


WPROWADZENIE: WPROWADZENIE: SZTUCZNA INTELIGENCJASZTUCZNA INTELIGENCJA

� Sztuczna inteligencja – dział informatyki, którego przedmiotem jest badanie reguł rządzących inteligentnymi zachowaniami człowieka, tworzenie modeli formalnych tych zachowań i – w rezultacie – programów komputerowych symulujących te zachowaniazachowania

� Sztuczna inteligencja – dwa podstawowe znaczenia:

� hipotetyczna inteligencja realizowana w procesie inżynieryjnym, a nie naturalnym

� nazwa technologii i dziedzina badań naukowych informatyki na styku z neurologią, psychologią i ostatnio kognitywistyką oraz także systemiką, a nawet z współczesną filozofią


WPROWADZENIE: WPROWADZENIE: „SŁABA” SZTUCZNA INTELIGENCJA„SŁABA” SZTUCZNA INTELIGENCJA

Słaba sztuczna inteligencja – budowa systemów wspomagających człowieka w

trudnych zadaniach w wielu dziedzinach:

� przemysłu, budownictwa, projektowania, w rolnictwie, ochronie środowiska

� usługach komercyjnych – ekonomia, bankowość i finanse

� techniki informacyjne, w medycynie, edukacji

� badaniach naukowych, badaniach kosmosu, w technice wojskowej

i innych


WPROWADZENIE: WPROWADZENIE: „SILNA” SZTUCZNA INTELIGENCJA„SILNA” SZTUCZNA INTELIGENCJA

Silna sztuczna inteligencja – możliwość zbudowania systemu rzeczywiście

inteligentnego, zdolnego inteligentnego, zdolnego

� komunikować się z ludźmi bezpośrednio w języku naturalnym

� rozumieć różne niuanse i subtelności

� przyjmować polecenia i planować ich samodzielną realizację

� do racjonalnego myślenia w warunkach pełnej złożoności naszego świata

J ó z e f K o r b i c z J ó z e f K o r b i c z P o l i t e c h n i k a O p o l s k aP o l i t e c h n i k a O p o l s k a1 01 0 3 1 m a r c a 2 0 1 43 1 m a r c a 2 0 1 4

WPROWADZENIE: WPROWADZENIE: JAK ROZPOZNAĆ SZTUCZNĄ INTELIGENCJĘ?JAK ROZPOZNAĆ SZTUCZNĄ INTELIGENCJĘ?

� 1950: artykuł Alana Turinga Computing machinery and intelligence, opis tzw. Testu Turinga http://www.abelard.org/turpap/turpap.htm

� 1990: Nagroda Loebnera – nagroda główna $100 000 oraz złoty medal dla pierwszego komputera którego odpowiedzi będą nierozróżnialne od odpowiedzi człowieka


WPROWADZENIE: WPROWADZENIE: TEST TURINGATEST TURINGA

� Należy skonstruować system zamknięty w odizolowanym pomieszczeniu i połączony z niezależnym obserwatorem terminalem komunikacyjnym (typu teletype)

� Operator może komunikować się z systemem w języku naturalnym, zadawać � Operator może komunikować się z systemem w języku naturalnym, zadawać pytania, itp.

� Jednocześnie drugi terminal łączy operatora z drugim pomieszczeniem, gdzie przy terminalu siedzi człowiek

� Jeśli operator nie będzie mógł na podstawie odpowiedzi uzyskiwanych od obu partnerów definitywnie stwierdzić który z nich jest systemem komputerowym, a który żywym człowiekiem

� To system komputerowy należy uznać za inteligentny


WPROWADZENIE:WPROWADZENIE:TEST TURINGATEST TURINGA

� Czy możemy zbudować maszynę myśląca tak jak człowiek?

� Przyjmijmy, że zadajemy pytania i nie wiemy czy rozmawiamy z człowiekiem czy z maszyną


WPROWADZENIE: WPROWADZENIE: TEST TURINGATEST TURINGA

� “Jak możemy sprawdzić, że test można zaliczyć?”

� Turing Test

HUMAN

INTERFACE

CONTROLLED

BY JUDGE

‘INTELLIGENT SUBJECT’JUDGEQUESTION

ANSWER

QUESTION

� Cel maszyny – utwierdzić sędziego w przekonaniu, że jest człowiekiem� Jeżeli maszyna przekona o tym sędziego, to możemy stwierdzić, że maszyna

może myśleć

MACHINE

HUMAN

QUESTION

ANSWER

QUESTION

ANSWER


� 1997: „Deep Blue” pokonał arcymistrza świata w szachach Garry Kasparowa

� „Bez rąk” przez Amerykę (autonomiczna jazda samochodem, 98% czasu przejazdu z Pittsburga do San Diego)

1991: Wojna w Zatoce, Armia USA wykorzystała program AI do logistyki i

WPROWADZENIE:WPROWADZENIE:DZISIEJSZE DZISIEJSZE OSIAGNIĘCIAOSIAGNIĘCIA AIAI

� 1991: Wojna w Zatoce, Armia USA wykorzystała program AI do logistyki i planowania zawierający ponad 50 000 pojazdów, cargo i ludzi

� NASA zastosowała na pokładzie autonomiczny program planowania kontrolujący harmonogramowanie operacji na statku kosmicznym

� Najlepszy pojazd w zawodach DARPA pokonał 7 mil na pustyni


WPROWADZENIE:WPROWADZENIE:SZACHYSZACHY


nn WPROWADZENIE:WPROWADZENIE:GRA W SZACHY GRA W SZACHY –– KOMPUTER KONTRA CZŁOWIEKKOMPUTER KONTRA CZŁOWIEK

Klasyczny problem AI – gra w szachy:� dobrze zdefiniowany� bardzo złożony: trudny dla człowieka aby grać dobrze


nn WPROWADZENIE:WPROWADZENIE:WIELKIE ZAWODY WIELKIE ZAWODY DARPADARPA


WPROWADZENIE: WPROWADZENIE: HISTORIA SZTUCZNEJ INTELIGENCJIHISTORIA SZTUCZNEJ INTELIGENCJI

� 1943: McCulloch & Pitts: model sztucznego neuronu

� 1950: Test Turinga, artykuł pt. Computing machinery and intelligence

� 1956:Konferencja w Dartmouth: przyjęcie terminu artificial intelligence

1966-73: Wykrycie ogromnej złożoności obliczeniowej AI� 1966-73: Wykrycie ogromnej złożoności obliczeniowej AI

Badania nad sieciami neuronowymi prawie zanikają

� 1969-79: Początki rozwoju systemów eksperckich

� 1980: AI staje się przemysłem

� 1986: Sieci neuronowe wracają do popularności

� 1987:AI staje się nauką

� 1995: Pojawienie się inteligentnych agentów


WPROWADZENIE: WPROWADZENIE: POCZĄTKI POCZĄTKI KKOMPUTEROMPUTERÓWÓW

1945: ENIAC – pierwszy elektroniczny cyfrowy komputer (18 tyś. lamp, 30 ton)

1949: EDVAC – pierwszy komputer z pamięcią programu


WPROWADZENIE: WPROWADZENIE: PODEJŚCIA DO SZTUCZNEJ INTELIGENCJIPODEJŚCIA DO SZTUCZNEJ INTELIGENCJI

� Symboliczne: tworzenie modeli matematyczno-logicznych analizowanych problemów i implementowanie ich w formie programów komputerowych, mających realizować konkretne funkcje uważane za składowe inteligencji, np. algorytmy realizować konkretne funkcje uważane za składowe inteligencji, np. algorytmy genetyczne, metody logiki rozmytej i wnioskowania bazującego na doświadczeniu

� Sub-symboliczne: tworzenie struktur i programów „samouczących się”, bazujących na modelach sieci neuronowej i sieci asocjacyjnych oraz opracowywanie procedur „uczenia” takich programów, rozwiązywania postawionych im zadań i szukania odpowiedzi na wybrane klasy „pytań”


WPROWADZENIE:|WPROWADZENIE:|WIZUALNA METAFORA SZTUCZNEJ INTELIGENCJIWIZUALNA METAFORA SZTUCZNEJ INTELIGENCJI


WPROWADZENIE:WPROWADZENIE:PRAKTYCZNE ZASTOSOWANIA AIPRAKTYCZNE ZASTOSOWANIA AI

� Automatyka i robotyka

� Diagnostyka procesów i medyczna

� Maszynowe tłumaczenie tekstów� Maszynowe tłumaczenie tekstów

� Przetwarzanie mowy i języka naturalnego

� Rozpoznawanie obrazów i pisma

� Systemy ekspertowe

� Eksploracja danych

� Sztuczne życie

i wiele innych przykładów

J ó z e f K o r b i c z J ó z e f K o r b i c z P o l i t e c h n i k a K r a k o w s k aP o l i t e c h n i k a K r a k o w s k a2 32 3 1 2 g r u d n i a 2 0 1 21 2 g r u d n i a 2 0 1 2

WPROWADZENIE:WPROWADZENIE:INTELIGENCJA OBLICZENIOWAINTELIGENCJA OBLICZENIOWA

Zajmuje się rozwiązywaniem problemów, które nie są efektywnie algorytmizowalne

Nie ma efektywnego algorytmu? Nie ma efektywnego algorytmu?

� Drobna zmiana może wymagać całkiem innego programu!

� Nie można przewidzieć wszystkich zmian

Rozwiązanie wymaga inteligencji; jeśli szukamy rozwiązania za pomocą obliczeń to jest to „inteligencja obliczeniowa”


WPROWADZENIE:WPROWADZENIE:PROBLEMY EFEKTYWNIE PROBLEMY EFEKTYWNIE NIEALGORYTMIZOWALNENIEALGORYTMIZOWALNE

� Teoria złożoności obliczeniowej, problemy NP-trudne: liczba kroków algorytmu dla

złożonych sytuacji rośnie w sposób szybszy niż jakikolwiek wielomian liczby

elementów (złożoności specyfikacji problemu)elementów (złożoności specyfikacji problemu)

� Przykład: problem komiwojażera. Dla 100 miejsc mamy 100!=10158 możliwości

� Problemy praktyczne: gry planszowe, układanie planu, upakowanie towarów


WPROWADZENIE:WPROWADZENIE:PROBLEMY PROBLEMY NIEALGORYTMIZOWALNENIEALGORYTMIZOWALNE

Przykłady

� rozumienie sensu zdań

� rozpoznawanie twarzy i obrazów � rozpoznawanie twarzy i obrazów

� rozpoznawanie mowy i sygnałów, percepcja

� rozpoznawanie pisma ręcznego

� sterowanie robotem, nieliniowymi układami

� diagnostyka medyczna i techniczna

� rozwiązywanie nietypowych problemów

� działania twórcze


WPROWADZENIE:WPROWADZENIE:GRY KOMPUTEROWEGRY KOMPUTEROWE

Gry komputerowe to świetny obszar badawczy dla AI:

� w większości gier wykorzystuje się dobrze zdefiniowany zestaw reguł� w większości gier wykorzystuje się dobrze zdefiniowany zestaw reguł

� układ gry łatwo przedstawić na monitorze komputera

Gry komputerowe generują ogromną przestrzeń badawczą:

� duże i złożone przestrzenie badawcze wymagają mocnych technik (heurystycznych) do wyznaczenia alternatywnych rozwiązań w przestrzeni badawczej


WPROWADZENIE: WPROWADZENIE: INTELIGENCJA OBLICZENIOWAINTELIGENCJA OBLICZENIOWA

Rozwiązywanie różnych problemów sztucznej inteligencji z wykorzystaniem

komputerów wykonujących obliczenia numeryczne

Techniki obliczeń inteligentnych, tzw. „miękkich obliczeń”

� sieci neuronowe

� logika rozmyta

� algorytmy ewolucyjne

� zbiory przybliżone

� zmienne niepewne

� metody probabilistyczne


Inteligencja obliczeniowaInteligencja obliczeniowa

Obliczenia Obliczenia granularnegranularneObliczenia Obliczenia

Obliczenia ewolucyjneObliczenia ewolucyjneSztuczne Sztuczne

Obliczenia Obliczenia granularnegranularne

Zb

iory

ro

zm

yte

Zb

iory

ro

zm

yte

Zb

iory

prz

yb

liżo

ne

Zb

iory

prz

yb

liżo

ne

Wn

ioskow

an

ie

Wn

ioskow

an

ie

pro

ba

bili

sty

czn

ep

rob

ab

ilisty

czn

e

Obliczenia Obliczenia

neuronoweneuronoweN

ad

zo

row

an

eN

ad

zo

row

an

e

Nie

na

dzo

row

an

eN

ien

ad

zo

row

an

e

Z k

ryty

kie

mZ

kry

tykie

m

Obliczenia ewolucyjneObliczenia ewolucyjne

Pro

gra

mo

wa

nie

P

rogra

mo

wa

nie

ge

ne

tyczn

ege

ne

tyczn

e

Alg

ory

tmy

Alg

ory

tmy

ge

ne

tyczn

ege

ne

tyczn

e

Inte

lige

ncja

ro

juIn

telig

en

cja

ro

ju

Sztuczne Sztuczne życieżycie

Sztu

czn

y s

yste

m

Sztu

czn

y s

yste

m

imm

un

olo

gic

zn

yim

mu

no

logic

zn

y


SZTUCZNE SIECI NEURONOWESZTUCZNE SIECI NEURONOWE


SZTUCZNE SIECI NEURONOWE:SZTUCZNE SIECI NEURONOWE:INSPIRACJA BIOLOGICZNA INSPIRACJA BIOLOGICZNA –– MÓZGMÓZG

Budowa

� ok. 1011 komórek neuronowych

� ok. 1015 połączeń

Atrakcyjność sieci neuronów

� działa równolegle

� realizuje złożone przetwarzanie

pomimo wolno działających

komponentów (neuronów)


SZTUCZNE SIECI NEURONOWE: SZTUCZNE SIECI NEURONOWE: NEUROBIOLOGIANEUROBIOLOGIA

Obraz mikroskopowy

Neuron biologiczny J ó z e f K o r b i c z J ó z e f K o r b i c z P o l i t e c h n i k a O p o l s k aP o l i t e c h n i k a O p o l s k a3 23 2 3 1 m a r c a 2 0 1 43 1 m a r c a 2 0 1 4

1943: Model neuronu McCullocha-Pittsa1949: Reguła Hebba uczenia neuronu

1950-1969: złoty okres1958: Perceptron Rosenblatta, 1-sza sieć neuronowa1969: Książka pt. Perceptrons. Ograniczenia sieci (Minsky i Papert)

Lata 70.: lata spokoju

SZTUCZNE SIECI NEURONOWE: SZTUCZNE SIECI NEURONOWE: KRÓTKA HISTORIAKRÓTKA HISTORIA

Lata 70.: lata spokoju 1972-1982: Kohonen: samoorganizujące sieci 1974, 1982, 1986: Algorytm propagacji wstecznej Werbosa, Parkera i Rumelharta

Lata 80.: odnowiony entuzjazm 1985: Książka pt. Parallel Distributed Processing (Rumelhart, McClelland i Hinton)

Lata 90.: w kraju1993: Książka pt. Sieci neuronowe (Tadeusiewicz R., AOW RM)1994: Książka pt. pt. Sztuczne sieci neuronowe. Podstawy i zastosowania (Korbicz J., Obuchowicz A., Uciński D., AOW PLJ)


SZTUCZNE SIECI NEURONOWE: SZTUCZNE SIECI NEURONOWE: PERCEPTRON ROSENBLATTAPERCEPTRON ROSENBLATTA


SZTUCZNE SIECI NEURONOWE:SZTUCZNE SIECI NEURONOWE:ATRAKCYJNOŚĆATRAKCYJNOŚĆ

Atrakcyjność sieci neuronowych

� adaptacja i samoorganizacja� adaptacja i samoorganizacja

� równoległość przetwarzania informacji

� zdolność uczenia się

� odporność na uszkodzenia

� zdolność uogólniania informacji


SZTUCZNE SIECI NEURONOWE: SZTUCZNE SIECI NEURONOWE: MODEL NEURONUMODEL NEURONU

Model cybernetyczny neuronu

Przetwarzanie(ciało komórki)

Wejścia(dendryty,synapsa)

Wyjścia(akson)

Model neuronu McCullocha-Pittsa (1943 r.)

(ciało komórki)synapsa)


SZTUCZNE SIECI NEURONOWE:SZTUCZNE SIECI NEURONOWE:MODEL NEURONUMODEL NEURONU

Model matematyczny neuronu

Suma ważonaSuma ważona

Wyjście

gdzie f() – funkcja aktywacji

– zadana wartość progowa :

1


SZTUCZNE SIECI NEURONOWE:SZTUCZNE SIECI NEURONOWE:STRUKTURYSTRUKTURY

� Sieci jednokierunkowe wielowarstwowe, inaczej perceptron wielowarstwowy (bez sprzężeń zwrotnych)

� Sieci rekurencyjne (ze sprzężeniami zwrotnymi)� Sieci rekurencyjne (ze sprzężeniami zwrotnymi)

� sieć wielowarstwowa (sprzężenia lokalne i globalne)

� sieć Hopfielda

� sieć BAM

� Sieci samoorganizujące się z konkurencją, np. sieć Kohonena

� Sieci probabilistyczne


SZTUCZNE SIECI NEURONOWE: SZTUCZNE SIECI NEURONOWE: PERECEPTRONPERECEPTRON

Perceptron F. Rosenblatta (1958 r.) – częściowo elektromechaniczne i elektroniczne urządzenie, którego przeznaczeniem było rozpoznawanie znaków alfanumerycznych

obraz wejściowy

:

Warstwawejściowa

Warstwaneuronowa

obraz wejściowy

wagi połączeń

obraz wyjściowy


SZTUCZNE SIECI NEURONOWE:SZTUCZNE SIECI NEURONOWE:11--WARSTWOWEWARSTWOWE

Perceptron wielowarstwowy


SZTUCZNE SIECI NEURONOWE:SZTUCZNE SIECI NEURONOWE:REKURENCYJNEREKURENCYJNE

Sieć Elmana: rekurencyjna sieć wielowarstwowa

Główne trudności� złożone algorytmy uczenia� problem stabilności


SZTUCZNE SIECI NEURONOWE:SZTUCZNE SIECI NEURONOWE:ALGORYTMY UCZENIAALGORYTMY UCZENIA

� Uczenie „nadzorowane” (supervised, z nauczycielem): do asocjacji, czyli skojarzeń par struktur wejściowych i wyjściowych

� Uczenie się bez nadzoru (unsupervised, bez nauczyciela): do wykrywania regularności tj. reakcji na „interesujące” sygnały, uczenie indukcyjne –regularności tj. reakcji na „interesujące” sygnały, uczenie indukcyjne –uogólnianie przykładów

� Uczenie z krytykiem lub wzmocnieniem (reinforcement): uczenie strategii postępowania na podstawie krytyki po dłuższym okresie czasu, uczenie się celowego zachowania na podstawie interakcji ze środowiskiem


Istota uczenianadzorowanego

Zadanie

SZTUCZNE SIECI NEURONOWE:SZTUCZNE SIECI NEURONOWE:ISTOTA UCZENIAISTOTA UCZENIA

Zadanie

Rozpoznawanieliczb parzystych i nieparzystych


Algorytmy proste

� reguła Hebba

� reguła perceptronu

� reguła delty

SZTUCZNE SIECI NEURONOWE:SZTUCZNE SIECI NEURONOWE:ALGORYTMY UCZENIAALGORYTMY UCZENIA

� reguła delty

Algorytmy nadzorowane (z nauczycielem)

� propagacji wstecznej (Back-Propagation, BP)

� algorytm Levenberga-Marquardta

� rekurencyjna metoda najmniejszych kwadratów


Samoorganiozująca sięmapa cech Kohonena

SZTUCZNE SIECI NEURONOWE: SZTUCZNE SIECI NEURONOWE: KOHONENAKOHONENA

1

1 1N 1 1N

2 31N

2 2 3

u1 u2 um

...

{wij}

Sygnały wejściowe


SZTUCZNE SIECI NEURONOWE: SZTUCZNE SIECI NEURONOWE: SIECI SIECI GMDHGMDH

((GROUP GROUP METHOD METHOD OF OF DATA DATA HANDLINGHANDLING))

Dlaczego GMDH?

� Sukcesywna identyfikacja zależy od właściwej selekcji struktury modelu

� Wyznaczenie właściwej struktury i parametrów nieliniowych modeli jest zadaniem � Wyznaczenie właściwej struktury i parametrów nieliniowych modeli jest zadaniem zlożonym

� Podejście GMDH można wykorzystać do automatycznej selekcji struktury sieci neuronowej i jej parametrów korzystając tylko z danych pomiarowych

� Struktura sieci jest projektowana poprzez stopniowe zwiększanie jej złożoności

Idea GMDH: Zastąpić złożony model procesu modelami cząstkowymi (neuronami)

stosując reguły selekcji zmiennych


SZTUCZNE SIECI NEURONOWE: SZTUCZNE SIECI NEURONOWE: PROJEKTOWANIE PROJEKTOWANIE GMDHGMDH

Proces projektowania sieci GMDH


SZTUCZNE SIECI NEURONOWE: SZTUCZNE SIECI NEURONOWE: ZALETY I WADYZALETY I WADY

Zalety

� nie wymagają postaci analitycznej procesów

� posiadają zdolność

� uczenia się (samodostrajania parametrów)

uogólniania wiedzy � uogólniania wiedzy

� doskonały aproksymator nieliniowych funkcji

Wady

� brak efektywnych metod automatycznego projektowania sieci

� wymagają reprezentatywnych danych uczących

� struktura „czarna skrzynka”: brak widocznego związku parametrów sieci z parametrami procesu/problemu


SZTUCZNE SIECI NEURONOWE: SZTUCZNE SIECI NEURONOWE: PROGRAMY SYMULUJĄCEPROGRAMY SYMULUJĄCE


Zastosowania

� prognozowanie zużycia energii elektrycznej

� diagnostyka układów elektronicznych

� analiza badań medycznych

� planowanie remontów maszyn

� synteza mowy

SZTUCZNE SIECI NEURONOWE:SZTUCZNE SIECI NEURONOWE:ZASTOSOWANIAZASTOSOWANIA

� diagnostyka układów elektronicznych

� prognozy giełdowe

� prognozowanie sprzedaży

� poszukiwania ropy naftowej

� interpretacja badań biologicznych

� prognozy cen

� synteza mowy

� optymalizacja działalności handlowej

� analiza spektralna

� optymalizacja utylizacji odpadów

� rozpoznawanie pisma

� sterowanie procesów przemysłowych


SZTUCZNE SIECI NEURONOWE: SZTUCZNE SIECI NEURONOWE: DIAGNOSTYKA TECHNICZNADIAGNOSTYKA TECHNICZNA

Cukrownia Lublin


SZTUCZNE SIECI NEURONOWE: SZTUCZNE SIECI NEURONOWE: URZĄDZENIE WYKONAWCZEURZĄDZENIE WYKONAWCZE

Diagnostyka urządzenia wykonawczego � ACQ – układ akwizycji danych� CPU – jednostka centrala, pozycjoner� E/P – przetwornik elektro-pneumatyczny� V1, V2 i V3 – zawory� DT – przetwornik przemieszczenia

Pneumatic actuator

E/P CPU

ACQPT

F

CV

S

� DT – przetwornik przemieszczenia� PT – przetwornik ciśnienia� FT – przetwornik strumienia objętościowego� CV – zawór regulujący� F – strumień przepływu� T1 – temperatura soku� X – przemieszczenie tłoczyska� P1 i P2 – ciśnienie soku na wejściu i wyjściu zaworu regulującego

T1 P1

V3Control valve

Positioner

P2

DT

V1

V2

FT

X


SZTUCZNE SIECI NEURONOWE: SZTUCZNE SIECI NEURONOWE: URZĄDZENIE WYKONAWCZEURZĄDZENIE WYKONAWCZE

(WYBRANE USZKODZENIA)(WYBRANE USZKODZENIA)Uszkodzenia zaworu

� zużycie erozyjne zaworu

� przeciek wewnętrzny medium

� zablokowanie zaworu przez ciało obce

Uszkodzenia siłownikaUszkodzenia siłownika

� skrzywienie tłoczyska siłownika

� przebicie membrany siłownika

� uszkodzenie sprężyny

Uszkodzenia pozycjonera

� uszkodzenie czujnika ciśnień

� uszkodzenie toru pomiarowego położenia


SZTUCZNE SIECI NEURONOWE: SZTUCZNE SIECI NEURONOWE: MODELE GMDHMODELE GMDH

i są nieznanymi funkcjami nieliniowymi przepływu i położenia, X – przemieszczenie tłoczyska siłownika, F – strumień objętościowy przepływu

),,,,( 121 TPPCfX vx= ),,,,( 121 TPPXfF f=

gdzie xf ff

Modele GMDH

)(⋅= ffF )(⋅= xfX

P1

P2

T

CV


SZTUCZNE SIECI NEURONOWE: SZTUCZNE SIECI NEURONOWE: DETEKCJA USZKODZEŃ DETEKCJA USZKODZEŃ –– SIEĆ SIEĆ GMDHGMDH

f4 – wzrost siły tarcia w dławicy lub gnieździe

f7 – wystąpienie zjawiska kawitacji


SZTUCZNE SIECI NEURONOWE: SZTUCZNE SIECI NEURONOWE: DETEKCJA USZKODZEŃ DETEKCJA USZKODZEŃ –– SIEĆ SIEĆ MLPMLP

f17 – spadek lub wzrost ciśnienia f18 – uszkodzenie toru pomiarowego przepływu


SYSTEMY ROZMYTE SYSTEMY ROZMYTE

((FUZZY SYSTEMSFUZZY SYSTEMS))((FUZZY SYSTEMSFUZZY SYSTEMS))


SYSTEMY ROZMYTE: SYSTEMY ROZMYTE: INSPIRACJAINSPIRACJA

� Inspiracja – nieprecyzyjna komunikacja między ludźmi

� Problemy złożone trudno jest analizować precyzyjnie

Wiedza eksperta w złożonych przypadkach daje się opisać w rozmyty sposób, � Wiedza eksperta w złożonych przypadkach daje się opisać w rozmyty sposób,

np.Jeśli wiatr jest bardzo silny i stół jest bardzo lekki i stół jest przymocowany słabo

To stół odfrunie w siną dal.


SYSTEMY ROZMYTE: SYSTEMY ROZMYTE: LOGIKA ROZMYTALOGIKA ROZMYTA

� Jedna z logik wielowartościowych: uogólnienie klasycznej dwuwartościowej logiki – 0 i 1, fałsz, prawda

� Lotfi Zadeha :1965. W logice rozmytej między stanem 0 (fałsz) a stanem 1 (prawda) – szereg wartości pośrednich, które określają stopień przynależności (prawda) – szereg wartości pośrednich, które określają stopień przynależności elementu do zbioru


SYSTEMY ROZMYTE: SYSTEMY ROZMYTE: HISTORIAHISTORIA

� 1965: Propozycja logiki rozmytej – Zadeh

� 1977: Sterowanie rozmyte – Mamdani

� 1981: Rozmyty algorytm klasteryzacji – Bezdek� 1981: Rozmyty algorytm klasteryzacji – Bezdek

� 1985: Opracowanie rozmytego modelu Takagi-Sugeno – Takagi i Sugeno

� 1990: Opracowanie technik neuronowo-rozmytych – Nauck, Babuska, Czogała,

� 1991: Rozmyty system sterowania koleją – Sendai, Japonia

� 1996: Obliczenia na słowach – Zadeh

� 2001: Obliczenia granularne – Pedrycz


SYSTEMY ROZMYTE:SYSTEMY ROZMYTE:ZAKRESZAKRES

Logika/systemy rozmyte obejmują

� matematykę zbiorów i logiki rozmytej

�� rozmytą reprezentację i przetwarzanie wiedzy do klasyfikacji, regresji i klasteryzacji

� uczenie funkcji przynależności i reguł logicznych z danych

� metody sterownia rozmytego


SYSTEMY ROZMYTE: SYSTEMY ROZMYTE: ZBIÓR ROZMYTYZBIÓR ROZMYTY

Zbiór rozmyty (fuzzy set) – obiekt matematyczny ze zdefiniowaną funkcjąprzynależności, która przybiera wartości z przedziału [0, 1]

Definicja: Zbiorem rozmytym A w przestrzeni X jest zbiór uporządkowanych par:

gdzie


SYSTEMY ROZMYTE: SYSTEMY ROZMYTE: FUNKCJE PRZYNALEŻNOŚCIFUNKCJE PRZYNALEŻNOŚCI

Przykłady

µ(h) µ(T)

1 1

Thmałe

(150 cm)

średnie

(165 cm)

wysokie

(175 cm)

wzrost

pań w ZG

(ok. 30 lat)

niska

(35°C)

normalna

(36.6°C)

wysoka

(38°C)

temp.

ciała


SYSTEMY ROZMYTE: SYSTEMY ROZMYTE: ZBIORY KLASYCZNE I ROZMYTEZBIORY KLASYCZNE I ROZMYTE

Klasyczne i rozmyte pojęcie „młody człowiek”

A=“młody”1

A=“młody”1

µ=0.8

Temperatura wrzenia ma wartość około 100 stopni (ciśnienie, skład chemiczny)

( ) ( )22 100T

W T eµ − −=

x [lata]0

x [lata]0

x=23x=20


SYSTEMY ROZMYTE: SYSTEMY ROZMYTE: STRUKTURASTRUKTURA

Baza wiedzy

Rozmywanie Wnioskowanie Wyostrzaniex A’ B’ y

Rozmywanie Wnioskowanie Wyostrzanie

Typy systemów rozmytych � Mamdaniego – B jest zbiorem rozmytym� Takagi-Sugeno-Kanga – B jest wzorem

Reguła: IF x is A THEN y is B, gdzie A, A’, B, B’ – zbiory rozmyte, x – wejście, y – wyjście


SYSTEMY ROZMYTE: SYSTEMY ROZMYTE: ZASTOSOWANIAZASTOSOWANIA

Logika rozmyta – przydatna w zastosowaniach inżynierskich, czyli tam, gdzie klasyczna logika klasyfikująca jedynie według kryterium prawda/fałsz nie potrafi skutecznie poradzić sobie z wieloma niejednoznacznościami i sprzecznościami

Zastosowania � elektroniczne systemy sterowania (maszynami, pojazdami i automatami),

regulatory rozmyte� zadania eksploracji danych� budowa systemów eksperckich� i wiele innych


SYSTEMY ROZMYTE: SYSTEMY ROZMYTE: ZALETY I WADYZALETY I WADY

Zalety

� transparentna reprezentacja problemu, np. reguły: Jeśli … To…

� lingwistyczna reprezentacja w postaci zbiorów rozmytych, np. duże ciśnienie

� przetwarzanie wiedzy jakościowej i ilościowej � przetwarzanie wiedzy jakościowej i ilościowej

� ekstrakcja reguł z danych przez eksperta lub automatycznie

� reprezentacja niepewności danych

Wady

� brak możliwości uczenia, dostrajania parametrów

� szybki wzrost złożoności obliczeniowej wraz ze wzrostem liczby zbiorów rozmytych


SYSTEMY NEURONOWOSYSTEMY NEURONOWO--ROZMYTEROZMYTEi


SYSTEMY NEURONOWOSYSTEMY NEURONOWO--ROZMYTE: ROZMYTE: KOMBINACJA KOMBINACJA NNNN + + FLFL

Kombinacja sieci neuronowych i logiki rozmytej� Systemy neuronowo-rozmyte typu Mamdaniego

� Systemy neuronowo-rozmyte typu Takagi-Sugeno

i-th reguła:

IF x1 is A1i and … and xn is An

i THEN y1 = b1i and … and yn = bm

i

� Systemy neuronowo-rozmyte typu Takagi-Sugenoi-th reguła:

IF x1 is A1i and … and xn is An

i THEN y1=b0,1i+b1,1

ix1+…+bn,1ixn and ...

... and ym=b0,mi+b1,m

ix1+…+bn,mixn

gdzie

x1,…,xn - wejścia

A1i,…,An

i - zbory rozmyte

b0,1i,…,bn,m

i - parametry wielomianu liniowego

y1,…,ym - wyjścia


SYSTEMY NEURONOWOSYSTEMY NEURONOWO--ROZMYTE: ROZMYTE: STRUKTURASTRUKTURA

Sieciowa struktura systemu neuronowo-rozmytego

∑∏µ

∏

/∏

∏

b11

b12

b13

b1N

L. 1 L. 2

L.

3

L.

4

y

1

x

wherex1,...,xn - inputs

y ,...,y - outputs

∏

∏

µ

µ

µ

/

n∏

∑

∏

∑

∏

∏

∏

∏

mbm

1

bmN

bm2

bm3

N

N

NN

1

N

n

N

y

mx

n

x

1

y1,...,ym - outputsn - no. of inputs,

m - no. of outputsN - no. of rules,

L.1,...,L.4 - layersN1,...,Nn - no. of fuzzy

partitionsbji - singletons


SYSTEMY NEURONOWOSYSTEMY NEURONOWO--ROZMYTE: ROZMYTE: ZALETY I WADYZALETY I WADY

Zalety

� możliwość uwzględniania niepewności/nieprecyzyjności w procesach rzeczywistych

� możliwość kombinacji wiedzy jakościowej i ilościowej� możliwość kombinacji wiedzy jakościowej i ilościowej

� nieliniowe odwzorowywania

� parametry funkcji przynależności są dostrajane w procesie uczenia, np. the wartość średnia i wariancja funkcji przynależności typu dzwon

Wady

� dla dużej liczby zbiorów rozmytych liczba dostrajanych parametrów drastycznie zwiększa się


ALGORYTMY EWOLUCYJNEALGORYTMY EWOLUCYJNE


ALGORYTMY EWOLUCYJNE: ALGORYTMY EWOLUCYJNE: OPTYMALIZACJAOPTYMALIZACJA

Algorytm ewolucyjny

� wzorowana na naturalnej ewolucji metoda rozwiązywania zagadnień optymalizacyjnychoptymalizacyjnych

� procedura przeszukiwania oparta na mechanizmach doboru naturalnego i dziedziczenia

� korzysta z ewolucyjnej zasady przeżycia osobników najlepiej przystosowanych


ALGORYTMY EWOLUCYJNE: ALGORYTMY EWOLUCYJNE: CHARAKTERYSTYKICHARAKTERYSTYKI

Co różni AE od tradycyjnych metod optymalizacji?

� nie przetwarzają bezpośrednio parametrów zadania lecz ich zakodowaną postać

� prowadzą przeszukiwanie, wychodząc nie z pojedynczego punktu, lecz z pewnej � prowadzą przeszukiwanie, wychodząc nie z pojedynczego punktu, lecz z pewnej ich populacji

� korzystają tylko z funkcji celu, a nie z pochodnych lub innych pomocniczych informacji

� stosują probabilistyczne, a nie deterministyczne reguły wyboru


ALGORYTMY EWOLUCYJNE: ALGORYTMY EWOLUCYJNE: RODZAJERODZAJE

Rodzaje algorytmów ewolucyjnych

� klasyczny algorytm genetyczny

� strategie ewolucyjne� strategie ewolucyjne

� programowanie ewolucyjne

� programowanie genetyczne


ALGORYTMY EWOLUCYJNE: ALGORYTMY EWOLUCYJNE: GENETYCZNYGENETYCZNY

Algorytm genetyczny: algorytm przeszukujący przestrzeń alternatywnych rozwiązań problemu w celu wyszukania rozwiązań najlepszych:

� sposób działania algorytmów genetycznych przypomina zjawisko ewolucji � sposób działania algorytmów genetycznych przypomina zjawisko ewolucji biologicznej

� twórca: John Henry Holland (1971)

� inspiracje z biologii


ALGORYTMY EWOLUCYJNE: ALGORYTMY EWOLUCYJNE: GENETYCZNYGENETYCZNY

Klasyczny algorytm genetyczny

� inicjacja – wybór początkowej populacji chromosomów

� ocena przystosowania chromosomów w populacji

� sprawdzenie warunków zatrzymania� sprawdzenie warunków zatrzymania

� selekcja chromosomów, np. metoda ruletki

� zastosowanie operatorów genetycznych:

� krzyżowanie

� mutacja

� utworzenie nowej populacji

� wyprowadzenie „najlepszego” chromosomu


ALGORYTMY EWOLUCYJNE: ALGORYTMY EWOLUCYJNE: ZASTOSOWANIEZASTOSOWANIE

zakłócenie czujnika ( )η t

Urządzenie

wykonawczePROCES Czujniki

zakłócenie d(t) uszkodzenie f(t)

wejście u(t) wyjście y(t)

1

sB + C + Q

( )$x t ( )$y t+

D

+

_

A+

K

+

residuum

r(t)

Obserwator


ALGORYTMY EWOLUCYJNE: ALGORYTMY EWOLUCYJNE: ZASTOSOWANIEZASTOSOWANIE

( ) ( ) ( ) ( ) ( )( )r F f dt t t t t= , , ,ζ η

( )

Maksymalizacja

efektów uszkodzenia

Minimalizacja zakłóceń

i efektów warunku

początkowego

( )

( )

( )

( )

J

J

J

J

1

2

3

4

K Q

K Q

K Q

K Q

,

,

,

,

efektów uszkodzenia początkowego

Minimalizacja

efektów zakłóceń

czujników

Minimalizacja

efektów

zakłócenia wejścia


SYSTEMY EKSPERCKIESYSTEMY EKSPERCKIE



System ekspercki

� program lub zestaw programów komputerowych wspomagający korzystanie z wiedzy i ułatwiający podejmowanie decyzji

� mogą wspomagać bądź zastępować ludzkich ekspertów w danej dziedzinie� mogą wspomagać bądź zastępować ludzkich ekspertów w danej dziedzinie

� mogą dostarczać rad, zaleceń i diagnoz dotyczących problemów tej dziedziny



Systemy eksperckie są budowane na bazie wiedzy eksperta-człowieka oraz jej zakodowaniu w takiej postaci aby komputer mógł być wykorzystany do podobnych problemów:

� ekspert dziedzinowy dostarcza niezbędnej wiedzy w danej dziedzinie

� inżynier wiedzy odpowiada za implementację tej wiedzy w programie w swoim działaniu jest tak samo efektywny i inteligentny jak ekspert-człowiek


SYSTEMY EKSPERCKIE:SYSTEMY EKSPERCKIE:STRUKTURASTRUKTURA


SYSTEMY EKSPERCKIE: SYSTEMY EKSPERCKIE: SCHEMATSCHEMAT

ProcessProcess

Expert System ShellExpert System Shell

Inference EngineInference Engine

PreliminaryPreliminary

SignalSignal

ProcessingProcessing

Data BaseData Base

ProceduralProcedural

KnowledgeKnowledge

BaseBase

RulesRules

KnowledgeKnowledge

BaseBase

NeuralNeural

NetworksNetworks

Knowledge BaseKnowledge Base


SYSTEMY EKSPERCKIE: SYSTEMY EKSPERCKIE: ROZWÓJROZWÓJ

� 1967: DENDRAL – system regułowy do analiz chemicznych

� 1975: MYCIN – system medyczny do diagnostyki chorób zakaźnych

�� 1975: Meta-DENDRAL – rozszerzona wersja systemu DENDRAL

� 1979: EMycin – pierwsza powłoka systemu eksperckiego

� Lata 80.: okres rozwoju systemów eksperckiego


SYSTEMY EKSPERCKIE: SYSTEMY EKSPERCKIE: PRZYKŁADYPRZYKŁADY

Znane systemy eksperckie

� INTERNIST – system diagnostyczny dla medycyny internistycznej

� PROSPEKTOR – dla geologów, określanie rodzaju skał

� XCON – system do konfigurowania komputerów VAX� XCON – system do konfigurowania komputerów VAX

� NEOMYCIN – do szkolenia lekarzy

Szkieletowe systemy eksperckie

� CLIPS, JESS, MANDARAX, DROOLS (bezpłatne)

� SPHINX, NEXPERT (płatne)


SYSTEMY EKSPERTOWE: SYSTEMY EKSPERTOWE: ZASTOSOWANIEZASTOSOWANIE


SYSTEMY EKSPERCKIE: SYSTEMY EKSPERCKIE: PROBLEMYPROBLEMY

� Trudności w ujęciu „głębokiej” wiedzy dziedzinowej (MYCIN nie posiada wiedzy w zakresie psychologii)

� Brak dostatecznej odporności i elastyczności

� Brak możliwości „głębokiego” wyjaśnienia problemu� Brak możliwości „głębokiego” wyjaśnienia problemu

� Problemy z weryfikacją (w zastosowaniach do kontroli ruchu w powietrzu, do sterowania reaktorem jądrowym czy systemach broni)

� Małe możliwości uczenia się z danych eksperymentalnych


WNIOSKIWNIOSKI

Metody i algorytmy sztucznej inteligencji

� Efektywne w rozwiązywaniu zadań, które z uwagi na swoją złożoność są

trudne lub niemożliwe do opisu analitycznegotrudne lub niemożliwe do opisu analitycznego

� Wymagają „dobrych” i reprezentatywnych danych do adaptacji i uczenia np.

sieci neuronowe, sieci neuronowo-rozmyte

� Są czasochłonne obliczeniowo np. algorytmy ewolucyjne lub systemy

rozmyte z dużą ilością zbiorów rozmytych


ZAKOŃCZENIE: ZAKOŃCZENIE: POLECANE KSIĄŻKIPOLECANE KSIĄŻKI


DZIĘKUJĘ!DZIĘKUJĘ!

JJ óó z e fz e f K o r b i c zK o r b i c zJJ óó z e fz e f K o r b i c zK o r b i c z

j . k o r b i c z @ i s s i . u z . z g o r a . p lj . k o r b i c z @ i s s i . u z . z g o r a . p l


OBLICZENIA OBLICZENIA INTELIGENTNEINTELIGENTNE · Inteligencja werbalna – zdolność...

Documents

Transcript of OBLICZENIA OBLICZENIA INTELIGENTNEINTELIGENTNE · Inteligencja werbalna – zdolność...