Phd Thesis

download Phd Thesis

of 189

  • date post

    16-Jul-2015
  • Category

    Documents

  • view

    191
  • download

    0

Embed Size (px)

Transcript of Phd Thesis

UNIVERSITATEA DE VEST DIN TIMISOARA FACULTATEA DE MATEMATICA SI INFORMATICA DEPARTAMENTUL DE INFORMATICA

TEZA DE DOCTORAT

SISTEME INTELIGENTE PENTRU MODELAREA SI EXTRAGEREA CUNOSTINTELOR

Conductor tiintic: a s Prof. Dr. Stefan MARUSTER

Candidat: Daniel POP

Iunie 2006

Familiei mele

CuprinsAbstract Multumiri Introducere 1 Reprezentarea cunotintelor s 1.1 Modele de reprezentare a cunotintelor . . . . . . . . . . . s 1.2 Fundamente teoretice . . . . . . . . . . . . . . . . . . . . 1.3 Reguli de productie . . . . . . . . . . . . . . . . . . . . . . 1.3.1 Bazele teoretice ale regulilor de productie . . . . . 1.3.2 Reguli de productie folosite problema clasicrii n a 1.4 Arbori de decizie . . . . . . . . . . . . . . . . . . . . . . . 1.4.1 Bazele teoretice ale arborilor de decizie . . . . . . 1.4.2 Algoritmi pentru constructia arborilor de decizie . 1.5 Tabele de decizie . . . . . . . . . . . . . . . . . . . . . . . 1.6 Extensii ale modelelor clasice . . . . . . . . . . . . . . . . 1.6.1 Extensii pentru arborii de decizie . . . . . . . . . . 1.6.2 Extensii pentru tabelele de decizie . . . . . . . . . 1.7 Concluzii . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 11 13 17 17 20 22 22 24 28 29 33 38 41 41 46 49

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

2 Echivalenta reprezentrilor a 2.1 Regiunea de experient . . . . . . . . . . . . . . . . . . . . . . . . . a 2.1.1 Caracterizarea regiunii de experient . . . . . . . . . . . . . . a 2.1.2 Descoperirea regulilor de asociere . . . . . . . . . . . . . . . . 2.1.3 Algoritmi secventiali pentru descoperirea regulilor de asociere 2.1.4 Exemplu de generare a PFD folosind regulile de asociere . . . 2.2 Echivalenta reprezentrilor regiunea de experient . . . . . . . . . a n a 2.3 Selectarea atributului de separare . . . . . . . . . . . . . . . . . . . . 2.3.1 Msura Voting . . . . . . . . . . . . . . . . . . . . . . . . . . a 2.3.2 Agregarea tabelei de incident din seturi mari de date . . . . a 2.4 Reducerea arborilor de decizie . . . . . . . . . . . . . . . . . . . . . . 2.5 Concluzii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

51 . . . . . . . 51 . . . . . . . 53 . . . . . . . 60 . . . . . . . 63 . . . . . . . 67 . . . . . . . 69 . . . . . . . 73 . . . . . . . 77 . . . . . . . 78 . . . . . . . 82 . . . . . . . 83

3 Mediu pentru dezvoltarea sistemelor bazate pe cunotinte s 3.1 Motivatie, scop i istoric . . . . . . . . . . . . . . . . . . . . . s 3.2 Arhitectura sistemului i descrierea modulelor componente . . s 3.3 Editoarele bazei de cunotinte . . . . . . . . . . . . . . . . . . s 3.4 Integrarea bazei de cunotinte sistemul bazat pe cunotinte s n s 3.5 Achizitia cunotintelor . . . . . . . . . . . . . . . . . . . . . . s 3.6 Gestionarea versiunilor . . . . . . . . . . . . . . . . . . . . . . 3.7 Comunicarea cu bazele de date relationale . . . . . . . . . . . 3.7.1 Descrierea detaliat a modulelor subsistemului KBDB a 3.7.2 Functionarea KBDB . . . . . . . . . . . . . . . . . . . 3.8 Generarea documentatiei interne . . . . . . . . . . . . . . . . 3.9 Metodologia dezvoltrii sistemelor cu Expert System Creator a 3.10 Concluzii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Platform multi-agent pentru descoperirea cunotintelor a s 4.1 Introducere . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2 Analiza i proiectarea sistemului . . . . . . . . . . . . . . . s 4.2.1 Analiza sistemului . . . . . . . . . . . . . . . . . . . 4.2.2 Proiectarea sistemului . . . . . . . . . . . . . . . . . 4.2.3 Ontologia KDD . . . . . . . . . . . . . . . . . . . . . 4.2.4 Detalii despre implementarea agentilor . . . . . . . . 4.3 Evaluarea calitii sistemelor bazate pe cunotinte . . . . . at s 4.3.1 Calitatea modelelor de cunotinte . . . . . . . . . . . s 4.4 Studiu de caz: CoverType . . . . . . . . . . . . . . . . . . . 4.5 Concluzii . . . . . . . . . . . . . . . . . . . . . . . . . . . . A Generarea automat a documentelor juridice a A.1 Introducere . . . . . . . . . . . . . . . . . . . . . . A.2 Analiza problemei . . . . . . . . . . . . . . . . . . A.3 Achizitia cunotintelor specice domeniului . . . . s A.4 Proiectarea i implementarea sistemului . . . . . . s A.5 Vericarea, validarea i evaluarea sistemului . . . . s A.5.1 Vericarea sistemului . . . . . . . . . . . . . A.5.2 Validarea sistemului . . . . . . . . . . . . . A.5.3 Evaluarea sistemului . . . . . . . . . . . . . A.6 Documentarea sistemului . . . . . . . . . . . . . . A.7 Intretinerea, exploatarea i actualizarea sistemului s A.8 Concluzii . . . . . . . . . . . . . . . . . . . . . . . B Detalierea ontologiei KDD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

85 85 88 90 97 100 101 104 106 108 109 112 112 115 116 120 121 124 129 131 138 143 146 148 149 149 151 152 153 156 157 157 158 159 159 160 163

Lista tabelelor1.1 1.2 1.3 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 4.1 4.2 4.3 4.4 4.5 4.6 Modele de reprezentare a cunotintelor . . . . . . . . . . . . . . . . . . . . . . . . s Tipuri de reguli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Forma general a tabelei de decizie . . . . . . . . . . . . . . . . . . . . . . . . . . a Regulile de asociere extrase din setul de antrenament pentru Garvan ES1 Matricea pentru determinarea K1 . . . . . . . . . . . . . . . . . . . . . . Algoritmi pentru descoperirea regulilor de asociere . . . . . . . . . . . . . Tabela de incident . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . a Tabela de incident i valorile msurilor pentru atributul Nivel debit . . . a s a Selectia atributului de separare . . . . . . . . . . . . . . . . . . . . . . . . Tabela de incident pentru atributul Regiune . . . . . . . . . . . . . . . . a Algoritmi de reducere a arborilor de decizie . . . . . . . . . . . . . . . . . Tabela capabilitilor . . . . . . . . . . . . . . . . at Tabela de interactiuni pentru agentul expert . . . Matricea de calitate pentru baza de cunotinte . s Matricea de calitate pentru modulul de inferent a Matricea de calitate pentru modelul task . . . . . Estimarea calitii modelelor . . . . . . . . . . . at . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 23 39 59 60 68 74 76 76 80 83 125 126 142 142 142 147

A.1 Reprezentarea cunotintelor faza de achizitie . . . . . . . . . . . . . . . . . . . 153 s n

5

Lista gurilor1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 1.10 2.1 2.2 2.3 2.4 2.5 2.6 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 4.1 4.2 4.3 4.4 Ierarhia cunotintelor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . s Date de antrenament i setul de reguli de productie corespunztor . . . . . . s a Graf de dependent extins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . a Exemplu de arbore de decizie . . . . . . . . . . . . . . . . . . . . . . . . . . . Metoda lui Hunt a) Arbori de decizie binari b) Arbori de decizie multi-ci . . a Ilustrarea structurii arborelui de decizie spatiul de valori . . . . . . . . . . n Tabela de decizie ( form orizontal ) . . . . . . . . . . . . . . . . . . . . . n a a Tabela de decizie ( form vertical) . . . . . . . . . . . . . . . . . . . . . . . n a a Reducerea unui subarbore (a) arborele original (b) arborele urma reducerii n Exemplu de tabel de decizie extins ( Expert System Creator) . . . . . . . a a n . . . . . . . . . . . . . . . . . . . . 18 25 26 29 32 34 39 40 43 47 57 62 63 63 78 79 89 91 93 95 96 99 101 104 106 110 111 122 123 123 127

Constructia PFD-urilor folosind descoperirea regulilor de asociere . . . . . . . . . (a) Baza de date (b) Seturile frecvente de articole cu un suport minim de 50% (c) Regulile de asociere (minconf=100%) . . . . . . . . . . . . . . . . . . . . . . . . . (a) Laticea seturilor de articole (b) Dispunerile orizontal i vertical . . . . . . . as a Generarea regulilor de asociere . . . . . . . . . . . . . . . . . . . . . . . . . . . . Metoda Voting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Rezultate experimentale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Arhitectura Expert System Creator . . . . . . Editorul de reguli de productie . . . . . . . . Editorul de tabele de decizie . . . . . . . . . . Editorul de arbori de decizie . . . . . . . . . . Desenarea bazat pe informatie ESC . . . a n Gestionarul de dic