Promemoria sul concetto di Rete e sue Analogie Prof. Alessandro Burgognoni Docente di Reti Neurali...
-
Upload
bice-nicolosi -
Category
Documents
-
view
223 -
download
2
Transcript of Promemoria sul concetto di Rete e sue Analogie Prof. Alessandro Burgognoni Docente di Reti Neurali...
Promemoria sul concetto di Rete e sue Analogie
Prof. Alessandro Burgognoni
Docente di Reti Neurali Fondazione J.Von Neumann
Roma
La rete La rete ha da sempre attraversato la nostra storia.Dalle realizzazioni più semplici e utili nella vita quotidiana alle più complesse forme di astrazione.
La prima astrazione formalizzataLa prima formalizzazione di una rete astratta è riconducibile al matematico Leonhard Euler ed al problema dei ponti di Königsberg.
Il problema si presenta per Euler sotto forma di un “grafo” cioè una serie di punti (nodi/vertici) uniti da linee che definiamo archi.
La prima astrazione del neurone
La prima forma di astrazione, a partire dal neurone biologico, nella direzione del neurone artificiale si deve a Pitts e McCulloch che nel 1943 si ispirarono per il loro modello a quanto descritto e analizzato da Alan M. Turing nel suo “On Computable Numbers”
Un po' di storiaSTORIA DEL CONNESSIONISMO
Anni Trenta: Norbert Wiener fonda la Cibernetica, ispirandosi alle analogie tra sistemi naturali e sistemi Artificiali.
Un po' di storiaSTORIA DEL CONNESSIONISMO
1943: McCulloch e Pitts (University of Chicago) propongono un primo modello matematico di neurone artificiale (combinatore lineare a soglia) e la connessione di un gran numero di queste unità in reti neuronali nel loro documento “A logical calculus of ideas imminent in nervous activity”
Un po' di storiaSTORIA DEL CONNESSIONISMO
1943: McCulloch e Pitts (University of Chicago) descrivono il loro modello matematico di rete neuronale artificiale come costituita da N neuroni <i> interconnessi in cui ognuno dei componenti ha le seguenti caratteristiche:
E' dotato di una soglia di eccitazione θi
Ad un determinato istante t si trova in un certo stato si(t)
Può essere eccitato da altri neuroni <j> ai quali risulta connesso con intensità pari al peso sinaptico w
ij
Un po' di storiaSTORIA DEL CONNESSIONISMO
1949: D.O. Hebb (McGill University, Montreal) propone come meccanismo di apprendimento delle reti neuronali la modifica delle connessioni tra i neuroni (pesi sinaptici) secondo la regola di aumentare il peso della connessione tra due neuroni se questi sono, per più volte di seguito, contemporaneamente attivi o inattivi;
Un po' di storiaSTORIA DEL CONNESSIONISMO
1958: F. Rosenblatt (Cornell University) propone la macchina Perceptron (ADAline) per il riconoscimento e la classificazione di forme (Patterns);
Un po' di storiaSTORIA DEL CONNESSIONISMO
1969: M. Minsky e S. Papert (MIT) dimostrano che il Perceptron non può risolvere molte classi di problemi (tutti quelli linearmente non separabili) e bloccano di fatto per venti anni gli ulteriori sviluppi del connessionismo in favore del paradigma simbolico;
Un po' di storia
STORIA DEL CONNESSIONISMO
1982: J.J. Hopfield (CalTech) propone un nuovo modello di rete neuronali a connessione totale, adatto sia alla realizzazione di memore associative, sia alla risoluzione di problemi di ottimizzazione combinatoria, sia alla modellazione di sistemi complessi fisici e biologici;
Un po' di storiaSTORIA DEL CONNESSIONISMO
1985: D.E. Rumelhart, G. Hinton e R.J. Williams propongono un potente algoritmo di apprendimento a retropropagazione dell’errore (EBP, Error Back Propagation) che consente di superare le limitazioni del Perceptron e rilancia, le prospettive per le reti neuronali e il connessionismo contribuendo al fiorire di un grande numero di applicazioni commerciali. Nel 1971 la teoria era stata già in qualche modo anticipata da una tesi di dottorato resa nota solo in tempi successivi.
Anni ‘80 - La svolta
STORIA DEL CONNESSIONISMO
In sintesi negli anni '80 nell’evoluzione delle reti artificiali:
Rumelhart con il modello EBP supera le limitazioni dei primi modelli di rete
Kohonen le formalizza in maniera rigorosa
Hopfield ne definisce le proprietà fisiche
Grossberg realizza importanti applicazioni
Settori di Applicazione
Non ha senso impiegare le reti neurali dove i computer sono eccellenti (calcoli, basi di dati, word-processing, etc.)
E’ opportuno adottarle invece dove i computer falliscono
Dove le informazioni da trattare risultano:
Incomplete Contraddittorie Imprecise Distorte Vaghe
Dove manca un algoritmo adeguato (apprendimento)
Dove il processo trattato richiede parallelismo e/o velocità
Settori di Applicazione
Ottimizzazione combinatoria e Graph Partitioning;
Metodologie di revisione;
Visione artificiale e riconoscimento;
Riconoscimento Vocale;
Linguaggio naturale;
Robotica e veicoli autonomi;
Controllo di processo;
Antivirus e Videogiochi;
Settori di Applicazione
Riconoscimento/classificazione di immagini, testi, voce, segnali, patterns;
Filtri di rumore su segnali;
Sintesi del parlato;
Pianificazione/Ottimizzazione;
Controllo di processo e di qualità;
Supporto alle decisioni;
Analisi finanziaria;
Diagnostica medica e industriale;
Previsioni meteorologiche;
Compressione/trasmissione di dati.
Una analogia esplicita tra la rete e il reticolo atomico
In seguito al lavoro di Hebb, la proposta più stimolante sulle proprietà degli insiemi di neuroni fu quella di B.G. Cragg e H.N.V. Temperley descritta in un articolo del 1954 intitolato “The organisation of neurons: a cooperative analogy.”
Rif. CRAGG, B.G., TEMPERLEY, H.N.V. (1954) “The organisation of neurons: a cooperative analogy.” EEG Clin. Neurophysiol., 6, 85-92.
Una analogia esplicita tra la rete e il reticolo atomico
Essi notarono che, proprio come i neuronipossono essere attivati (emettendo potenziali d'azione) o quiescenti (a riposo), così gli atomiappartenenti a un certo insieme, o reticolo,
possono trovarsi in uno di due stati energetici (per esempio, con lo spin verso l'alto o verso il
basso).
Una analogia esplicita tra la rete e il reticolo atomico
Inoltre, proprio come i neuroni si eccitano o si inibiscono reciprocamente, così un atomo esercita sui suoi vicini forze di tipo magnetico, che tendono a orientare gli altri spin nella stessa direzione, oppure nella direzione opposta.
Una analogia esplicita tra la rete e il reticolo atomico
Quindi le proprietà dei neuroni in una reteQuindi le proprietà dei neuroni in una rete
densamente connessa dovrebbero esseredensamente connessa dovrebbero essere
analoghe a quelle degli atomi in un reticolo. analoghe a quelle degli atomi in un reticolo.
Una prospettiva scientifica
“Possiamo scrutare in avanti solo a breve distanza, ma possiamo vedere che lì è pieno di cose da fare.”
A.M. Turing
Fine
Grazie per la Vs. Attenzione