Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del...

41
“Come vede una rete neurale” Titolo della tesi

Transcript of Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del...

Page 1: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

“Come vede una rete neurale”

Titolo della tesi

Page 2: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Scopo della tesi:

simulare alcune proprietà del sistema visivo dei mammiferi attraverso l’utilizzo di una rete neurale

Page 3: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Che cosa verrà simulato?

• Immagini in bianco e nero(livelli di luminanza)

• Composizione spettrale del segnale

• Simulazione prevalentemente atemporale

• Complesse dinamiche neurali

• Trasformazioni in 2D

• Feed-back intermodale • Interazioni a feed-back con l’ambiente esterno

• Trasformazioni in 3D

E molto altro ancora….

Page 4: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Reti neurali

Rete di neuroni biologici

Rete neuraleartificiale

Sistemi nervosi artificiali che traggono ispirazione dai modelli biologici

Page 5: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Neurone

Neurone biologico Neurone artificiale

X1 X2 X3

F(Att.)

output

input

Page 6: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Vantaggi delle reti neurali• Plausibilità biologica

• Capacità di apprendere• Adattabilità: sono applicabili a più domini

(come i sistemi biologici)

• Veloci: processi in parallelo

• Robusti: errori e rumore degradano progressivamente la prestazione

• Rappresentazioni distribuite

• Possibilità di eseguire manipolazioni• Somiglianza fra prestazioni umane e modelli

Page 7: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Il modello

Tentativo di conciliare due diverse visioni del rapporto mente-cervello

NeuroscienzeOsservazioni psicologia sperimentale(percezione)

dialogo

Page 8: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Strutture anatomiche simulate

Parziale implementazione di• Strutture retiniche• NGL• V1• Aree associative• Sistema motivazionale

Page 9: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Caratteristiche funzionali simulate

• Elaborazione precoce dell’immagine visiva

• Eliminazione del rumore

• Estrazione delle variazioni di luminanza

• Prime fasi di elaborazione corticale (V1)

• Ricostruzione dell’immagine

• Livello associativo

• Rinforzo

• Attenzione selettiva

Page 10: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Schema generale della rete:

Totale di5.176 neuroniartificialie 528.439connessioni

Implementazione:Visual Basic

Page 11: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Primo strato: recettori

(istantanee del programma)

Matrice dei

recettori:20 x 20

400recettori

Livello diattivazione

Page 12: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Processo di smoothingLivellamento del rumore dell’immagine originaria

Immagine + rumore

Immagine percepita(depurata dal rumore)

Page 13: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Eliminazione del rumore: recettori

Prima dell’applicazione del filtro Dopo l’applicazione del filtro

Page 14: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Che cosa accade al segnale?

Page 15: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Estrazione delle variazioni di luminanzaLe caratteristiche importanti dell’immaginesono racchiuse nelle variazioni di luminanza(spesso coincidenti con i bordi degli oggetti)

Necessità di introdurre un ulteriore strato di unitàla cui struttura riassume le funzioni

delle cellule bipolari, gangliari e del NGL

INTERMEDIE

Page 16: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Connessioni recettori center-ON e center-OFF

Struttura del campo recettivodelle center-ON e center-OFF

Elaborazione in parallelo

Page 17: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Proprietà funzionali center-ON e center-OFF

1 2 3 4 5

S10

1

2

3

Att

Stimolo

Risposta di una center-ON in funzione della posizione dellostimolo luminoso

Page 18: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Simulazioni intermedie

Page 19: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Simulazioni intermedie

Page 20: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Prime fasi di elaborazione corticale (V1)Campo recettivo concentrico

Organizzazione modulare V1

Campo recettivo più complesso

Page 21: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Modello: unità semplici SI ed SII

• Salto concettuale rispetto alle intermedie• Nuova classe di unità con CR allungato: necessità di elaborare proprietà complesse dell’immagine, non solo grandezze puntiformi• Semplificazione della circuiteria corticale: solo due classi di unità semplici, SI ed SII

• Estrazione di contorni dell’immagine• Sensibilità alle frequenze spaziali• Sensibilità alla direzione del contrasto

Che cosa chiediamo a queste unità?

Page 22: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Unità SI

6 classi di unità2166 unità

Page 23: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Unità SII

8 classi di unità1800 unità

• Simulazione della presenza di un set completo di cellule semplici per orientamento e frequenza spaziale

Page 24: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Feed-Back

Page 25: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Competizione locale

• Meccanismo di controllo della dinamica della rete

• In una data popolazione di unità con funzioni simili solo l’unità più attiva trasmette il proprio output

1020

15

20

10

5

Page 26: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Simulazioni SI

Recettori

Intermedie

Camporecettivo

Scala attivazione

Page 27: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Simulazioni SII

Dopo la competizione locale

Page 28: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Effetto del Feed-Back

Prima

Dopo

Page 29: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Esempi 1

Page 30: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Esempi 2

Page 31: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Esempi 3

Page 32: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Obiettivi raggiunti

• Estrazione delle caratteristiche dell’immagine attraverso l’interazione fra più stadi: ciò che viene perso in uno stadio è recuperato dal feed-back di quello successivo

• Ricostruzione dei valori di luminanza

• Migliore prestazione per stimoli con alta simmetria e periodicità (similmente al SV umano)

• Riproduzione di alcuni fenomeni percettivi: bande di Mach, contrasto simultaneo, facilità nell’elabora_ zione di immagini simmetriche e periodiche

Page 33: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Ultimi stadi

• reagisca a delle semplici procedure di condizionamento

• modifichi le proprie prestazioni nel tempo: apprendimento

• relazione fra ambiente esterno ed interno (necessità dell’organismo)

• esibisca un processo di attenzione selettiva nei confronti degli stimoli che ha appreso essere più importanti: target e distrattori

Page 34: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Architettura• Unità capaci di apprendere

• Unità che codificano per rinforzi - e +

Unitàassociative

Unitàrinforzanti

Neuroni artificiali che codificano per stati “endogeni” della rete (piacere-dolore)

Page 35: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Unità associative• 12 unità

• Interamente interconnesse + connessioni da tutte SI + feed-back da SI

• Capaci di apprendimento

• Implementano una simu_ lazione di corteccia associativa

Convergenza di segnali visivi e motivazionali e capacità di apprendere

Page 36: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Unità rinforzanti• Interamente connesse con le associative

• Paia di unità che codificano per polarità opposte dello stimolo (simili a neur. ipotalamo e neur. facilitatori di Aplysya)

• “Leggono” l’input motivazionale e generano un feed-back verso le associative: se le unità entrano in uno stato di risonanza, allora c’è apprendimento

• 4 unità divise in due coppie

Page 37: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

BA

C

A B

Apprendimento

Rafforzamento

Indebolimento

Prima dell’apprendimento Dopo l’apprendimento

Sensibilità

unità adiversi stimoli

Page 38: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Simulazione finale: apprendimento ed attenzione selettiva

Page 39: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Conclusioni• A differenza di altri modelli, questa rete integra gli stadi precoci di elaborazione sensoriale con i meccanismi di controllo superiori • Viene fornita una spiegazione computazionale del perché sia richiesta l’inibizione come meccanismo di controllo delle dinamiche neurali

• Una probabile spiegazione della preferenza nella percezione e nelle creazione di stimoli simmetrici e periodici può essere ricercata nella struttura delle SI ed SII • L’inibizione dei distrattori non è completa: questi forniscono ancora informazioni contestuali

Page 40: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

• Più alto è il livello dell’input motivazionale, maggiore è l’inibizione di ciò che circonda i distrattori. Una rete animata da passione?…...

• Fornisce una metodologia per passare dal livello microscopico della circuiteria neurale a quello macroscopico del comportamento

• Tutto ciò è stato fatto con neuroni artificiali molto “stupidi”: quanto più semplici le unità, tanto migliore l’architettura a parità di prestazioni

Page 41: Come vede una rete neurale Titolo della tesi. Scopo della tesi: simulare alcune proprietà del sistema visivo dei mammiferi attraverso lutilizzo di una.

Fine