Dinamica di una rete neurale a tempo discretoneuro.fi.isc.cnr.it/uploads/TALKS/Tesi...

Università degli Studi di Firenze

Facoltà di Scienze Matematiche, Fisiche e Naturali

TESI DI LAUREA SPECIALISTICA IN FISICA

Dinamica di una rete neurale a tempo discreto

Relatore: Prof. Antonio Politi

Laureando: Gianbiagio Curato

Anno Accademico 2009/2010

Indice

Introduzione i

1 Neuroni e modelli di reti neurali 1

1.1 Elementi di neuro�siologia . . . . . . . . . . . . . . . . . . . . . . 2

1.1.1 Struttura del neurone e delle sinapsi . . . . . . . . . . . . 2

1.1.2 Dinamica di neuroni e sinapsi . . . . . . . . . . . . . . . . 4

1.1.3 Il problema della codi�ca neurale . . . . . . . . . . . . . . 5

1.2 Modelli di reti neurali . . . . . . . . . . . . . . . . . . . . . . . . 7

1.2.1 Modello di Hodgkin-Huxley . . . . . . . . . . . . . . . . . 7

1.2.2 Modello leaky integrate-and-�re . . . . . . . . . . . . . . . 9

1.2.3 Modello di tasso di attività a stati continui . . . . . . . . . 11

1.2.4 Modello a stati binari . . . . . . . . . . . . . . . . . . . . . 13

2 Reti neurali simmetriche 17

2.1 Equazioni stocastiche e modello di Ising . . . . . . . . . . . . . . 18

2.1.1 Equazioni stocastiche ed ergodicità . . . . . . . . . . . . . 18

2.1.2 Dinamica asincrona stocastica . . . . . . . . . . . . . . . . 21

2.1.3 Il modello di Ising e la dinamica di Glauber . . . . . . . . 22

2.2 Energia libera e dinamica di rilassamento . . . . . . . . . . . . . . 26

2.2.1 Energia libera dinamica e di equilibrio . . . . . . . . . . . 26

2.2.2 Il modello di Hop�eld . . . . . . . . . . . . . . . . . . . . . 27

3 Reti neurali asimmetriche 30

3.1 Modello a tempo continuo . . . . . . . . . . . . . . . . . . . . . . 31

3.2 Modello a tempo discreto . . . . . . . . . . . . . . . . . . . . . . . 38

3.2.1 Teoria dinamica di campo medio . . . . . . . . . . . . . . 40

I

INDICE II

3.2.2 Analisi di stabilità dei punti �ssi . . . . . . . . . . . . . . 47

4 Dinamica di un modello a tempo discreto 51

4.1 Dinamica di campo medio . . . . . . . . . . . . . . . . . . . . . . 53

4.2 Attività della rete . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

4.3 Mappa di campo medio 2D . . . . . . . . . . . . . . . . . . . . . . 74

4.4 Spettri di Lyapunov . . . . . . . . . . . . . . . . . . . . . . . . . 78

4.4.1 Esponente massimo . . . . . . . . . . . . . . . . . . . . . . 81

4.4.2 Disordine congelato . . . . . . . . . . . . . . . . . . . . . . 87

4.4.3 Disordine generato dinamicamente . . . . . . . . . . . . . 95

4.5 Caos estensivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

4.5.1 Dimensione di Kaplan-Yorke . . . . . . . . . . . . . . . . . 100

Conclusioni 103

Bibliogra�a 106

Ringraziamenti 109

Introduzione

Il presente lavoro di tesi rientra nell'ambito di un'ampia attività di ricerca,

che ha visto, negli ultimi anni, un numero crescente di �sici orientarsi verso

problematiche che un tempo erano dominio di biologi, biochimici o �siologi. In

particolare, a partire dagli studi pionieristici di A.L.Hodgkin e A.F.Huxley sulla

�siologia del neurone, per i quali ottennero il premio Nobel nel 1963, si è avuto

un trasferimento continuo ed una sempre più vasta applicazione di metodologie

propriamente �siche e matematiche al campo delle neuroscienze. Questo ha

portato alla realizzazione di analisi sempre più accurate delle proprietà strutturali

e dinamiche sia dei singoli neuroni che di reti neurali, presenti in varie aree del

cervello.

L'obiettivo del lavoro di tesi è l'analisi e la caratterizzazione della dinami-

ca collettiva e microscopica di un modello di rete neurale a tempo discreto. In

particolare, intendiamo caratterizzare la dinamica microscopica identi�cando gli

attrattori e il loro grado di caoticità. Inoltre, siamo interessati alla ricerca di

regimi dinamici collettivi non banali. Lo stato della rete viene descritto dall'at-

tività dei singoli neuroni. In base a questa descrizione, il modello appartiene alla

categoria dei modelli di tasso di attività, che sono de�niti da quantità mediate

nel tempo. Ci avvarremo, quindi, di metodologie proprie dei sistemi dinamici per

investigare questo modello non lineare di rete neurale, che contiene del disordine

nella distribuzione delle connessioni.

Il primo capitolo è dedicato alla presentazione dei concetti di base della neu-

ro�siologia e ad una breve panoramica dei possibili modelli di rete neurale. I

concetti di base di neuro�siologia riguardano una breve descrizione della struttu-

ra e della dinamica del neurone e delle sinapsi. Tali informazioni sono essenziali

al �ne della realizzazione di un modello matematico che descriva una rete neu-

rale. Trattiamo, inoltre, brevemente il problema della codi�ca neurale. Il quale

i

Introduzione ii

induce la presenza di due tipi di modelli di rete neurale: i modelli di tasso di

attività e i modelli ad impulsi. Successivamente presentiamo alcuni modelli di

rete, che si basano su uno speci�co modello di singolo neurone. I modelli sono

ordinati in modo che la schematizzazione di singolo neurone utilizzata diventi via

via più sempli�cata.

Nel secondo capitolo illustriamo come sia possibile, nel caso di modelli in cui

lo stato del neurone sia descritto da variabili binarie, utilizzare la meccanica sta-

tistica di equilibrio per caratterizzare lo stato asintotico della rete. I modelli di

rete a stati binari sono stati sviluppati negli anni '80 come una generalizzazione

dei modelli ferromagnetici. I modelli più recenti sono, invece, quelli ad impulsi.

Nonostante questo, il presente lavoro di tesi ha come origine proprio questo tipo

di modelli a stati binari. Una caratteristica importante è che tali modelli sono

de�niti utilizzando matrici delle connessioni sinaptiche simmetriche. In questo

modo è possibile utilizzare tutto il bagaglio di conoscenze proprio della mecca-

nica statistica di equilibrio. Si può utilizzare l'energia libera per caratterizzare

lo stato di equilibrio della rete. Questa tecnica è e�cace nell'individuare i punti

�ssi della rete. A tal �ne abbiamo illustrato brevemente il modello di Hop�eld,

che rappresenta un modello di memoria associativa. I punti �ssi possono, infatti,

essere interpretati come memorie immagazzinate nella rete. Il modello che stu-

diamo nella tesi, invece, è de�nito da una matrice delle connessioni sinaptiche

senza alcuna simmetria. L'ipotesi di assenza di simmetrie deriva dall'osservazio-

ne delle reti biologiche, in cui si ha asimmetria nella comunicazione tra i neuroni.

Questa asimmetria ci costringe ad abbandonare gli strumenti di analisi della

meccanica statistica. In questo caso vengono utilizzati i metodi della teoria dei

sistemi dinamici.

Nel terzo capitolo presentiamo due modelli, che si basano su una matrice delle

connessioni priva di simmetria. Il primo modello, dovuto a Sompolinsky et al., è il

progenitore di questa famiglia di modelli di rete de�niti da matrici asimmetriche.

I neuroni sono de�niti da variabili continue e l'evoluzione temporale è de�nita da

un sistema di equazioni di�erenziali. In tale modello si introduce un disordine,

dovuto al fatto che la matrice delle connessioni sinaptiche è una matrice casuale,

de�nita da un pre�ssata distribuzione di probabilità. Il secondo modello presen-

tato, dovuto a Cessac et al., è l'oggetto di analisi della tesi. Esso rappresenta

una versione a tempo discreto del modello precedente. In questo modo si passa

Introduzione iii

da un modello descritto da equazioni di�erenziali ad un modello basato su un

mappa, in cui l'evoluzione temporale avviene a tempo discreto. Questo porta ad

una sempli�cazione per quanto riguarda l'analisi numerica del sistema. Viene

introdotta una nuova variabile che rappresenta la soglia di potenziale della mem-

brana neuronale, tale variabile era assente nel modello precedente. Le variabili di

soglia sono descritte nel modello come variabili aleatorie. Presentiamo i risultati

analitici ottenuti nel quadro della teoria dinamica di campo medio, che è stata

sviluppata per questo sistema. Tale teoria permette di studiare gli attrattori del

sistema nel limite termodinamico, considerando anche il carattere aleatorio della

matrice delle connessioni e delle variabili di soglia. I risultati analitici si basano

fondamentalmente sull'analisi di una mappa bidimensionale. Tale teoria è fonda-

ta su alcune ipotesi di scorrelazione, che sono state solo parzialmente veri�cate

precedentemente.

Il quarto capitolo è dedicato ad un'analisi numerica della rete, e�ettuata per

mezzo di simulazioni nei vari regimi dinamici. Tali studi hanno come obietti-

vo la caratterizzazione della dinamica collettiva e microscopica della rete. In

questo modo è possibile anche veri�care le previsioni della teoria di campo me-

dio. Abbiamo e�ettuato simulazioni per valori crescenti della taglia e dal loro

andamento abbiamo estrapolato il comportamento del sistema nel limite termo-

dinamico. Una prima analisi ha riguardato lo studio della dinamica di campo

medio, al �ne di caratterizzare gli attrattori della dinamica collettiva della rete.

Questo studio si è basato sulla determinazione delle �uttuazioni temporali della

variabile di campo medio. Una seconda analisi è stata condotta per studiare la

struttura della rete indotta dalla dinamica. Bisogna ricordare che il sistema stu-

diato non ha un ordinamento delle variabili, come ad esempio può essere quello

presente in un modello come quello di Ising. Abbiamo caratterizzato i singoli

neuroni in base alla loro attività media nel tempo, studiando come e quanto essa

vari al variare del parametro di controllo. Tale analisi è stata condotta utilizzan-

do varie realizzazioni della matrice delle connessioni. Successivamente abbiamo

studiato la dinamica di campo medio prevista dalla teoria nel caso di una mappa

bidimensionale, al �ne di determinare comportamenti collettivi caratteristici. In

studi precedenti è stato indagato unicamente il caso sempli�cato della mappa

unidimensionale. In�ne abbiamo condotto una analisi basata sullo studio degli

spettri di Lyapunov del sistema, che permette una descrizione quantitativa dei

Introduzione iv

vari attrattori. Prima abbiamo studiato l'esponente di Lyapunov massimo del

sistema al variare del parametro di controllo, �ssando gli altri parametri che

de�niscono la dinamica. Questo ci ha permesso di determinare il tipo di attrat-

tore. Dopo abbiamo determinato gli spettri, in un regime caotico, utilizzando

due tipi diversi di disordine: quello congelato e quello generato dinamicamente.

Il secondo tipo di disordine rappresenta, in e�etti, una modi�ca nella de�nizione

della dinamica del modello, che era stato de�nito con disordine congelato. Nel

primo caso abbiamo studiato la convergenza dello spettro medio e l'andamento

delle �uttuazioni al crescere della taglia. Le �uttuazioni sono dovute alle varie

realizzazioni della matrice delle connessioni. In questo modo è possibile veri�care

l'eventuale presenza di proprietà di automedia. Nel secondo caso otteniamo un

solo spettro per un �ssato valore della taglia, dato che la matrice delle connessio-

ni cambia ad ogni passo di iterazione della mappa. Anche per questo disordine

abbiamo studiato la convergenza dello spettro all'aumentare della taglia, al �ne

di estrarre lo spettro nel limite termodinamico. Il caso di disordine dinamico

può essere usato in modo da veri�care indirettamante le ipotesi su cui si basa

il campo medio. Abbiamo basato questa veri�ca sull'analisi del confronto degli

spettri ottenuti nei due casi. La struttura dei due tipi di spettro ha, inoltre,

evidenziato che il sistema possiede la proprietà di caos estensivo. Tale proprietà

è stata ulteriormente analizzata studiando le proprietà di scala della dimensione

di Kaplan-Yorke dell'attrattore caotico del sistema.

Capitolo 1

Neuroni e modelli di reti neurali

I neuroni sono cellule altamente specializzate che si distinguono dalle altre

per la loro abilità nel far propagare segnali elettrici su grandi distanze. In que-

sto capitolo si introducono alcuni concetti basilari relativi alla neuro�siologia del

neurone, concentrandoci su due aspetti: la sua morfologia e la modalità di tra-

smissione dei segnali elettrici. Caratteristiche morfologiche salienti del neurone

sono i dendriti, che ricevono i segnali provenienti dagli altri neuroni, e l'assone,

che porta il segnale in uscita dal neurone verso le altre cellule.

Dedichiamo, inoltre, alcuni brevi cenni alla codi�ca neurale, che a�ronta il

problema di come l'informazione sia codi�cata all'interno dei segnali elettrici

scambiati dai neuroni. A seconda della modalità con cui questo problema viene

a�rontato, vengono introdotti due tipi di modelli di rete neurale: modelli ad

impulsi e modelli di tasso di attività (il modello da noi studiato appartiene alla

famiglia dei modelli di tasso di attività).

Prima di tutto, vengono illustrati alcuni modelli di singolo neurone e di re-

ti, in modo da inquadrare in un contesto più generale il sistema studiato nella

tesi. Più precisamente, introduciamo brevemente il modello di Hodgkin-Huxley,

che descrive abbastanza realisticamente la dinamica del neurone singolo. Suc-

cessivamente si illustrano alcuni modelli di singolo neurone più sempli�cati e il

corrispondente modello di rete. Fra l'altro, introduciamo il modello di neuro-

ne leaky integrate-and-�re, che descrive la dinamica del potenziale di membrana.

Tale modello viene utilizzato per de�nire un'esempio di rete ad impulsi. I modelli

di tasso di attività vengono illustrati attraverso due esempi, uno a stati continui

1

Elementi di neuro�siologia 2

ed uno a stati discreti. In questi modelli la dinamica del potenziale di membrana

dei singoli neuroni si riduce ad una dinamica di rilassamento. Il modello descritto

nella tesi si basa, appunto, su una rete a stati continui, in cui l'attività de�nisce

lo stato del singolo neurone.

1.1 Elementi di neuro�siologia

1.1.1 Struttura del neurone e delle sinapsi

Il nostro obiettivo è la costruzione di un modello matematico di una rete

neurale, dunque è necessario conoscere una descrizione qualitativa della struttura

di una rete neurale biologica. Le reti neurali biologiche sono caratterizzate dal

fatto che i neuroni scambiano fra loro segnali elettrici. Gli elementi di base sono

i neuroni e le sinapsi. Esiste una grande varietà di tipi di neuroni appartenenti

al sistema nervoso umano; le di�erenze sono sia morfologiche che funzionali. Il

neurone ha una struttura composta da tre parti principali: l'albero dendritico, il

soma e l'assone. L'albero dendritico è la struttura che riceve i segnali dagli altri

neuroni, il soma li elabora e l'assone trasmette il segnale prodotto dal singolo

neurone. Un'immagine al microscopio di un neurone è mostrata in �gura 1.1.

Per quanto riguarda le dimensioni, il soma, ad esempio, può avere dimensioni

comprese tra i 4 e 100µm.

Figura 1.1: Immagine al microscopio di un neurone. La scala indica una lunghezza pari a

10µm.

I neuroni comunicano attraverso le sinapsi, particolari strutture che permet-

tono lo scambio del segnale elettrico tra i neuroni. Tale segnale è composto da


una sequenza di impulsi elettrici. Normalmente ogni neurone pre-sinaptico ha un

unico assone, il quale si rami�ca, nel suo tratto �nale, al �ne di comunicare con

i neuroni post-sinaptici. La struttura della sinapsi è costituita dalla connessione

tra una delle rami�cazioni terminali dell'assone e da una parte di dendrite del

neurone post-sinaptico, come illustrato in �gura 1.2. In alcuni casi la connessione

può essere localizzata sul soma del neurone post-sinaptico.

Il dato anatomico più importante è che il singolo neurone può formare �no a

104 connessioni sinaptiche con gli assoni dei neuroni pre-sinaptici. A sua volta

l'assone di ogni neurone si dirama, in modo da formare quasi lo stesso numero di

connessioni con i dendriti dei neuroni post-sinaptici. Si può, dunque, concludere

che i neuroni formano una struttura caratterizzata da un numero elevato di

connessioni.

Figura 1.2: Comunicazione sinaptica fra neuroni. Sono visibili alcune strutture interne al-

la sinapsi. Le vescicole sinaptiche rilasciano i neurotrasmettitori nella fessura

sinaptica.


1.1.2 Dinamica di neuroni e sinapsi

La comunicazione tra neuroni è un processo dinamico, composto da varie fasi.

Una proprietà fondamentale è lo stato dell'assone neurale. L'assone neurale può

presentarsi o in uno stato attivo o in uno stato inattivo. Nello stato attivo l'assone

propaga un segnale elettrico, che viene chiamato potenziale d'azione (PA). La

forma e l'ampiezza del segnale propagato sono stabili durante la trasmissione;

inoltre essi vengono replicati nei punti di diramazione dell'assone. L'ampiezza del

segnale è dell'ordine delle decine di mV , mentre la durata temporale è dell'ordine

del ms, come indicato in �gura 1.3. In media, la propagazione dell'impulso

Figura 1.3: Potenziale di azione

elettrico avviene con una velocità di 100m/s. Quando il neurone è nello stato

inattivo non viene propagato alcun segnale lungo l'assone. Il segnale relativo a

questo stato è un potenziale di riposo. La presenza di un impulso lungo l'assone

blocca la trasmissione di un secondo, cioè l'assone può propagare un impulso

elettrico alla volta.

Quando l'impulso elettrico giunge agli estremi delle rami�cazioni dell'asso-

ne e dunque sulla sinapsi, esso provoca il rilascio di neuro-trasmettitori, par-


ticolari sostanze chimiche, all'interno della fessura sinaptica, vedi �gura 1.2. I

neuro-trasmettitori si legano ai recettori, posti all'interno della fessura sinaptica.

Questo provoca l'ingresso di una corrente ionica all'interno del neurone post-

sinaptico. La quantità di corrente penetrata per impulso pre-sinaptico misura

l'e�cienza della sinapsi. L'ingresso della corrente ionica genera un potenziale

post-sinaptico(PPS) che giunge nel soma del neurone post-sinaptico. I vari PPS,

dovuti ai diversi neuroni pre-sinaptici, vengono integrati all'interno del soma e

formano il potenziale di membrana del neurone. Un singolo PPS ha un'ampiezza

dell'ordine del mV. Questi impulsi possono essere eccitatori o inibitori, in relazio-

ne alla natura eccitatrice o inibitrice della sinapsi. Se l'impulso è eccitatorio, la

probabilità che il neurone emetta un impulso aumenta. Se l'impulso è inibitorio,

la probabilità che il neurone emetta un impulso diminuisce. Il soma e�ettua un

somma dei PPS che giungono all'interno di un intervallo temporale di 1− 2 ms.

Se la somma supera una certa soglia, che è un livello di potenziale sopra il qua-

le la membrana del neurone diventa instabile, la probabilità di emissione di un

impulso diventa signi�cativa. L'ordine di grandezza della soglia è delle decine di

mV. Questo implica che sia necessario sommare diversi PPS al �ne di avere una

probabilità di emissione non nulla. Il ciclo temporale di un neurone biologico è di

1− 2 ms. Tale intervallo di tempo viene anche chiamato periodo refrattario del

neurone. Dopo che uno impulso è stato emesso, il neurone non può emetterne

un altro all'interno del periodo refrattario.

Il potenziale d'azione, dunque, costituisce l'unità elementare associata alla

trasmissione dei segnali neuronali. Tipicamente quando ci si riferisce al segna-

le emesso da un neurone si intende la sequenza temporale di questi potenziali

d'azione, detta anche treno di impulsi.

1.1.3 Il problema della codi�ca neurale

Il cervello dei mammiferi contiene più di 1010 neuroni connessi fra loro. In

ogni piccolo volume della corteccia (1mm3) vengono emessi migliaia di impulsi

ogni millisecondo. Un esempio di treno di impulsi, registrato da una rete di trenta

neuroni, è mostrato in �gura 1.4. Ci si può domandare quale sia l'informazione

contenuta in una simile rappresentazione spazio-temporale degli impulsi. Questo

problema è conosciuto come il problema della codi�ca neurale, che rappresenta


uno degli argomenti fondamentali delle neuroscienze. Al momento non è stata

trovata una soluzione de�nitiva a questo problema. Una prima ipotesi è quella di

ritenere che la maggior parte dell'informazione sia contenuta nel tasso di sparo

medio del neurone. Il tasso di sparo è usualmente de�nito attraverso una media

temporale. I biologi sperimentali impostano una �nestra temporale di ampiezza

∆t = 100ms o ∆t = 500ms e misurano la frequenza degli impulsi:

ν[Hz] =nsp(∆t)

∆t, (1.1)

dove nsp è il numero di impulsi. Il concetto del tasso di sparo medio è stato

applicato con successo nello studio delle proprietà di molti tipi di neuroni cor-

ticali o sensoriali. È chiaro, comunque, che un approccio basato su una media

Figura 1.4: Impulsi di 30 neuroni in funzione del tempo. L'asse temporale si estende su un

intervallo temporale di 4000 ms

temporale trascura tutta l'informazione contenuta nell'esatta sequenza tempo-

rale degli impulsi. Il concetto del tasso di sparo è stato ripetutamente criticato

negli anni e ha dato vita ad un dibattito ancora in corso. Il problema della

codi�ca neurale è fondamentale per la realizzazione dei modelli matematici che

descrivano la dinamica delle reti neurali. I modelli che si basano sul tasso di

sparo sono indicati come modelli di tasso di attività[18]. I modelli che si basano

su una descrizione dettagliata del treno di impulsi, dove non viene e�ettuata una

Modelli di reti neurali 7

media temporale, sono indicati come modelli ad impulsi[19]; questi sono anche i

più recenti. In questa tesi viene analizzato in dettaglio un particolare modello di

tasso di attività.

1.2 Modelli di reti neurali

1.2.1 Modello di Hodgkin-Huxley

Il primo modello realistico di singolo neurone è stato sviluppato nel 1952 da

Hodgkin e Huxley per l'assone gigante del calamaro [2],[3]. Tali studi valsero

loro il premio Nobel per la medicina nel 1963. Hodgkin e Huxley derivarono il

loro modello in maniera fenomenologica, in modo da poter riprodurre la �sio-

logia dell'assone gigante del calamaro e gli andamenti sperimentali non lineari

delle conduttanze associate alle correnti ioniche di membrana. Alcuni dei primi

studi sui potenziali di equilibrio delle principali specie ioniche furono fatti sul-

l'assone gigante del calamaro, perché questo ha un diametro dell'ordine di 1mm

ed è dunque molto grande rispetto al soma di un neurone di un mammifero,

che è dell'ordine di 70µm, quindi si presta meglio a studi di elettro�siologia. In

particolare, questo modello è costituito da un sistema di quattro equazioni dif-

ferenziali del primo ordine. Tali equazioni descrivono la dinamica del potenziale

di membrana e delle tre correnti ioniche fondamentali: la corrente del sodio, la

corrente del potassio e la corrente di perdita, dovuta principalmente al cloro. Il

modello riproduce il meccanismo di generazione dei potenziali di azione, inoltre

fornisce una spiegazione per l'esistenza di una soglia di potenziale e di un periodo

refrattario. Le schematizzazioni sviluppate da Hodgkin e Huxley hanno trovato

negli anni passati, e anche oggi, applicazione in centinaia di modelli per neuroni

delle più diverse tipologie.

Presentiamo ora sinteticamente il modello, che è un modello di singolo neu-

rone. Non trattiamo le reti formate a partire da tale modello. Questo è un

modello realistico, perché illustra la dinamica del potenziale di membrana h in

funzione delle correnti ioniche che la attraversano. La membrana cellulare del

neurone possiede dei canali attraverso i quali possono passare specie ioniche spe-

ci�che. La membrana viene caratterizzata da una capacità elettrica C, mentre i

canali ionici da conduttanze, che de�niremo successivamente. La corrente totale


Figura 1.5: Schema elettrico del modello di Hodgkin-Huxley. Le proprietà elettriche passive

della membrana cellulare sono descritte da una capacità C e da una resistenza R.

Le conduttanze segnate con una freccia hanno un valore dipendente dal voltaggio

applicato.

I(t) che viene applicata al neurone può essere divisa in una parte che carica la

capacità Ic ed in ulteriori componenti Ik, che passano attraverso i canali ionici:

I(t) = Ic(t) +3∑

k=1

Ik(t), (1.2)

dove la somma viene eseguita sugli indici che indicano i canali ionici. Nel modello

standard ci sono tre tipi di canali ionici: un canale del sodio (Na), un canale del

potassio (K) ed un canale di perdita caratterizzato da una resistenza R. Questo

schema può essere rappresentato da un circuito elettrico, come mostra la �gura

1.5. Scriviamo l'equazione del potenziale di membrana in termini delle correnti:

Cdh

dt= −

3∑k=1

Ik(t) + I(t). (1.3)

I canali sono de�niti dalle rispettive conduttanze g = 1/R; avremo dunque gL,gNae gK . La conduttanza gL del canale di perdita è indipendente dal potenziale di

membrana, mentre le conduttanze degli altri canali ionici ne sono dipendenti.

I valori gNa e gK indicano il massimo valore raggiungibile dalle conduttanze. I

canali ionici non sono sempre aperti. La probabilità che un canale sia aperto è

descritta dalle variabili addizionali: m, n e u. In base a queste variabili possiamo


de�nire la precedente somma sulle correnti ioniche:

3∑k=1

Ik = gNam3u(h− ENa) + gKn

4(h− EK) + gL(h− EL), (1.4)

dove i parametri ENa, EK e EL sono potenziali determinati empiricamente [19].

Le tre variabili m, n e u evolvono secondo le seguenti equazioni:

dm

dt= αm(h)(1−m)− βm(h)m,

dn

dt= αn(h)(1− n)− βn(h)n,

du

dt= αu(h)(1− u)− βu(h)u. (1.5)

Le funzioni α e β del potenziale di membrana sono funzioni determinate empi-

ricamente. Le equazioni 1.3-1.5 de�niscono la dinamica del modello. Esistono

versioni più avanzate che possono comprendere anche un centinaio di correnti

di membrana. Quindi è possibile realizzare modelli estremamente dettagliati del

singolo neurone.

1.2.2 Modello leaky integrate-and-�re

Il modello integrate-and-�re è stato proposto da Lapicque nel 1907[1], molto

prima che fosse compreso il meccanismo di generazione dei potenziali d'azio-

ne. Questo modello rappresenta tuttora una descrizione estremamente utile del-

l'attività neuronale sottosoglia. Può essere considerato, a posteriori, come una

versione unidimesionale molto sempli�cata del modello di Hodgkin-Huxley.

Il modello leaky integrate-and-�re(LIF) è un modello formale in cui, parten-

do dal presupposto che un potenziale d'azione sia un evento stereotipato, viene

descritta solo la dinamica sottosoglia, cioè prima dell'insorgenza del potenziale

d'azione. La forma del potenziale d'azione non viene descritta in questo model-

lo. L'insorgenza del potenziale è caratterizzata solo dal tempo di sparo tf . La

dinamica di tale modello si schematizza come quella di un integratore con una

corrente di perdita(in ingleseleak) ovvero un circuito RC, dove R è una resistenza

e C un condensatore in parallelo, percorso da una corrente I(t) che rappresenta

l'input che arriva al neurone. I parametri R e C riassumono e schematizzano le


Figura 1.6: Schema elettrico del modello LIF. L'operazione di reset viene e�ettuata dal tasto

indicato dalla lettera θ, che scarica la capacità C. Si rappresenta il potenziale

d'azione con un impulso de�nito da una funzione δ.

proprietà elettriche passive della membrana, mentre V (t) rappresenta il potenzia-

le di membrana. Introducendo la costante di tempo della membrana τm = RC,

possiamo scrivere l'equazione per il potenziale di membrana:

τmdV (t)

dt= −V (t) +RI(t). (1.6)

La tensione V (t) viene paragonata ad una tensione di riferimento θ, che rappre-

senta la soglia per l'innesco del potenziale d'azione. Il potenziale d'azione viene

emesso all'istante tf in cui V (tf ) = θ. Subito dopo l'emissione, il potenziale viene

resettato ad un valore di riposo :

V (t+f ) = Vr. (1.7)

Per t > tf l'evoluzione ricomincia seguendo l'equazione 1.6. Questa operazione

è una caratteristica fondamentale del modello. Anche in questo caso si può

rappresentare il sistema come un circuito elettrico, vedi �gura 1.6. La de�nizione

di una rete di neuroni LIF si basa sulla schematizzazione di un treno di impulsi,

che i neuroni si scambiano. Più precisamente, la dinamica di una rete ad impulsi

composta da N neuroni LIF è rappresentata dal seguente sistema:

dVidt

= a− Vi +N∑j=1

∑k

Jijδ(t− tkj ), (1.8)

dove a, R e C sono uguali per tutti i neuroni. Tale equazione è valida per Vi < θ.

L'equazione 1.8, inoltre, è scritta riferendoci a una scala temporale in cui il tempo


unitario è dato da τm = RC. La doppia sommatoria tiene conto dell'e�etto di

tutti gli impulsi emessi dai neuroni connessi a quello di riferimento (l'i-esimo).

In assenza di interazione e prima di raggiungere la soglia, la soluzione di 1.8 è:

Vi(t) = a(1− e−t

). (1.9)

La matrice Jij rappresenta le e�cienze sinaptiche, mentre tkj rappresenta l'istante

di ricezione del k-esimo impulso ricevuto dal neurone j. L'evento di ricezione

dell'impulso viene schematizzazto da una δ di Dirac. Non entreremo nei dettagli

di questi modelli basati sui treni di impulsi[19].

1.2.3 Modello di tasso di attività a stati continui

Descriviamo ora un modello di tasso in cui la variabile che de�nisce lo stato del

neurone è il potenziale di membrana hi. L'evoluzione della variabile hi, in assenza

di interazione, è descritta dall'equazione 1.6, (con V sostituito da hi) senza però

che esista una soglia. Inoltre, a di�erenza del modello precedente, l'interazione

viene de�nita in funzione dell'attività ai del neurone i-esimo. L'attività viene

de�nita come una funzione del potenziale hi da:

ai = a0f(hi), (1.10)

dove a0 ha le dimensioni di una frequenza. L'attività, o tasso di sparo, vie-

ne de�nita dall'equazione 1.1 su una �nestra temporale. In base a questa, a0

rappresenta il massimo numero di impulsi possibile nell'intervallo di tempo. La

funzione f rappresenta la non linearità dell'operazione svolta nel soma. Tale fun-

zione deve essere monotona crescente e limitata tra 0 e 1. Una scelta possibile

per la funzione è:

f(h) =1

2[1 + tanh(gh)] . (1.11)

dove g è il fattore di guadagno, che misura il livello di non linearità. Tale fattore è

un numero reale positivo. Nel limite g →∞ l'attività del neurone può assumere

solo due valori 0 o a0, cioè il neurone o è inattivo (a = 0), o massimamente attivo

(a = a0). L'aspetto di f(h) è illustrato nella �gura 1.7, dove viene rappresentata

per vari valori del parametro g. Assumendo che le soglie di potenziale dei neuroni


siano nulle, le variabili hi de�niscono la dinamica del sistema attraverso:

Cidhidt

=N∑

j=1,j 6=i

Ji,jai(hi)−hiRi

. (1.12)

Questo è un sistema di N equazioni di�erenziali ordinarie, dove Ci indica la

capacità del neurone, Ri indica la resistenza della sua membrana cellulare e Jijrappresenta l'e�cienza della connessione tra i e j. Come si può osservare, le

funzioni ai quanti�cano il termine di somma, che rappresenta l'interazione tra

gli elementi della rete. Nell'equazione 1.8, invece, l'interazione è determinata

dalle funzioni δ, che rappresentano gli impulsi. Si può, quindi, a�ermare che la

di�erenza di base presente tra le due categorie di modelli consista nel termine di

interazione.

Figura 1.7: La �gura illustra la funzione f(h) per vari valori del parametro g; in blu g=10, in

nero g=1, in rosso g=0.5, in verde g=0.3.


1.2.4 Modello a stati binari

Illustriamo ora un modello di rete in cui lo stato dei neuroni è rappresentato da

una variabile discreta binaria. Il modello di singolo neurone che utilizziamo è noto

come percettrone ed è stato de�nito da Rosenblatt [4]. La variabile che de�nisce

lo stato del singolo neurone è l'attività istantanea dell'assone neurale. Possiamo,

quindi, introdurre una variabile intera discreta σi, dove il pedice si riferisce all'i-

esimo neurone della rete. Tale variabile assume valore 1 se l'assone propaga un

impulso o il valore 0 se l'assone è in uno stato di riposo. Un neurone così de�nito è

un neurone binario. Si de�nisce, inoltre, un campo hi agente sul neurone i-esimo;

tale campo rappresenta il PPS totale agente nel soma del neurone. In questa

rappresentazione tale campo si può identi�care con il potenziale di membrana.

La dinamica della rete è de�nita dai potenziali di membrana attraverso le seguenti

equazioni:

σi(t+ 1) = Θ(hi(t)− ti), (1.13)

hi(t) =N∑j=1

Ji,jσj(t). (1.14)

Le sinapsi vengono rappresentate da una matrice di e�cienze sinaptiche J. Gli

elementi di matrice Ji,j sono variabili reali , che rappresentano l'e�cienza della

connessione sinaptica tra il neurone i e il neurone j. Il segno dell' elemento di

matrice indica la natura della sinapsi: se essa è eccitatrice l'elemento è positivo,

se è inibitrice l'elemento è negativo. Il termine di somma indica l'interazione fra

i neuroni e rappresenta anche l'operazione di integrazione svolta all'interno del

soma.

L'interazione viene de�nita dall'attività, la quale è una funzione del potenzia-

le, come viene indicato nell'equazione 1.13. Tale funzione è la funzione a gradino

di Heaviside Θ. La soglia di potenziale, descritta precedentemente, viene indi-

cata dalla variabile reale ti. Le variabili σi, hi e ti hanno le dimensioni di un

potenziale elettrico, ma qui verrano adimensionalizzate con un fattore di scala

pari ad 1mV. Le varibili Ji,j sono invece adimensionali. L'unità temporale è da-

ta dal ciclo biologico del neurone (1 − 2ms). Abbiamo così de�nito un sistema

dinamico a tempo discreto che descrive la rete di neuroni.

In questo caso la regola di aggiornamento dei neuroni è sincrona, tutti i

neuroni vengono aggiornati contemporaneamente. Questa dinamica non è mol-


to realistica, ma questo problema sarà a�rontato successivamente. Si possono

de�nire dei vincoli sulla matrice J:

Ji,i = 0. (1.15)

Ji,j = Jj,i. (1.16)

Il primo vincolo indica che il neurone i-esimo non è connesso a se stesso. La

simmetria della matrice è una ipotesi sempli�catrice, che è necessaria se si vuole

usare la meccanica statistica di equilibrio nella descrizione del sistema. Questa

ipotesi, però, non ha alcuna validità da un punto di vista biologico. Successi-

vamente, infatti, verranno studiate reti che non sono caratterizzate da matrici

simmetriche.

Dinamica deterministica

È utile e�ettuare il seguente cambiamento di variabile:

Si(t) = 2σi(t)− 1. (1.17)

In questo modo le variabili σi vengono sostituite dalle variabili di spin Si. Il

sistema di neuroni diventa così l'analogo di un sistema magnetico, descritto da

variabili di spin. L'analogia con il sistema magnetico si fonda sulla simmetria del-

la matrice J, che in un sistema magnetico rappresenta le interazioni di scambio.

Lo stato del neurone e il campo agente PPS su di esso ora diventano:

Si(t+ 1) = sgn (hi(t)− ti), (1.18)

hi(t) =1

2

N∑j=1,j 6=i

Ji,j (Sj(t) + 1) , (1.19)

dove la funzione sgn è la funzione segno. Il campo agente sul neurone può essere

separato in due parti:

hi(t) = hli(t) + hei (t). (1.20)

dove

hli(t) =1

2

N∑j=1,j 6=i

Ji,jSj(t). (1.21)


hei (t) =1

2(

N∑j=1,j 6=i

Ji,j)− ti. (1.22)

Il primo termine è il campo locale agente sul neurone, dovuto all'interazione

con tutti gli altri. Il secondo termine è un campo esterno, che non dipende

dall'interazione del neurone i-esimo con gli altri.

Dinamica stocastica

Nel modello rappresentato dalle equazioni 1.3 e 1.4 abbiamo trattato il pro-

cesso di trasmissione sinaptica come un processo deterministico. In realtà è

stato osservato sperimentalmente che tale processo è stocastico, a causa di varie

sorgenti di rumore. Il potenziale di membrana non è determinato univocamen-

te, dunque ad esso può essere assegnata la seguente distribuzione di probabilità

Gaussiana:

Pr(hi = h) =1√

2πδ2exp

[−(h− hi)2

2δ2

]. (1.23)

dove la de�nizione del valor medio hi coincide con quella dell'equazione 1.19.

La varianza δ2 della distribuzione viene determinata in base alle varie sorgenti

di rumore presenti. La probabilità che l'i-esimo neurone emetta un potenziale

d'azione è pari alla probabilità che il campo hi superi la soglia ti:

Pr(Si = 1) =

∫ ∞ti

Pr(hi = h) dh =1

2

[1 + erf

(hi − tiδ√

2

)]. (1.24)

mentre la probabilità che il neurone non emetta il potenziale d'azione è:

Pr(Si = −1) = 1− Pr(Si = 1) =1

2

[1− erf

(hi − tiδ√

2

)]. (1.25)

Utilizzando le equazioni 1.18, 1.20, 1.21 e imponendo che il campo esterno sia

nullo:

hei = 0. (1.26)

otteniamo un' espressione per la distribuzione di probabilità dell'attività del

neurone:

Pr(Si)(t+ 1) =1

2

[1 + erf

(hli(t)Si

δ√

2

)]. (1.27)


Quest'ultima può essere approssimata entro l'1% dalla seguente espressione:

Pr(Si)(t+ 1) ∼=1

2

[1 + tanh(βhli(t)Si)

]=

exp(βhli(t)Si)

exp(βhli(t)Si) + exp(−βhli(t)Si),

(1.28)

dove

β−1 = 2√

2δ. (1.29)

Se nell'equazione 1.28 e�ettuiamo la sostituzione:

T = β−1, (1.30)

otteniamo la distribuzione di probabilità che de�nisce la dinamica di singolo

spin per un sistema di Ising a contatto con un bagno termico di temperatura

T . La distribuzione 1.28 de�nisce la dinamica di Glauber [5], la quale fornisce

il collegamento tra la dinamica di una rete neurale e la meccanica statistica dei

sistemi ferromagnetici.

Capitolo 2

Reti neurali simmetriche

In questo capitolo si utilizzano tecnihe di meccanica statistica per analizzare

modelli di reti neurali. Questa operazione è possibile quando la matrice delle

connessioni sinaptiche è simmetrica. Anche se questa ipotesi è in contrasto con

le osservazioni sperimentali, risulta comunque utile, perché permette di ricavare

risultati analitici (anche se in un contesto molto speciale). I modelli di reti

simmetriche sono stati largamente studiati, in particolare durante gli anni '80.

L'interesse verso questo tipo di modelli viene soprattutto dal fatto che sono

caratterizzati da una multistabilità che persiste anche nel limite termodinami-

co. In altre parole i vari minimi sono separati da barriere di energia libera, che

persistono anche quando la taglia del sistema diventa in�nita. Questa proprietà

permette di a�ermare che tali reti sono utili come modelli di memoria associa-

tiva. Infatti, da una parte, l'essere in un minimo dell'energia libera può essere

interpretato come il riconoscimento di un dato segnale (rispetto ad altri che cor-

rispondono agli altri minimi). D'altra parte, la convergenza verso un dato punto

�sso stabile, può essere interpretato come il fatto che partendo da una conoscen-

za parziale del segnale stesso (cioè da una condizione iniziale diversa dal punto

�sso), si riesce a ricostruire (ricordare) l'informazione mancante.

Nel primo paragrafo si presenta la dinamica stocastica di un sistema generico

in cui gli stati sono descritti da variabili binarie. In questo caso, si fa riferimento

ad un modello asincrono, cioè in cui i neuroni vengono aggiornati sequenzialmente

in un'ordine casuale. Con lo scopo di illustrare la connessione fra il modello

stocastico ed una descrizione di tipo meccanico-statistico, facciamo riferimento

17

Equazioni stocastiche e modello di Ising 18

al modello di Ising.

Nel secondo paragrafo viene illustrato sinteticamente uno dei primi modelli di

rete neurale: il modello di Hop�eld. Tale sistema è stato ampiamente studiato.

Esso è de�nito da una matrice simmetrica casuale, i cui elementi sono �ssati da

una distribuzione di probabilità speci�ca. Il sistema è il prototipo dei modelli

di memoria associativa. La presenza di una matrice casuale rappresenta un di-

sordine nel sistema. In questo caso si introduce un nuovo concetto: la media

sul disordine. Quando si �ssa la realizzazione, questo disordine viene `congela-

to'. Si de�nisce allora una operazione di media sul disordine congelato al �ne di

studiare le proprietà del sistema. Nel caso in cui le caratteristiche del sistema

non dipendano dalla realizzazione del disordine si dice che il sistema possiede la

proprietà dell'automedia. È stato dimostrato che il modello di Hop�eld gode di

tale proprietà nel limite termodinamico. Le operazioni di media sul disordine

congelato e lo studio della eventuale presenza di proprietà di automedia caratte-

rizzano in generale i sistemi disordinati. Questi strumenti vengono utilizzati nei

capitoli successivi per analizzare il caso di reti asimmetriche.

2.1 Equazioni stocastiche e modello di Ising

2.1.1 Equazioni stocastiche ed ergodicità

Una rete a stati binari, come quella descritta nel paragrafo 1.2.4, è descritta

dalla collezione degli stati dei neuroni ad un certo istante. Tale stato viene

indicato con SIi , dove l'apice indica la rete e il pedice il singolo neurone. In una

rete composta da N neuroni sono possibili 2N con�gurazioni distinte. Il singolo

neurone somma i segnali provenienti dai neuroni pre-sinaptici (vedi le equazioni

1.18 e 1.19). Tale operazione viene eseguita in un intervallo di tempo pari al ciclo

biologico del neurone. Nel seguito ci riferiamo ad un sistema generico de�nito da

variabili binarie, senza far riferimento ad una rete speci�ca di neuroni. In questo

modo si introduce un formalismo che può essere utilizzato per sistemi diversi da

quelli delle reti, come ad esempio i sistemi ferromagnetici.

Il nostro obiettivo è quello di studiare la dinamica asintotica (t → ∞) del

sistema. In presenza di rumore stocastico, il sistema viene descritto in termini di

una distribuzione di probabilità che evolve nel tempo. In questo caso lo studio


della dinamica asintotica conduce alla ricerca di un distribuzione di probabilità

stazionaria. Nel caso della dinamica stocastica, la proprietà di avere una memoria

associativa signica che esistono diverse distibuzioni di equilibrio. Ognuna di

queste viene de�nita su una parte dello spazio delle con�gurazioni del sistema.

Questo signi�ca una rottura di ergodicità del sistema.

Il sistema inizia ad evolvere al tempo t = 0 e procede a intervalli temporali

pari a δt. Indichiamo con ρJ(n) la probabilità che il sistema sia nello stato J

al tempo nδt. Indichiamo con W la matrice di probabilità di transizione tra gli

stati. L'evoluzione dinamica, quindi, viene descritta da:

ρI(n+ 1) =∑J

W (I|J)ρJ(n). (2.1)

dove la somma su J è e�ettuata su tutti i 2N stati possibili. L'equazione

precedente può essere riscritta nella seguente forma compatta:

ρ(n+ 1) = Wρ(n). (2.2)

dove ρ(n) è un vettore con 2N componenti. Le normalizzazioni di ρ e W sono

rispettivamente: ∑I

ρI(n) = 1. (2.3)

∑I

W (I|J) = 1. (2.4)

Utilizzando la normalizzazione, possiamo riscrivere l'equazione 2.1:

ρI(n+ 1) = ρI(n) +∑J 6=I

[W (I|J)ρJ(n)−W (J |I)ρI(n)] . (2.5)

Quest'ultima ha la forma di una equazione maestra. Se iteriamo l'equazione 2.2

otteniamo:

ρ(n) = W nρ(0). (2.6)

Al �ne di studiare il comportamento asintotico del sistema si può utilizzare lo

spettro della matrice W . La matrice W ha autovalori:

|λ| ≤ 1. (2.7)


e possiede come autovalore massimo λ = 1. L'autovettore sinistro relativo

all'autovalore λ = 1 ha la seguente proprietà:

V Lλ=1(I) = 1. (2.8)

Se la matrice è irriducibile allora l'autovalore massimo non è degenere e il sistema

è ergodico. Illustriamo brevemente il signi�cato di questa a�ermazione. La

matrice W possiede la seguente decomposizione spettrale:

W (I|J) =2N∑i=1

λiVLλi

(J)V Rλi

(I). (2.9)

dove gli apici L e R indicano gli autovettori sinistro e destro, relativi allo stesso

autovalore λ. Gli autovettori sinistro e destro costituiscono una decomposizione

dell'identità: ∑I

V Lλi

(I)V Rλj

(I) = δλiλj . (2.10)

Utilizzando l'equazione precedente riscriviamo per componenti l'equazione 2.6:

ρI(n) =∑J

2N∑i=1

λni VLλi

(J)V Rλi

(I)ρJ(0). (2.11)

Prendendo il limite n→∞ e utilizzando l'equazione 2.8 otteniamo:

ρI(n) =∑J

V Rλ=1(I)ρJ(0) = V R

λ=1(I). (2.12)

Questo implica che, dopo un tempo abbastanza lungo, il sistema dimentica la sua

storia. Ogni distribuzione di probabilità iniziale raggiunge la stessa distribuzione

asintotica. Se l'autovalore massimo fosse degenere, ad esempio degenere due

volte, avremmo:

ρI(n) =2∑i=1

∑J

V Li (J)V R

i (I)ρJ(0). (2.13)

In questo caso la distribuzione asintotica dipende da quella iniziale, quindi è

possibile una rottura di ergodicità.


2.1.2 Dinamica asincrona stocastica

A questo punto de�niamo una dinamica per il sistema, ovvero la regola di

aggiornamento temporale delle variabili SI e le relative probabilità di transizio-

ne W (I|J). Esistono due tipi di dinamica: la dinamica sincrona e la dinamica

asincrona. La prima consiste nell'aggiornare lo stato di tutte le variabili Si simul-

taneamente. L'aggiornamento avviene a passi temporali discreti. Il valore delle

variabili Si al tempo t+ δt viene determinato dal valore delle stesse al tempo t.

Questa dinamica può essere de�nita anche come dinamica parallela. La seconda

consiste nell'aggiornare sequenzialmente una variabile Si per volta, in un certo

ordine o in un ordine casuale. In questo caso due stati diversi del sistema dif-

feriscono per lo stato di una unica variabile Si. Queste due dinamiche, a loro

volta, possono essere o deterministiche o stocastiche. In questo capitolo ci con-

centriamo sulla dinamica asincrona stocastica, per quanto riguarda la dinamica

sincrona vedi [15].

La dinamica asincrona stocastica è de�nita da un processo di Markov, con

probabilità di transizione non nulle solo tra stati della rete che di�eriscono per

una singola variabile Si. Indichiamo con W (I|J) l'elemento della matrice di

transizione dallo stato J allo stato I, ricordiamo che W è una matrice 2N × 2N .

L'elemento di transizione è de�nito dal prodotto di due termini:

W (I|J) = p(I|J) Pr(I|J). (2.14)

dove Pr(I|J) rappresenta la probabilità che SIi abbia un determinato valore a

partire da SJ . Il fattore p(I|J) rappresenta la probabilità di aggiornare la varia-

bile Sk, che consente di passare dallo stato SI allo stato SJ . Questa probabilità

de�nisce la regola di aggiornamento delle singole variabili Si. La forma esplicita

di Pr(I|J) nel caso di aggiornamento della variabile Si è de�nita da:

Pr(I|J) =exp(βhJi S

Ii )

exp(βhJi SIi ) + exp(−βhJi SIi )

. (2.15)

dove gli apici indicano lo stato del sistema e hi è il campo totale agente su Si.

La forma esplicita di hi dipende dal sistema analizzato, ad esempio nel caso della

rete a stati binari è rappresentato da 1.20. Osserviamo che l'equazione 2.15 è

l'analoga dell'equazione 1.28. L'unica di�erenza è che nel caso attuale gli stati

indicati dagli apici J e I si riferiscono rispettivamente al tempo t e t+ δt, mentre


in 1.28 si ha un riferimento esplicito all'istante di tempo. Nel caso della rete

neurale abbiamo visto che una scala temporale importante è il ciclo biologico del

neurone. Se assumiamo che, in media, durante tale intervallo di tempo tutti gli

N neuroni vengono aggiornati, allora ricaviamo un'altra scala temporale:

δt =τbN. (2.16)

dove τb è il ciclo biologico o periodo refrattario. Nel caso speci�co di una rete

a stati binari dotata di dinamica asincrona, questa scala può essere scelta come

passo per l'evoluzione a tempo discreto.

2.1.3 Il modello di Ising e la dinamica di Glauber

Un modello di rete neurale a stati binari, dotato di matrice sinaptica simme-

trica, è analogo al modello di Ising, che descrive un ferromagnete. L'analogia si

basa sulla simmetria della matrice sinaptica, i cui elementi sono l'anologo delle

interazioni di scambio nel modello di Ising. Per semplicità consideriamo solo il

caso ferromagnetico. L'Hamiltoniana del modello di Ising è data da:

H(S) = −1

2

N∑ij,j 6=i

JijSiSj −N∑i=1

heiSi. (2.17)

Jij = Jji. (2.18)

Jij ≥ 0. (2.19)

Le variabili di spin Si rappresentano i momenti magnetici e hanno valore 1 o −1,

mentre S è un vettore N-dimensionale che indica una con�gurazione di spin. La

variabile hei rappresenta il campo magnetico esterno agente sullo spin i. Ogni

spin è soggetto ad un campo totale:

hti =N∑

ij,j 6=i

JijSj + hei . (2.20)

Si può notare l'analogia con le equazioni 1.20-1.22, che ,però, si riferiscono ad un

processo dinamico. Il modello di Ising è adatto ad illustrare gli argomenti che

abbiamo introdotto nel paragrafo 2.1.1. Nel quadro della meccanica statistica di

equilibrio, noi trattiamo il modello di Ising nell'insieme canonico. Nell'insieme


canonico, il sistema è a contatto con un bagno termico di temperatura T e lo

stato di equilibrio del sistema è descritto dalla distribuzione di probabilità di

Gibbs:

G(S) =exp(−H(S)

kbT)∑

S exp(−H(S)kbT

), (2.21)

dove kb è la costante di Boltzmann e la somma viene e�ettuata su tutte le possibili

con�gurazioni del sistema. Il valore di una osservabile O del sistema si ottiene

come media sulla distribuzione di equilibrio:

〈O〉 =

∑S O(S) exp(−H(S)

kbT)∑

S exp(−H(S)kbT

). (2.22)

Nel caso di un sistema ergodico, questa media coincide con la media temporale

di O all'equilibrio termodinamico. Questa equivalenza si può studiare in termini

di processi stocastici. Ricordando le de�nizioni del paragrafo 2.1.1, il sistema

raggiunge una distribuzione di equilibrio asintotica, se la matrice W è ergodica

e in più soddisfa la proprietà del bilancio dettagliato. La proprietà del bilancio

dettagliato è rappresentata dalla seguente condizione su gli elementi della matrice

di transizione:

W (I|J)ρeq(J) = W (J |I)ρeq(I). (2.23)

Riferendosi alla equazione maestra 2.5, la condizione indicata in equazione 2.23

rappresenta il raggiungimento di una distribuzione di equilibrio. Per collegare la

proprietà del bilancio dettagliato alla meccanica statistica di equilibrio dobbiamo

richiedere:

ρeq = G. (2.24)

La distribuzione asintotica del processo stocastico deve coincidere con la distri-

buzione di probabilità di Gibbs. Uno modo per garantire questa uguaglianza è

quello di dotare il modello di Ising di una dinamica di Glauber [5]. La dinamica

di Glauber consiste nel modi�care lo stato di un singolo spin ad ogni passo tem-

porale, altrimenti chiamato spin �ip. La probabilità di transizione associata alla

dinamica di Glauber si ottiene a partire dall'equazione 2.15, dove β rappresenta

la temperatura inversa. Questa è una dinamica asincrona. Al �ne di de�nire

la matrice W è necessario de�nire l'ordine in cui gli spin vengono aggiornati.


In questo caso la regola è random, ogni spin ha la stessa probabilità di essere

aggiornato, dunque:

p(I|J) =1

N, (2.25)

W (I|J) =Pr(I|J)

N, (2.26)

dove Pr(I|J) è data dalla 2.15. Ora possiamo veri�care la condizione di bilancio

dettagliato, valutando il seguente rapporto:

W (I|J)

W (J |I)=

Pr(I|J)

Pr(J |I)=

exp(hJi S

Ii

kbT)

exp(hIi S

Ji

kbT)

= exp(2hiSikbT

) =G(SI)

G(SJ). (2.27)

Nell'equazione 2.27 hIi = hJi = hi dato che essi rappresentano il campo agente

sullo stesso spin. La dinamica di Glauber, dunque, veri�ca il bilancio dettagliato

con una distribuzione di probabilità di equilibrio di Gibbs.

Il caso particolare di temperatura nulla

Consideriamo il caso di un sistema di Ising a T = 0. In questo caso la

funzione rappresentata dall'equazione 2.15 diventa una θ di Heaviside. Nel caso

in cui hi 6= 0 abbiamo che:

Si(t+ δt) = sgn(hi). (2.28)

con probabilità uno. Se invece hi = 0 allora:

Si(t+ δt) = ±1. (2.29)

oqnuno dei due con probabilità 12. In entrambi i casi il prodotto hiSi ≥ 0, dunque

la variazione di energia è:

∆H = −2hiSi ≤ 0. (2.30)

Quindi a T = 0 i punti �ssi della dinamica sono i minimi dell'energia. Abbiamo

una dinamica di rilassamento verso i minimi dell'energia. Nel caso T 6= 0 dovremo

usare l'energia libera.


Primo esempio di rottura di ergodicità

Un caso particolare del modello di Ising aiuta ad illustrare il meccanismo

di rottura di ergodicità. Trattiamo il modello di campo medio, in cui ogni spin

interagisce con tutti gli altri, con un'interazione di scambio pari a J/N . La scelta

di un tale fattore di scala è necessaria per rendere l'energia una quantità estensiva,

cioè proporzionale a N nel limite termodinamico. Siamo, infatti, interessati a

trattare il sistema nel limita termodinamico N →∞. L'Hamiltoniana diventa:

H(S) = − J

2N

N∑ij,j 6=i

SiSj − heN∑i=1

Si. (2.31)

In questo caso è possibile studiare analiticamente l'evoluzione temporale della

magnetizzazione per spin:

m(t) =1

N

N∑i=1

Si(t). (2.32)

Bisogna considerare l'evoluzione temporale della media della magnetizzazione

sulla distribuzione ρ:

〈m〉 (t) =∑S

m(S)ρ(S, t). (2.33)

Dove la somma è estesa su le 2N con�gurazioni possibili. È stato dimostrato [15]

che nel limite termodinamico si ottiene la seguente equazione:

δtd 〈m〉dt

= −〈m〉 (t) + tanh

(J 〈m〉 (t) + he

kbT

), (2.34)

dove δt è l'intervallo di evoluzione a tempo discreto di 2.5. Quando l'equilibrio è

stato raggiunto otteniamo:

〈m〉 = tanh

(J 〈m〉+ he

kbT

). (2.35)

che rappresenta l'equazione di campo medio di Weiss. In una condizione di

campo he = 0 e al di sotto di una temperatura critica Tc = Jkb, sono possibili

due stati distinti di magnetizzazione media più una soluzione a magnetizzazione

nulla. Studiando l'energia libera del sistema [21],[15] si deduce che le prime due

sono soluzioni stabili mentre la soluzione nulla è instabile. Se è presente un

Energia libera e dinamica di rilassamento 26

campo esterno in�nitesimo che rompe la simmetria dell'Hamiltoniana, allora la

magnetizzazione di equilibrio è quella che ha lo stesso segno del campo esterno.

Se non è presente un campo esterno, le condizioni iniziali diventano determinanti

nella scelta della magnetizzazione media di equilibrio. In questo caso siamo in

presenza di una rottura di ergodicità.

2.2 Energia libera e dinamica di rilassamento

2.2.1 Energia libera dinamica e di equilibrio

In questo paragrafo spieghiamo brevemente come sia possibile utilizzare l'e-

nergia libera di equilibrio per descivere la dinamica di rilassamento di un sistema.

Stiamo studiando i nostri sistemi nell'insieme canonico, dunque la termodinami-

ca a�erma che tali sistemi hanno come con�gurazione di equilibrio il minimo

dell'energia libera F :

F = E − TS, (2.36)

dove E è l'energia del sistema, T è la temperatura e S è l'entropia. Utilizzando

la distribuzione degli stati del sistema al tempo t, possiamo de�nire una energia

libera dinamica:

F (ρ (t)) =∑I

ρI(t)E(I) + kbT∑I

ρI(t) ln(ρI(t)) = 〈E〉 (t)− T 〈S〉 (t), (2.37)

dove abbiamo introdotto i valori medi dell'energia e dell'entropia. Si può di-

mostrare, nel caso particolare del modello di Ising di campo medio, che l'energia

libera dinamica è inferiormente limitata e decresce durante l'evoluzione asincrona

[15]. Il dato notevole è che le con�gurazioni di equilibrio, raggiunte dinamicamen-

te, coincidono con le con�gurazioni corrispondenti a minimi dell'energia libera

di equilibrio, determinata dalla meccanica statistica di equilibrio. Nel caso della

catena chiusa, si dimostra esplicitamente[15], [21] che l'equazione di rilassamento

è data da:

δtdm

dt= −∂f(m,h, T )

∂m, (2.38)

dove m è la magnetizzazione media, f è la densità di energia libera, h è il campo

magnetico esterno, T è la temperatura, e δt è il passo indicato in equazione 2.34.

Le con�gurazioni di equilibrio sono indicate da valori particolari dei parametri


d'ordine, ad esempio nel modello di Ising si ha la magnetizzazione media. Nel

caso di h 6= 0 si ha una rottura di simmetria del sistema; di conseguenza i minimi

dell'energia libera non sono più degeneri. Nel caso della meccanica statisitca di

equilibrio, lo stato �nale del sistema è individuato dal minimo assoluto. Gli

altri minimi locali sono denominati stati metastabili. Nell'analisi dinamica del

sistema gli stati metastabili sono, invece, fondamentali. Tali minimi metastabili,

infatti, identi�cano le diverse distribuzioni asintotiche raggiunte dal sistema. In

questi casi le distribuzioni di equilibrio raggiunte si identi�cano con quella di

Gibbs, ma le medie delle osservabili non vanno eseguite su tutto lo spazio delle

con�gurazioni ma solo su alcuni settori. Questi settori individuano le regioni

dello spazio delle con�gurazioni in cui il sistema resta con�nato per t → ∞. Le

condizioni iniziali del sistema determinano quale sia il settore sul quale e�ettuare

le medie.

2.2.2 Il modello di Hop�eld

Il modello di Hop�eld è un modello di vetro di spin di campo medio, che ha

la proprietà di memoria associativa. Si ritiene che questa sia una delle proprietà

fondamentali di una rete neurale. Il modello di Hop�eld relativo a N neuroni è

de�nito dalla seguente Hamiltoniana:

H = −1

2

N∑i,j=1

JijSiSj, (2.39)

dove Si sono variabili di spin, p è un intero minore di N e:

Jij =1

N

p∑µ=1

ξµi ξµj . (2.40)

Jii = 0. (2.41)

Abbiamo p vettori ξµ aventi dimensione N , gli elementi di ogni vettore sono va-

riabili aleatorie identicamente distribuite. Ogni elemento può assumere il valore

±1 con probabilità 1/2. Le connessioni Jij sono variabili aleatorie, ma non sono

tra loro indipendenti. L'equazione 2.40 rappresenta la regola di apprendimento

di Hebb. Questa regola speci�ca la matrice J in base alle con�gurazioni ξµi me-


morizzate dalla rete1. Le con�gurazioni sono memorizzate nel senso che, nel caso

di assenza di rumore (T = 0), rappresentano dei punti �ssi della dinamica. Nel

caso di presenza di rumore (T 6= 0) il sistema non raggiunge un punto �sso e

bisogna usare gli argomenti del paragrafo 2.2.1. Le con�gurazioni di equilibrio

saranno determinate dai minimi locali dell'energia libera.

Il modello di Hop�eld è, dunque, un sistema disordinato. Ad ogni realiz-

zazione del disordine si ha una con�gurazione congelata (in inglese quenched)

delle connessioni Jij. I parametri d'ordine, utilizzati per descrivere il modello,

sono le sovrapposizioni delle generiche con�gurazioni del sistema con le varie

con�gurazioni ξµi memorizzate:

mµ =1

N

N∑i=1

ξµi Si. (2.42)

Tali variabili hanno valori compresi tra −1 e 1, esse costituiscono l'analogo della

magnetizzazione per spin nel modello di Ising. Queste variabili caratterizzano

i minimi locali dell'energia libera. Quando si analizza un sistema disordina-

to, il valore di una osservabile è determinato dalla media sulle realizzazioni del

disordine[21]. Il disordine viene caratterizzato da una distribuzione di probabilità

P . Nel caso attuale abbiamo una P (J) che rappresenta la probabilità associata

ad una particolare realizzazione della matrice J. In generale in meccanica sta-

tistica di equilibrio, ricordando la de�nizione di media di insieme 2.22, la media

sul disordine di una osservabile O è de�nita da:

〈O〉D = 〈〈O〉I〉D , (2.43)

dove 〈〉I è la media di insieme valutata con 2.22, mentre 〈〉D rappresenta la media

sul disordine. Il sistema può anche possedere la propriètà di automedia. Questa

proprietà implica che, nel limite termodinamico (N →∞), la media sul disordine

coincida con la media di insieme, e�ettuata con una particolare realizzazione

del disordine. Il modello di Hop�eld gode della proprietà di automedia [15].

In questo caso è possibile studiare l'energia libera associata ad una particolare

realizzazione del disordine. I minimi locali di questa energia libera rappresentano

le con�gurazioni di equilibrio tipiche della rete. Il numero di minimi dipende dal

1Queste con�gurazioni (patterns) possono indicare, ad esempio, delle immagini associate ad

oggetti.


numero p dei pattern. Quando p è �nito e siamo al di sotto di una temperatura

critica Tc = 1/kb, nel limite termodinamico l'energia libera presenta 2p minimi

degeneri più vari minimi locali[9]. Questo rappresenta un esempio di modello

dotato di multistabilità. Il modello può anche presentare un numero di pattern

proporzionale alla taglia dl sistema (p = αN). In questo caso si ha la proprietà

di memoria associativa per α < αc, dove αc ≥ 0.14, caratterizzata dalla presenza

di 2p minimi degeneri nell'energia libera[10]. Bisogna sottolineare che ora siamo

in presenza di un numero macroscopico di minimi, che tende all'in�nito nel limite

termodinamico.

Capitolo 3

Reti neurali asimmetriche

Le reti neurali asimmetriche individuano una categoria di modelli in cui la

matrice delle connessioni sinaptiche non possiede alcuna simmetria, per cui non

è più possibile utilizzare la meccanica statistica di equilibrio nell'analisi dell'at-

trattore della rete. Il primo modello in cui è stata introdotta una matrice di

connessioni asimmetrica è dovuto a Sompolinsky et al.. Esso consiste in un si-

stema di equazioni di�erenziali, che descrive l'interazione tra gli N elementi non

lineari della rete. Tale interazione avviene attraverso una matrice casuale asim-

metrica. Attraverso una teoria dinamica di campo medio è possibile studiare il

sistema nel limite termodinamico. La teoria si basa su alcune ipotesi di scorre-

lazione, che si ipotizza diventino esatte nel limite termodinamico. Secondo tale

teoria gli attrattori possibili del sistema possono essere o un punto �sso o un

attrattore caotico, in funzione del valore assunto dal parametro di controllo. Il

secondo modello che viene presentato è dovuto a Cessac et al. .

Questo modello costituisce l'oggetto dell'analisi del presente lavoro di tesi.

Esso riprende il modello di Sompolinsky introducendo come sempli�cazione l'u-

tilizzo di una mappa invece che un sistema di equazioni di�erenziali. L'evoluzione

temporale sarà, quindi, a tempo discreto. Anche il modello di Cessac viene de-

�nito da una matrice di connessioni casuale asimmetrica. Viene introdotta una

nuova variabile, che indica i livelli di attività del potenziale di membrana. Que-

sta variabile è un vettore casuale di dimensione N . Lo studio della dinamica nel

limite termodinamico viene e�ettuato attraverso l'introduzione di una opportuna

teoria dinamica di campo medio. Quest'ultima si basa sulle medesime ipotesi di

30

Modello a tempo continuo 31

scorrelazione della corrispondente teoria a tempo continuo. Questo approccio di-

namico di campo medio viene utilizzato per determinare i punti �ssi del sistema

e per studiare la stabilità lineare di tali punti �ssi.

Lo studio della stabilità viene eseguito a�ancando la teoria dinamica di cam-

po medio al teorema di Girko, che è un risultato appartenente alla teoria degli

autovalori di matrici casuali. Questo studio permette di ricostruire il diagramma

di biforcazione per particolari valori dei parametri che de�niscono il sistema.

3.1 Modello a tempo continuo

Il modello che presentiamo ora è stato introdotto da Sompolinsky et al.[14] e

da ora in poi esso viene indicato come modello SCS. Il modello SCS schematizza

l'evoluzione dinamica di N neuroni globalmente accoppiati. Il sistema evolve in

uno spazio delle con�gurazioni N-dimensionale. Lo stato del singolo neurone è

de�nito dalla sua attività (tasso di sparo), indicata dalla varibile continua Si,

dove −1 ≤ Si ≤ 1. L'attività Si è legata al potenziale di membrana hi (dove

−∞ ≤ hi ≤ +∞), dalla relazione:

Si(t) = φ(hi(t)), (3.1)

dove φ è una funzione non lineare che rispetta i vincoli:

φ(±∞) = ±1,

φ(−x) = −φ(x). (3.2)

La funzione scelta è la tangente iperbolica:

φ(x) = tanh(gx), (3.3)

dove la costante g > 0 misura il livello di non linearità dell'operazione svolta dal

soma del neurone. La dinamica della rete è de�nita da un sistema di N equazioni

di�erenziali del primo ordine, simili a quelle per un circuito elettrico:

dhidt

= −hi +N∑j=1

JijSj = −hi +N∑j=1

Jijφ(hj), (3.4)


dove J è la matrice delle e�cienze sinaptiche e Jii = 0. Il sistema di equazioni 3.4

è uguale alle equazioni 1.12 a meno di una riscalatura della variabile temporale.

Il sistema 1.12 può essere riscritto nella forma :

RCdhidt

=N∑

j=1,j 6=i

J ′i,jf(hj)− hi. (3.5)

dove R e C sono uguali per tutti i neuroni e J ′i,j = a0RJi,j. Se riscaliamo

la variabile t per un fattore pari al tempo caratteristico τ = RC, otteniamo

l'equazione 3.4. La matrice delle e�cienze sinaptiche è una matrice casuale.

Gli elementi di matrice Jij sono varibili aleatorie indipendenti e identicamente

distribuite, la distribuzione scelta è la Gaussiana. La Gaussiana è caratterizzata

dai seguenti valori di media e momento secondo:

〈Jij〉 = 0,⟨J2ij

⟩=

J2

N, (3.6)

la media viene scelta pari a zero per motivi di semplicità, mentre J è una co-

stante che determina la varianza. Ls scelta del fattore 1/N è dovuta al termine

di sommatoria presente nell'equazione 3.4. Le variabili Si sono di ordine uno;

dunque ipotizzando che le Jij siano indipendenti dalle Si, otteniamo che il ter-

mine di somma ha media nulla e �uttuazioni di ordine√N ×

√⟨J2ij

⟩. Il fattore

1/N garantisce che tali �uttuazioni rimangano �nite nel limite termodinamico.

Utilizzando i due parametri introdotti precedentemente, possiamo de�nire come

unico parametro di controllo il prodotto gJ . Studieremo la dinamica del sistema

al variare di tale parametro. Se la matrice J fosse simmetrica (Jij = Jji), si

avrebbe una dinamica di rilassamento di tipo gradiente :

h = −∇ (E (h)) , (3.7)

dove h è un vettore N-dimensionale che rappresenta lo stato della rete e E è

l'energia del sistema. L'energia ha la seguente forma:

E = −1

2

N∑i,j=1

Jijφ (hi)φ (hj) +N∑i=1

(φ (hi)hi −

∫ hi

0

φ (h′) dh′), (3.8)

e i suoi minimi locali individuano i punti �ssi stabili della dinamica [7]. Possiamo

osservare che il secondo termine si annulla nel limite g →∞. In questo limite lo


stato Si del neurone può essere +1 o −1 e ritroviamo l'espressione dell'energia

valida per i vetri di spin. Nel nostro caso, invece, l'elemento Jij è in generale

diverso da Jji e la matrice J non ha simmetrie, dunque non si ha una dinamica di

rilassamento. La dinamica asintotica (t→∞) dipende dalla particolare realizza-

zione della matrice J. Come abbiamo visto nel paragrafo 2.2.2, anche in questo

caso è possibile fare una media sulle relizzazioni del disordine ed ottenere, nel

limite termodinamico (N → ∞), una dinamica tipica del sistema. Il comporta-

mento asintotico del sistema 3.4 è stato studiato per mezzo della teoria di campo

medio dinamica, sviluppata nell'ambito dei vetri di spin[6],[12]. Le ipotesi su cui

si basa la teoria sono le seguenti:

〈Si(t)Sj(t+ τ)〉 = δij 〈Si(t)Si(t+ τ)〉 ,〈Sk(t)Jij〉 = 0, (3.9)

dove le variabili Si vengono considerate variabili indipendenti con varianza in-

dipendente dall'indice i, e si trascurano le correlazioni tra gli elementi Jij e le

Si. Si suppone che queste ipotesi diventino valide nel limite N → ∞. Sotto

queste ipotesi possiamo considerare il termine di somma, presente in 3.4, come

un rumore gaussiano a media nulla, dovuto alle possibili realizzazioni di J:

ηi(t) =N∑j=1

JijSj(t). (3.10)

Il momento secondo viene de�nito in base alla funzione di correlazione:

〈ηi(t)ηl(t+ τ)〉 . (3.11)

Se riscriviamo l'equazione 3.6 come correlazione:

〈JijJlk〉 = δilδjkJ2

N, (3.12)


e utilizziamo le ipotesi 3.9 otteniamo per la correlazione 3.11:

〈ηi(t)ηl(t+ τ)〉 =

⟨N∑

k,j=1

JijJlkSj(t)Sk(t+ τ)

⟩,

=N∑

k,j=1

〈JijJlk〉〈Sj(t)Sk(t+ τ)〉 ,

=N∑

k,j=1

δilδjkJ2

Nδjk 〈Sj(t)Sj(t+ τ)〉 ,

= δilJ2 〈Sj(t)Sj(t+ τ)〉 , (3.13)

dove nell'ultima uguaglianza j può essere un indice qualunque. De�niamo l'au-

tocorrelazione delle variabili di attività Si come:

C(τ) = 〈Sj(t)Sj(t+ τ)〉 , (3.14)

dove in C non si ha la dipendenza da t perché ipotizziamo di essere in un regime

stazionario. La correlazione del rumore η diventa in�ne:

〈ηi(t)ηl(t+ τ)〉 = δilJ2C(τ), (3.15)

dove le varibili η caratterizzate da indici diversi sono diventate variabili indipen-

denti caratterizzate dalla stessa varianza. Il sistema di equazioni per t → ∞ e

N →∞ viene ridotto ad un sistema di N equazioni disaccoppiate:

dhidt

= −hi(t) + ηi(t). (3.16)

dove le ηi sono variabili aleatorie indipendenti ed identicamente distribuite. La

soluzione formale di queste equazioni, che hanno la struttura dell'equazione di

Langevin, è data da:

hi(t) =

∫ t

−∞et

′−tηi(t′) dt′. (3.17)

De�niamo l'autocorrelazione del potenziale di membrana del neurone:

∆(τ) = 〈hi(t)hi(t+ τ)〉 , (3.18)

dove ∆ non riporta l'indice i, perché le proprietà statistiche di hi non dipendono

dall'indice sotto le ipotesi di campo medio. Anche in questo caso ∆ è indipen-

dente da t perché ipotizziamo di essere in un regime stazionario. Ora studiamo


la relazione che intercorre tra le autocorrelazioni C(τ) e ∆(τ). Utilizzando le

equazioni 3.15 e 3.17 scriviamo la 3.18 in forma integrale:

〈hi(t)hi(t+ τ)〉 =

⟨(∫ t

−∞

∫ t+τ

−∞et

′−tet′′−(t+τ)ηi(t

′)ηi(t′′) dt′ dt′′

)⟩,

=

∫ t

−∞

∫ t+τ

−∞et

′−tet′′−(t+τ) 〈ηi(t′)ηi(t′′)〉 dt′ dt′′,

= J2e−(2t+τ)

∫ t

−∞

∫ t+τ

−∞e(t′+t′′)C(t′′ − t′) dt′ dt′′, (3.19)

dove abbiamo scambiato l'ordine di integrazione, svolgendo prima le integrazioni

sulla distribuzione dei Jij e poi le integrazioni temporali. Le integrazioni tem-

porali sono formali, dato che per il momento C è una funzione generica. La

funzione C è presente in 3.19 sotto il segno di integrale. Svolgendo delle opera-

zioni di derivazione su ∆ rispetto alla variabile τ è possibile portare la funzione

C all'esterno dell'operazione di integrazione: osserviamo che le derivate coinvol-

gono l'integrale con estremo (t + τ). Questo risultato si ottiene nella derivata

seconda di ∆, sfruttando la seguente integrazione formale per parti:∫ t

−∞et

′ dC

dτ(t+ τ − t′) dt′ = −etC(τ) +

∫ t

−∞et

′C(t+ τ − t′) dt′, (3.20)

che consente alcune sempli�cazioni che portano a:

d2∆

dτ 2= J2e−(2t+τ)

∫ t

−∞

∫ t+τ

−∞e(t′+t′′)C(t′′ − t′) dt′ dt′′ − J2C(τ). (3.21)

Si ottiene, in�ne, la seguente equazione per la variabile ∆ :

∆ (τ)− d2∆

dτ 2= J2C (τ) , (3.22)

che ne descrive l'evoluzione in funzione della variabile τ . In questa equazione

C(τ) è una funzione generica. Per chiudere l'equazione è necessario esprimerla

in termini di ∆. Riscriviamo l'equazione 3.14:

C (τ) = 〈φ (hj(t))φ (hj(t+ τ))〉 , (3.23)

dove la correlazione è valutata sulla distribuzione dei Jij. Utilizzando l'equazio-

ne 3.17 è possibile valutare la correlazione 3.23 sulla distribuzione del rumore


gaussiano η. Questa operazione è valida se le ipotesi di scorrelazione 3.9 sono

veri�cate. In questo modo è possibile esprimere C in funzione di ∆. L'equazione

che descrive la dinamica di ∆ viene ridotta alla seguente:

V (∆) = −1

2∆2 +

∫ +∞

−∞Dz

(∫ +∞

−∞DxΦ

((∆(0)− |∆|)1/2 x+ |∆|1/2 z

))2

,

d2∆

dτ 2= −dV

d∆, (3.24)

dove il fattore di�erenziale, che rappresenta la misura gaussiana, e la funzione Φ

sono de�niti da:

Dz = dzexp (−z2/2)√

(2π),

Φ (x) =

∫ x

0

dyφ (y) =ln (cosh (gJx))

gJ. (3.25)

L'equazione 3.24 rappresenta un moto unidimensionale determinato dal poten-

ziale newtoniano V (∆). La soluzione ∆(τ) deve essere una funzione pari se

ipotizziamo che l'autocorrelazione dipenda solo dalla separazione temporale:

∆ (−τ) = ∆ (τ) ,

d∆

dτ(0) = 0, (3.26)

questo implica che l'orbita debba avere energia cinetica iniziale nulla. Inoltre

la soluzione deve essere limitata se ipotizziamo che l'autocorrelazione decresca

all'aumentare della separazione temporale:

|∆(τ)| ≤ ∆(0). (3.27)

Il potenziale V è de�nito parametricamente dal valore ∆(0), dunque è un poten-

ziale autoconsistente, nel senso che deve determinare una soluzione ∆(τ) con-

sistente con il valore del parametro. Il parametro gJ determina la forma del

potenziale e quindi il tipo di soluzione. Per gJ < 1 il potenziale ha la forma

indicata in �gura 3.1 per ogni valore del parametro ∆(0). L'unica traiettoria che

rispetta i vincoli è ∆(τ) ≡ 0. Questo implica che il sistema 3.4 abbia un punto

�sso h = 0. Un'analisi di stabilità lineare del sistema porta a concludere che tale

punto �sso è stabile. Nel caso gJ < 1 l'unico attrattore è il punto �sso h = 0.


Figura 3.1: Forma caratteristica del potenziale V (∆) per i valori del parametro gJ < 1. Il

punto sulla curva rappresenta l'unica soluzione limitata.

Figura 3.2: Forma caratteristica del potenziale V (∆) per i valori del parametro gJ > 1 e

0 < ∆(0) < ∆1. Il punto sulla curva rappresenta una generica condizione iniziale

per l'energia.

Nel caso gJ > 1 la forma del potenziale non è unica ma dipende dal valore

assunto da ∆(0). Esiste un valore ∆1(gJ) tale che nell'intervallo 0 < ∆(0) < ∆1

il potenziale assume la forma mostrata in �gura 3.2. In tale caso le soluzioni

sono orbite periodiche. Se ∆(0) > ∆1 il potenziale ha la forma mostrata in �-

gura 3.3. In questo caso la soluzione con energia più bassa, indicata con a in

�gura 3.3, corrisponde ad una soluzione di punto �sso non nullo per il sistema

3.4. Le soluzioni ∆(τ) ad energia negativa, indicate con b, sono orbite periodiche,

mentre le soluzioni ad energia positiva sono oscillazioni intorno all'origine, indi-

cate dalla lettera c. La soluzione ad energia nulla, indicata con d, rappresenta

una soluzione che si avvicina asintoticamente all'origine per τ → ∞. Lo studio

della stabilità di queste soluzioni mostra che nessuna delle precedenti soluzioni

Modello a tempo discreto 38

Figura 3.3: Forma caratteristica del potenziale V (∆) per i valori del parametro gJ > 1 e

∆(0) > ∆1. Le lettere a,b,c,d indicano le energie corrispondenti a vari tipi di

soluzione.

è stabile, tranne quella di energia nulla. In questo caso l'andamento a zero del-

la funzione di autocorrelazione indica che la traiettoria corrispondente per 3.4

è caotica. Utilizzando un'analisi relativa all'esponente di Lyapunov massimo, è

stato dimostrato che la soluzione caotica è l'unica soluzione stabile del sistema

3.4, per gJ > 1. La teoria di campo medio e l'analisi di stabilità forniscono,

dunque, una descrizione qualitativa degli attrattori del sistema per N →∞. Lo

spettro di Liapunov di questo sistema non è stato studiato, ma ci sono degli indizi

teorici che fanno ipotizzare che il numero di esponenti di Lyapunov positivi fosse

macrosopico, cioè proporzionale ad N . Le simulazioni numeriche eseguite dagli

autori, condotte ad N �nito (�no ad una taglia N = 1000), hanno confermato i

risultati teorici relativi agli attrattori. Si a�erma, inoltre, che ad N �nito esiste

un intervallo di valori del parametro, all'interno del quale l'attrattore è un orbita

periodica. Questo intervallo separa una fase, che ha come attrattore un punto

�sso, da una fase in cui l'attrattore è caotico. Al crescere di N questo intervallo

si restringe e si ritrova la transizione di fase per gJ = 1.

3.2 Modello a tempo discreto

Il modello a tempo discreto è dovuto a Cessac et al. [17]. Tale modello trae

la sua origine dal modello di Sompolinsky, ma ci sono alcune di�erenze fonda-


mentali. Il modello descrive la dinamica di una rete di N neuroni globalmente

connessi. Lo stato del neurone i-esimo viene rappresentato da un variabile con-

tinua xi, che rappresenta l'attività del neurone(tasso di sparo). Le variabili xisono de�nite nell'intervallo [0, 1]. La dinamica viene descritta da una mappa,

dunque l'evoluzione avviene a tempo discreto:

xi(t+ 1) = f

(N∑j=1

Jijxj(t)− θi

), (3.28)

dove Jij sono gli elementi della matrice di e�cienze sinaptiche e i parametri θi rap-

presentano le soglie di potenziale del neurone i-esimo. La funzione di guadagno

f è scelta di classe C∞ e invertibile, inoltre deve soddisfare i vincoli:

limx→+∞

f(x) = 1,

limx→−∞

f(x) = 0. (3.29)

Nelle simulazioni numeriche abbiamo adottato la seguente:

f(x) =1

2[1 + tanh(gx)], (3.30)

dove g è un parametro di controllo, vedi �gura 1.7. Le variabili xi sono analoghe

alle variabili Si de�nite nel modello SCS, a parte l'intervallo di de�nizione delle

variabili. La matrice J non è simmetrica e i suoi elementi di matrice Jij sono

variabili casuali indipendenti e identicamente distribuite. Le simulazioni nume-

riche sono state svolte utilizzando una distribuzione gaussiana caratterizzata da

media e varianza:

〈Jij〉 =J

N, (3.31)

⟨(Jij − 〈Jij〉)2

⟩=J2

N, (3.32)

de�nite dai parametri J e J . Il fattore 1/N presente nel termine di media è dovuto

alla sommatoria presente in 3.28. Il valor medio di tale termine, nell'ipotesi che

le Jij siano indipendenti dalle xi, è di ordine 〈Jij〉N dato che le varibili xi sono

di ordine uno. Il fattore 1/N rende il termine di somma di ordine uno nel limite

N →∞, altrimenti si avrebbe una dinamica banale in cui gli stati delle variabili

xi sono 0 o 1. La presenza dello stesso fattore nella varianza ha una ragione

simile, serve a garantire che la varianza del termine di sommatoria resti di ordine


uno nel limite termodinamico, come abbiamo già notato nel modello SCS. Il

sistema può essere studiato utilizzando una teoria dinamica di campo medio,

dove la distribuzione dei Jij è arbitraria, sebbene rispetti i precedenti vincoli di

media e varianza. Non imponiamo Jii = 0, perché nel limite termodinamico il

contributo dovuto a questo termine è trascurabile. Le soglie θi sono variabili

casuali gaussiane indipendenti e identicamente distribuite caratterizzate da:

〈θi〉 = θ, (3.33)⟨(θi − 〈θi〉)2

⟩= σ2

θ . (3.34)

3.2.1 Teoria dinamica di campo medio

Il sistema dinamico descritto dall'equazione 3.28 ha un carattere aleatorio,

dovuto alle distribuzioni di probabilità degli elementi di matrice Jij e delle so-

glie θi. L'evoluzione delle variabili xi(t) dipende dalla realizzazione della rete

e delle soglie. Utilizzando questo approccio, possiamo ottenere una evoluzione

temporale in cui si considerano le varie realizzazioni del disordine. In questo

modo le variabili xi risultano essere caratterizzate da una distribuzione di pro-

babilità funzione del tempo. Questa distribuzione di probabilità è determinata

dall'evoluzione del sistema 3.28 e dalle distribuzioni di probabilità degli elementi

di matrice Jij e delle soglie θi. Nella teoria di campo medio si sempli�ca que-

sta descrizione, in modo che la distribuzione di probabilità dipenda da un'unica

variabile x, che rappresenta lo stato di un qualsiasi neurone. Passiamo concet-

tualmente ad una descrizione del sistema in termini della probabilità P (x, t) che

un neurone qualunque occupi lo stato x al tempo t. Questo approccio è utile per

determinare i punti �ssi stabili del sistema, ma fornisce utili informazioni anche

quando la struttura dell'attrattore è più complessa.

Tale teoria si basa su alcune ipotesi di scorrelazione tra le variabili aleatorie

xi, Jij e θi. Le ipotesi riguardanti le variabili xi e Jij sono analoghe alle 3.9

utilizzate nel modello SCS. Riferendoci all'equazione 3.28 osserviamo che le va-

riabili xi(t) sono funzioni dei pesi sinaptici Jij, attraverso la somma pesata, e

dei θi. Questa struttura dell'equazione implica che le variabili aleatorie xi siano

tra loro correlate. Nel limite termodinamico (N → ∞) si può ipotizzare che le

correlazioni tra le variabili xi e i pesi Jij vadano a zero, inoltre si ipotizza che le


correlazioni tra le variabili xi(t) si annullino. Nella teoria di campo medio si as-

sume che il sistema evolva come se le variabili aleatorie xi(t) fossero indipendenti

fra loro e anche dai Jij. Si assume anche che le soglie θi siano indipendenti dalla

somma∑N

j=1 Jijxj(t) per ogni i. Assumiamo, inoltre, che le varibili xi siano iden-

ticamente distribuite. A questo punto lo studio del sistema 3.28 si riconduce allo

studio della distribuzione P (x, t), che rappresenta la probabilità che un neurone

i-esimo sia nello stato x al tempo t. Non riportiamo il pedice i sulla variabile

perché le xi sono identicamente distribuite. Ricordiamo che la variabile x è de�-

nita nell'itervallo [0, 1]. È conveniente eseguire un cambiamento di variabile che

riporti tale intervallo a [−∞,+∞]. Il vantaggio di questa trasformazione consiste

nel poter ipotizzare che la nuova variabile abbia una distribuzione Gaussiana.

Eseguiamo il seguente cambiamento di variabile sulle xi:

ui(t) = f−1(xi(t)), (3.35)

dove f−1 è la funzione inversa di f . La dinamica di ui evolve secondo il sistema:

ui(t+ 1) =N∑j=1

Jijf(uj(t))− θi. (3.36)

Le variabili ui descrivono il potenziale di membrana del neurone, quindi sono

analoghe alle variabili hi del modello SCS. Anche nel modello a tempo discreto

ci concentriamo sullo studio del potenziale per descrivere la dinamica del sistema.

Le variabili ui sono variabili aleatorie che, in base alle ipotesi fatte sulle xi, si

assumono indipendenti e identicamente distribuite. Allo stesso modo ipotizziamo

l'indipendenza tra le ui e le Jij e tra la somma∑N

j=1 Jijf(uj(t)) e le soglie θi.

Sotto tali ipotesi e in base al teorema del limite centrale, il termine di somma

diventa una variabile gaussiana perN →∞. Nella somma, infatti, sono presenti i

prodotti Jijf(uj(t)), che possono essere considerati indipendenti e identicamente

distribuiti.

Possiamo utilizzare l'equazione 3.36 per formulare una ipotesi di auto-consistenza.

L'ipotesi consiste nel considerare le varibili ui distribuite secondo una Gaussia-

na. Essa si basa sull'osservazione che ad ogni istante le ui sono determinate

dalla di�erenza di due variabili gaussiane, ricordiamo che le soglie sono varibili

gaussiane. La sempli�cazione portata dalla sostituzione di variabile consiste nel


passaggio dalla distribuzione P (x, t) ad una distribuzione gaussiana per le vari-

bili ui, che è caratterizzata dai primi due momenti della distribuzione. Nel caso

del sistema 3.28 non possiamo ipotizzare per la P una distribuzione Gaussiana

a causa della presenza della funzione f , che ha il termine di somma come suo

argomento. La media e la varianza di ui(t) sono indicate da µN(t) e da νN(t),

dove il pedice N indica la taglia del sistema. Nel limite termodinamico avremo

le variabili senza pedice µ(t) e ν(t). Queste due quantità sono su�cienti per de-

scrivere una distribuzione Gaussiana. Sotto tali ipotesi è possibile determinare

la media di un'osservabile del sistema. D'ora in poi eliminiamo il pedice i in ui,

dato che esse sono variabili indipendenti e identicamente distribuite. Indichia-

mo con O = O(u) una qualunque osservabile del sistema, integrabile rispetto

alla misura gaussiana. Sotto le ipotesi di campo medio il valore di aspettazione

dell'osservabile è dato da:

〈O(u(t))〉N =

∫ +∞

−∞

O(h)√2πνN(t)

exp

(− [h− µN(t)]2

2νN(t)

)dh

=

∫ +∞

−∞

O(h√νN(t) + µN(t))√

2πexp

(−h

2

2

)dh, (3.37)

dove il pedice N indica la taglia �nita del sistema. Nel limite termodinamico

abbiamo:

limN→∞

〈O(u(t))〉N =

∫ +∞

−∞

O(h√ν(t) + µ(t))√

2πexp

(−h

2

2

)dh. (3.38)

Possiamo scegliere come osservabili il momento primo mN(t) e il momento se-

condo qN(t) della distribuzione di probabilità delle variabili xi:

mN(t) =

∫ +∞

−∞

f(h√νN(t) + µN(t))√

2πexp

(−h

2

2

)dh,

qN(t) =

∫ +∞

−∞

f 2(h√νN(t) + µN(t))√

2πexp

(−h

2

2

)dh, (3.39)

dove abbiamo usato la de�nizione riportata in equazione 3.35. Vogliamo deter-

minare un'equazione dinamica nel limite termodinamico per le quantità m(t) e

q(t). A tal �ne determiniamo prima le equazioni per µN(t) e ν(t). Utilizzando le

precedenti de�nizioni e le ipotesi di scorrelazione, è possibile calcolare la media


e la varianza della variabile u(t) :

µN(t+ 1) =

⟨(N∑j=1

Jijxj(t)− θi

)⟩,

= N 〈Jij〉〈xj(t)〉 − 〈θi〉 ,= JmN(t)− θ, (3.40)

che nel limite termodinamico diventa:

µ(t+ 1) = Jm(t)− θ. (3.41)

L'equazione per la varianza è data da:

νN(t+ 1) = σ2

(N∑j=1

Jijxj(t)− θi

),

= Nσ2 (Jijxj(t)) + σ2θ ,

= J2qN(t) +J2

N

[qN(t)−mN(t)2

]+ σ2

θ , (3.42)

dove mN(t) e qN(t) appartengono all'intervallo [0, 1] per ogni valore della taglia

N. Nel limite termodinamico abbiamo:

ν(t+ 1) = J2q(t) + σ2θ . (3.43)

Riassumendo, abbiamo ottenuto le due equazioni dinamiche:

µ(t+ 1) = Jm(t)− θ,ν(t+ 1) = J2q(t) + σ2

θ . (3.44)

Utilizzando queste ultime all'interno dell'equazione 3.39, otteniamo una mappa

che descrive la dinamica per il momento primo e secondo della distribuzione degli

xi(t) nel limite termodinamico:

m(t+ 1) =

∫ +∞

−∞

f(h√J2q(t) + σ2

θ + Jm(t)− θ)√2π

e(−h2/2) dh, ,

q(t+ 1) =

∫ +∞

−∞

f 2(h√J2q(t) + σ2

θ) + Jm(t)− θ)√2π

e(−h2/2) dh, (3.45)


le variabili m(t) e q(t) sono de�nite all'interno dell'intervallo [0, 1]. Con la stessa

procedura è possibile determinare l'evoluzione dinamica anche degli altri momen-

ti della distribuzione; per ora ci arrestiamo ai primi due. Lo studio svolto dagli

autori si era concentrato al caso in cui J = 0. In questo caso le due equazioni

precedenti si disaccoppiano:

m(t+ 1) = Φ(q(t)) =

∫ +∞

−∞

f(h√J2q(t) + σ2

θ − θ)√2π

e(−h2/2) dh, ,

q(t+ 1) = Γ(q(t)) =

∫ +∞

−∞

f 2(h√J2q(t) + σ2

θ)− θ)√2π

e(−h2/2) dh, (3.46)

e la dinamica del sistema si riduce alla dinamica della mappa unidimensionale:

q(t+1) = Γ(q(t)). I punti �ssi della mappa di campo medio si determinano dallo

studio di:

q = Γ(q) =

∫ +∞

−∞

f 2(h√J2q + σ2

θ)− θ)√2π

exp

(−h

2

2

)dh, (3.47)

dove l'integrale non può essere svolto analiticamente, a causa delle proprietà della

funzione tangente iperbolica. Gli studi e�ettuati dagli autori e nel presente lavoro

di tesi si basano su una risoluzione numerica dell'integrale indicato nell'equazione

3.47. La distribuzione dei punti �ssi stabili della mappa di equazione 3.28 viene

descritta, almeno per quanto riguarda momento primo e secondo, dai punti �ssi

stabili dell'equazione 3.47.

Quando nella mappa 3.28 abbiamo un attrattore diverso dal punto �sso (ad

esempio cicli limite o attrattori caotici), la mappa di campo medio 3.47 non è

più su�ciente nella descrizione di tali attrattori. In tali casi, infatti, la mappa

di campo medio descrive, per t→∞, una variabile che rappresenta la media di

insieme degli stati che rappresentano l'attrattore. Questo comporta la perdita

dell'informazione relativa al tipo di attrattore posseduto dal sistema. Bisogna

sottolineare che l'eventuale presenza di più punti �ssi stabili nella mappa di

campo medio indica una rottura di ergodicità nel sistema.

Gli autori hanno studiato la mappa 3.47 nel caso σθ = 0 e J = 1. L'ultima

condizione non implica una perdita di generalità, perché i parametri fondamentali

del sistema sono i prodotti: gJ e θ/J . Ora la mappa dipende solo da due

parametri: g e θ. Si trova che la funzione Γ(q) è strettamente crescente, dunque

ammette solo punti �ssi. Le biforcazioni della mappa vengono studiate �ssando


un valore di θ e variando g. Il regime scelto è quello in cui il parametro θ è

positivo. Per valori negativi si trova che la mappa possiede sempre un punto

�sso e non presenta biforcazioni.

Nel caso di θ > 0 si osserva che il sistema possiede sempre un punto �sso

stabile. Variando il parametro g la mappa può avere una biforcazione del tipo

nodo-sella. Si passa da un punto �sso stabile a due punti �ssi stabili ed uno

instabile. L'andamento di Γ(q) quando θ = 0.347 è rappresentato in �gura 3.4:

Figura 3.4: La funzione Γ(q) nel caso θ = 0.347. La curva superiore corrisponde al valore

g = 3.5, quella centrale a g = 3.8 e quella inferiore a g = 4.5. Nel box è indicato il

caso g = 3.5.

le curve corrispondenti a g = 3.5 e g = 4.5 indicano la presenza di un punto

�sso stabile, per g = 4.5 l'intersezione con la bisettrice non è visibile; mentre

il caso per g = 3.8 indica la presenza di due punti �ssi stabili e di un punto

�sso instabile, dunque è presente una biforcazione di tipo nodo-sella. È possi-

bile realizzare dei diagrammi di biforcazione per la variabile m e q, in cui sono

rappresentati i punti �ssi stabili in funzione del parametro g, come il seguente,

realizzato per θ = 0.2 : Il parametro θ possiede due valori critici, θ ∼= 0.1 e

θ ∼= 0.385, al di sotto e al di sopra dei quali non si hanno biforcazioni nodo-sella

ma solo un punto �sso stabile. I risultati ottenuti si riassumono in un diagramma

nel piano (θ, g) dove sono rappresentati i due regimi e le curve critiche, indicate

con gsd1 e gsd2.


Figura 3.5: Biforcazione nel caso θ = 0.2. Sono mostrati i punti �ssi stabili in funzione del

parametro g.

Figura 3.6: Diagramma di biforcazione nel piano (θ, g), sono indicate le curve critiche gsd1 e

gsd2.

Nella regione 1 è presente un punto �sso stabile, mentre nella regione 2 si

hanno due punti �ssi stabili e un punto �sso instabile, l'attraversamento delle

curve critiche corrisponde alla transizione nodo-sella. L'area delimitata dalle due

linee verticali indica una regione in cui, pensando ad un parametro g crescente,

si ha una biforcazione nodo-sella seguita da una inversa, in�ne si ha un'ultima

biforcazione nodo-sella. La regione 2 nello spazio dei parametri è una regione

in cui si ha una rottura di ergodicità nel sistema. Le simulazioni e�ettuate

dagli autori sul sistema N dimensionale si riferiscono ad una taglia del sistema

N = 100. Le simulazioni consistono nel tentativo di riprodurre i gra�ci del tipo


di �gura 3.5, attraverso la variabile mnet de�nita da:

mnet =1

N

N∑i=1

xi. (3.48)

I valori di xi sono stati determinati facendo evolvere il sistema, dopo che sia

trascorso un numero di iterazioni transitorio, trascorso il quale il sistema si trova

su un attrattore. Al �ne di e�ettuare una media sulle realizzazioni della matrice

J, sono state utilizzate 30 realizzazioni diverse della matrice. Tali simulazioni

numeriche sono in accordo solo parziale con le a�ermazioni fatte utilizzando il

campo medio. Dalle simulazioni a taglia �nita si conclude che il sistema non ha

come attrattori solo i punti �ssi.

3.2.2 Analisi di stabilità dei punti �ssi

La teoria di campo medio esposta precedentemente non è su�ciente a descri-

vere gli attrattori del sistema, quando questi sono diversi dal punto �sso. Quando

il sistema è in una regione dei parametri nella quale, per ogni realizzazione del

disordine, si raggiunge un punto �sso, allora anche la dinamica di campo medio

raggiungerà un punto �sso. Non è vero il contrario, un punto �sso stabile della

mappa di campo medio non implica che l'attrattore corrispondente del sistema

sia un punto �sso. Si potrebbero avere cicli limite o attrattori caotici. La teoria

di campo medio, però, può essere utilizzata per studiare la stabilità dei punti

�ssi del sistema, perché fornisce i momenti della distribuzione dei punti �ssi del

sistema. Come abbiamo visto la distribuzione dei punti �ssi può anche non essere

unica. In questo senso il campo medio viene usato per descrivere la statica del

sistema e non la sua dinamica. Ricordiamo che ogni studio basato sul campo

medio implica che il sistema venga trattato nel limite termodinamico N → ∞.

Assumiamo che J = 0. E�ettuiamo una analisi di stabilità lineare dei punti �ssi

[20],[23] della mappa di Eq.(3.13). La matrice Jacobiana associata alla mappa,

calcolata nel punto �sso x∗, si scrive come il prodotto di due matrici:

D(x∗) = 2gΛ(x∗)J, (3.49)

dove Λ è una matrice diagonale di componenti:

Λij(x∗) = (x∗i − x∗2i )δij, (3.50)


Un punto �sso è stabile quando il raggio spettrale della matrice D(x∗) è stretta-

mente inferiore ad uno. Esiste un valore critico del parametro di controllo gc cor-

rispondente alla destabilizzazione dei punti �ssi stabili, tale valore è determinato

da:

2gcρ(Λ(x∗)J) = 1, (3.51)

dove ρ indica il raggio spettrale. La matrice random che studiamo è:

Y = Λ(x∗)J,

Yij = (x∗i − x∗2i )Jij, (3.52)

de�nita a partire dalla matrice casuale J e dal vettore casuale di soglie θi. Utiliz-

ziamo anche in questo caso le stesse ipotesi di scorrelazione della teoria di campo

medio. Le variabili casuali Yij diventano identicamente distribuite secondo una

distribuzione caratterizzata da media e varianza:

〈Yij〉 = 0,⟨(Yij − 〈Yij〉)2

⟩=

J2

N

⟨[(x∗i − x∗2i )2]

⟩. (3.53)

Gli elementi di matrice Yij non sono tra loro indipendenti, si ha una indipendenza

solo tra le righe della matrice J. Se tali elementi fossero indipendenti, il raggio

spettrale della matrice Y si potrebbe valutare nel limite termodinamico grazie al

teorema di Girko[11]. Nonostante questo il teorema di Girko viene utilizzato. Si

veri�ca numericamente che il raggio spettrale di matrici come la Y sia in accordo

con il teorema di Girko [17]. Sono stati compiuti anche altri studi numerici

riguardanti le matrici random nel campo dell'analisi di reti neurali[22].

Il teorema di Girko a�erma che se A è una matrice di dimensione N con

elementi indipendenti ed identicamente distribuiti, tali che:

〈Aij〉 = 0,⟨(Aij − 〈Aij〉)2

⟩=

σ2

N, (3.54)

allora nel limite termodinamico (N → ∞) il raggio spettrale è dato da σ. In

e�etti il teorema di Girko dà ulteriori informazioni sulla densità spettrale degli

autovalori nel piano complesso, ma qui non approfondiamo oltre. Utilizzando

questo teorema otteniamo il raggio spettrale della matrice Y:

ρ(Y) = J√〈[(x∗i − x∗2i )2]〉, (3.55)


dove la media viene eseguita utilizzando la teoria di campo medio, in questo caso

non sono più su�cienti i primi due momenti della distribuzione:⟨[(x∗i − x∗2i )2]

⟩= q − 2M3 +M4,

Mk =

∫ +∞

−∞

fk(h√J2q + σ2

θ)− θ)√2π

exp

(−h

2

2

)dh, k = 3, 4. (3.56)

In�ne il raggio spettrale della matrice Jacobiana D(x∗) è dato da:

ρ(D(x∗)) = 2gJ√q − 2M3 +M4, (3.57)

dove dobbiamo usare la soluzione di punto �sso stabile della variabile q in funzio-

ne del parametro g: q = q(g); per ottenere ρ = ρ(g). Ricordiamo che la funzione

q = q(g), come anche m = m(g), possono non essere uniche. L'equazione che

determina il valore critico di g in cui si ha la destabilizzazione dei punti �ssi

stabili è allora:

4g2J2(q(g)− 2M3(g) +M4(g)) = 1. (3.58)

Utilizzando i valori delle soluzioni di questa equazione al variare di θ, �ssando J =

1 e σθ = 0, otteniamo una nuova curva nel piano (θ, g). Tale curva viene indicata

con gdest, essa separa una zona dei parametri in cui si hanno come attrattori

punti �ssi da un'altra in cui sono presenti attrattori caotici. Questa a�ermazione

non è stata veri�cata da simulazioni numeriche nel lavoro originale, l'esecuzione

di tali simulazioni numeriche costituisce una parte del presente lavoro di tesi.

Attraverso le simulazioni numeriche è possibile veri�care tutta una serie di ipotesi

sempli�catrici che ci hanno condotto al presente quadro teorico. Il diagramma

di fase ricavato teoricamente nel limite di N →∞ è riportato in �gura 3.7, dove

sono visibili le tre curve di biforcazione gsd1, gsd2 e gdest. La curva gdest indica

una biforcazione di Hopf, attraverso la quale si passa da un punto �sso stabile ad

un attrattore caotico. Le due linee verticali indicano l'intervallo di valori della

soglia 0.1 < θ < 0.385 all'interno del quale il campo medio ha biforcazioni di tipo

nodo-sella. Le quattro zone colorate indicano il tipo di attrattore presente. La

zona arancione chiaro indica la presenza di un punto �sso stabile, mentre quella

arancione scuro la presenza di due punti �ssi stabili. La zona verde indica la

presenza di un attrattore caotico, in quella azzurra è presente sia un attrattore

caotico che un punto �sso stabile.


Figura 3.7: Diagramma di fase nel piano (θ, g) nel caso J = 1, J = 0 e σθ = 0. Le curve gsd1 e

gsd2 indicano le biforcazioni nodo-sella di campo medio, mentre gdest è la curva di

destabilizzazione dei punti �ssi. Le curve verticali rappresentano gli asintoti delle

curve gsd. I vari numeri e colori indicano il tipo di attrattore: l'arancione chiaro e

(1) indicano un punto �sso, l'arancione scuro e (4) indica due punti �ssi stabili, il

verde e (2) un attrattore caotico, l'azzuro e (3) un attrattore caotico e un punto

�sso.

Capitolo 4

Dinamica di un modello a tempo

discreto

Questo capitolo è dedicato ad un'analisi numerica del modello microscopico

3.28. In questo modo ci ripromettiamo di testare la correttezza della teoria di

campo medio. Gli obiettivi principali sono lo studio della dinamica microscopica

e collettiva della rete. La dinamica microscopica viene studiata per mezzo degli

esponenti di Lyapunov, i quali determinano le caratteristiche degli attrattori del

sistema. La dinamica collettiva della rete viene, invece, caratterizzata studian-

do l'evoluzione temporale di opportuni campi medi (dove per media si intende

una media di insieme sugli stati istantanei dei singoli oscillatori). In particolare

si intende studiare la possibile nascita di dinamiche collettive `non banali' del

sistema. Per `non banale' si intendono oscillazioni delle variabili macroscopiche

in presenza di una dinamica microscopica caotica. Infatti, in tali condizioni si

sarebbe portati ad ipotizzare che i singoli oscillatori evolvono in maniera com-

pletamente scorrelata (a causa del caos deterministico). Invece, studi fatti su

modelli astratti di mappe accoppiate hanno mostrato che anche in queste con-

dizioni è possibile l'esistenza di moti collettivi [8]. Inoltre, è presumibile che nel

cervello siano presenti varie dinamiche su diversi livelli di risoluzione.

Il capitolo è organizzato in cinque sezioni.

Nella prima, gli attrattori del campo medio sono studiati inizialmente in

modo qualitativo. Variando g da 0 a 10 si osservano la nascita di comportamenti

periodici, quasiperiodici e caotici. Successivamente, nel caso J = 0, vengono

51

52

studiate le �uttuazioni temporali della variabile di campo medio in funzione del

parametro di controllo g. La natura di tali �uttuazioni permette di determinare

l'eventuale presenza di una dinamica collettiva. Questa analisi viene condotta

per vari valori della taglia del sistema. In questo modo è possibile estrapolare

l'informazione riguardante la dinamica collettiva nel limite termodinamico. Il

risultato di tali analisi è che il moto collettivo è presente per valori �niti della

taglia. Nel limite termodinamico, invece, esso tende a zero.

La seconda sezione è dedicata allo studio dell'attività media dei singoli neu-

roni. L'attività temporale media di ogni neurone viene utilizzata al �ne di carat-

terizzare la struttura dell'attrattore del sistema. I neuroni sono etichettati da un

indice che è sostanzialmente arbitrario. Risulta conveniente ordinare i neuroni

in base alla loro attività media. L'ordinamento risultante dipende ovviamen-

te dal parametro di controllo g (con N e J �ssati). Allo scopo di confrontare

ordinamenti e quindi strutture diverse, introduciamo una variabile che misura op-

portunamente la distanza tra gli ordinamenti corrispondenti a due valori diversi

di g. Lo studio di reti con taglie diverse suggerisce che, nel limite termodinamico,

l'ordinamento e quindi la struttura varia poco (al massimo del 6% variando g da

2 a 10).

Per J = 0, le equazioni di campo medio si riducono ad una mappa unidi-

mensionale (che è l'unico caso studiato �no ad ora [17]) che coinvolge solo la

variabile q. In questo caso si trova che la mappa possiede come attrattori solo

dei punti �ssi. La terza sezione riguarda lo studio della dinamica di campo medio

per J 6= 0; in questo caso la mappa rimane bidimensionale e coinvolge due varia-

bili, m e q. Una ulteriore complicazione è che l'iterazione della mappa richiede

il calcolo di due integrali che devono essere svolti necessariamente in modo nu-

merico. A di�erenza del caso studiato in [17] troviamo anche orbite di periodo

due. Lo studio successivo della dinamica microscopica ci porta a concludere che

la dinamica collettiva di periodo due è relativamente banale. Infatti, si trova che

ogni neurone segue un'orbita di periodo due esso stesso. Questo signi�ca che i

neuroni sono tutti mutuamente sincronizzati.

La quarta sezione tratta lo studio degli esponenti di Lyapunov del sistema

partendo dalla de�nizione dei medesimi. Lo studio dell'esponente di Lyapunov

massimo in funzione del parametro di controllo g (e con gli altri valori dei pa-

rametri scelti come nelle sezioni precedenti) permette di identi�care in maniera

Dinamica di campo medio 53

accurata le varie biforcazioni e transizioni (da punto �sso a dinamica quasiperio-

dica e la nascita del comportamento caotico). Inoltre si trova che l'esponente di

Lyapunov massimo rimane �nito nel limite termodinamico. Estendendo il calcolo

a tutto lo spettro degli esponenti di Lyapunov, si trova anche che il numero di

esponenti positivi cresce con la taglia del sistema. Inoltre, lo studio dello spettro

per diverse realizzazioni della matrice delle connessioni J mostra una dipenden-

za degli esponenti di Lyapunov dalla realizzazione del disordine. Si trova, però,

che nel limite termodinamico queste �uttuazioni tendono a scomparire. Quindi è

ragionevole ipotizzare che nel limite termodinamico lo spettro di Lyapunov auto-

medi. L'ultima parte della quarta sezione è dedicato allo studio dello spettro di

Lyapunov per una rete in cui le e�cienze sinaptiche variano in modo casuale nel

tempo. Gli spettri risultano sostanzialmente equivalenti a quelli medi ottenuti

in una rete con disordine congelato. Questo risultato conferma indirettamente la

validità delle ipotesi di indipendenza statistica fatte nello sviluppo della teoria

di campo medio.

L'ultima sezione è dedicata ad una breve analisi della dinamica caotica al

variare di N . Gli spettri di Lyapunov risultano sovrapposti se vengono plottati

in funzione dell'indice i riscalato per la taglia N del sistema. In altre parole il

caos generato dalla rete neurale risulta essere `estensivo'. Questa è una proprietà

tipica di sistemi dinamici non lineari su reticolo ma del tutto nuova nell'ambito

di sistemi globalmente accoppiati. Una conseguenza della estensività del caos è

che il numero di gradi di liberta attivi, misurati dalla formula di Kaplan-Yorke,

è proporzionale alla taglia del sistema.

I codici dei programmi sono stati realizzati utilizzando il linguaggio di pro-

grammazione C in ambiente GNU-Linux.

4.1 Dinamica di campo medio

Studiamo la dinamica del campo medio del sistema 3.28 per i seguenti valori

dei parametri: J = 1, J = 0, σθ = 0, 0.3 e θ = 0. Il campo medio del sistema di

N neuroni è de�nito da:

m(t) =1

N

N∑i=1

xi(t). (4.1)


La variabile m(t) descrive la dinamica collettiva del sistema. Il primo scopo della

simulazione è quello di ottenere una rappresentazione gra�ca dell'attrattore. Le

simulazioni sono state realizzate �ssando la taglia del sistema, una realizzazione

casuale della matrice J ed una condizione iniziale casuale. La mappa viene

iterata per 60000 passi ed in gra�co vengono scartati i primi 3000 passi, che

rappresentano un intervallo transitorio prima del raggiungimento dell'attrattore.

I gra�ci sono stati realizzati in modo che sui due assi vengano riportati m(t+

1) verso m(t). In questo modo è possibile evidenziare caratteristiche come la

quasiperiodicità o la caoticità. Una volta che la matrice J è stata �ssata, si è

veri�cato che l'attrattore non dipenda dalla condizione iniziale. Nel caso θ =

0 l'attrattore ha come bacino di attrazione l'intero spazio delle con�gurazioni,

indipendentemente dal parametro g. Nel caso θ = 0.3, in funzione del parametro

g, si possono avere uno o due bacini di attrazione. A taglia �nita la forma e anche

il tipo di attrattore può dipendere dalla realizzazione della matrice J. In linea

di principio si possono osservare quattro tipi di attrattore: il punto �sso, l'orbita

periodica, l'orbita quasiperiodica e l'orbita caotica. Si ricorda che la mappa

di equazione 3.28 è una versione a tempo discreto del modello SCS. Bisogna

ricordare che un punto �sso della mappa può corrispondere ad un punto �sso o

ad un orbita periodica nel corrispondente sistema a tempo continuo.

Illustriamo ora qualitativamente la struttura degli attrattori presenti nei va-

ri regimi. L'evoluzione del sistema è stata simulata nel caso θ = 0 per le

taglie:N = 128, 256, 512, 1024. Per ogni valore di N sono stati trovati tre re-

gimi dinamici al crescere di g: punto �sso, orbita quasiperiodica e orbita caotica.

Indipendentemente dalla taglia, al di sotto di g = 4 si ha un punto �sso della

mappa. Nell'intervallo di valori 4 < g < 6 si hanno come attrattori delle orbite

quasiperiodiche. I gra�ci relativi agli attrattori quasiperiodici e caotici sono ri-

portati nelle �gure 4.1, 4.2 e 4.3, per due valori di N . I gra�ci degli attrattori

quasiperiodici sono caratterizzati da curve chiuse. L'e�ettiva traiettoria salta

in modo discontinuo da un punto all'altro della curva. Nel caso dell'attratto-

re di �gura 4.1, al �ne di rappresentare il moto tipico della variabile di campo

medio, si è riportata una sequenza composta da cinque iterate della mappa. Si

può osservare che il moto sull'attrattore è discontinuo. La forma dell'attrattore

quasiperiodico diventa più complessa nel caso di �gura 4.2. Si riporta, in�ne, in

�gura 4.3 il gra�co relativo ad un attratore caotico.


Figura 4.1: Attrattore quasiperiodico per N = 1024, g = 5, θ = 0, J = 0, σθ = 0. L'attrattore

è rappresentato dalla curva in nero. I punti indicati con i simboli di diamante in

rosso rappresentano una sequenza di 5 iterate della mappa. L'ordine nella sequenza

è indicato dai numeri in rosso.

Figura 4.2: Attrattore quasiperiodico per N = 512, g = 6, θ = 0, J = 0, σθ = 0.


Figura 4.3: Attrattore caotico per N = 1024, g = 6, θ = 0, J = 0, σθ = 0.

Secondo la teoria di campo medio ci deve essere una biforcazione dal punto

�sso ad un attrattore caotico nell'intorno di g = 5 per θ = 0, come viene indi-

cato qualitativamente nel gra�co 3.7. Qualitativamente questo è stato veri�cato

simulando il sistema per un valore della taglia N = 1024 e per valori crescenti di

g. Per valori di g superiori a g = 5 l'attrattore quasiperiodico diventa caotico.

Bisogna sottolineare che se la mappa di campo medio, per �ssati valori di N ,

possiede un attrattore caotico, questo non implica che tale sia l'attrattore del

campo medio anche per N →∞. Abbiamo visto nel paragrafo 3.2.1, infatti, che

teoricamente il campo medio ha solo punti �ssi stabili.


Figura 4.4: Scaling per il caso g = 6, θ = 0, J = 0, σθ = 0: ad N = 128 corrisponde il gra�co

di colore nero, ad N = 256 quello di colore rosso, ad N = 512 quello di colore

verde e ad N = 1024 quello di colore azzurro. L'estensione dell'attrattore decresce

al crescere della taglia.

Le �uttuazioni del campo medio, quindi, devono essere un e�etto di taglia

�nita, sia che rappresentino un attrattore quasiperiodico che un attrattore cao-

tico. Nella simulazione numerica questo deve implicare che all'aumentare della

taglia l'estensione dell'attrattore decresca. Si è studiato questo andamento qua-

litativo nel caso dell'attrattore caotico per g = 6 all'aumentare della taglia, come

indicato in �gura 4.4. Come si può osservare, si ha una e�ettiva diminuzione

delle �uttuazioni all'aumentare della taglia. Se si estrapola questo andamento

per N → ∞ si ottiene che le �uttuazioni vanno a zero. Questa conclusione è in

accordo con la teoria. Si sottolinea che gli attrattori ottenuti per i vari valori

delle taglie si riferiscono rispettivamente ad un unica realizzazione di J. Studian-

do varie realizzazioni di J , �ssando la taglia, si è veri�cato che l'estensione degli

attrattori precedenti è quella caratteristica delle varie taglie.

Scegliendo θ diverso da zero (θ = 0.3) si ritrova sostanzialmente il comporta-

mento dinamico qualitativo del caso θ = 0, con tre tipi di attrattori al crescere di

g. L'intervallo di valori di g in cui si hanno attrattori quasiperiodici diminuisce

al crescere della taglia. Inoltre si osserva che la dimensione dell'attrattore caotico


Figura 4.5: Scaling per il caso g = 6, θ = 0.3, J = 0, σθ = 0: ad N=128 corrisponde il gra�co di

colore nero, ad N=256 quello di colore rosso, ad N=512 quello di colore verde e ad

N=1024 quello di colore azzurro. L'estensione dell'attrattore decresce al crescere

della taglia.

diminuisce al crescere della taglia del sistema, vedi �gura 4.5. Questo signi�ca

che nel limite termodinamico si ottiene come attrattore un punto �sso.

La teoria di campo medio a�erma, inoltre, che per g = 6 e θ = 0.3 si devono

avere due attrattori e dunque due bacini di attrazione nello spazio delle con�-

gurazioni (vedi il gra�co 3.7). Fissando una realizzazione della matrice J per

N = 1024 e variando le condizioni iniziali abbiamo trovato due attrattori: un

punto �sso ed un attrattore caotico, (vedi �gura 4.6). L'attrattore caotico viene

raggiunto �ssando i valori iniziali delle xi secondo una distribuzione di probabi-

lità piatta tra 0 e 1, mentre il punto �sso viene ottenuto scegliendo gli xi con

una distribuzione piatta tra 0 e 0.01. In base a questi dati, relativi al caso g = 6

e θ = 0, 0.3, nel limite termodinamico l'attrattore caotico sembra diventare un

punto �sso.

Al �ne di rendere le osservazioni precedenti più quantitative è conveniente

introdurre la varianza dei valori assunti dalla variabile m(t):

σ2m =

⟨(m(t)− 〈m(t)〉)2⟩ , (4.2)


Figura 4.6: I due attrattori nel caso g = 6 e θ = 0.3: punto �sso e attrattore caotico.

dove le medie sono temporali. La valutazione della varianza richiede, quindi,

idealmente la conoscenza di m(t) per t → ∞. La variabile σm misura le �ut-

tuazioni del campo medio quando il sistema ha raggiunto l'attrattore. Il caso

σm = 0 implica che non ci sono oscillazioni e siamo dunque in presenza di un

punto �sso, altrimenti si può essere in presenza di un attratore quasiperiodico o

caotico. La variabile σm è stata determinata numericamente utilizzando 60000

passi di iterazione e scartando un intervallo transitorio di = 3000 iterate.

Al �ne di valutare la varianza, una volta �ssati il valore di N e la realizzazione

della matrice J, in funzione del parametro di controllo si introduce la funzione

σm(g,N). L'andamento di tale funzione al crescere di N dà una informazione

quantitativa sulla presenza o meno di dinamica collettiva. La funzione viene

determinata numericamente. La funzione viene calcolata determinando il valore

della 4.2 in funzione del parametro g. I valori di g sono �ssati partendo da

un valore minimo gm, il quale viene incrementato a passi costanti pari a ∆g

�no ad un valore massimo gM . Per ogni valore di g l'evoluzione del sistema ha

come condizione iniziale lo stato �nale ottenuto dall'evoluzione corrispondente

a (g − ∆g). Nel caso di gm la condizione iniziale è scelta in modo casuale. Le

�uttuazioni devono dipendere solo dal valore di g e non dalle condizioni iniziali.

Inoltre, non devono dipendere dalla direzione in cui vengono fatti gli incrementi


Figura 4.7: Gra�ci della funzione σm(g,N) nel caso N = 1024 e θ = 0 per una realizzazione

di J. Sono presenti due gra�ci, che corrispondono al verso scelto sull'asse g per

determinare i valori della funzione.

∆g. Queste due condizioni si riassumono riferendosi all'assenza del fenomeno di

isteresi. Il fenomeno di isteresi si ha quando i valori della funzione dipendono

dal verso con il quale vengono determinati. Per veri�care questa indipendenza

si utilizzano le condizioni �nali dell'evoluzione per gM come condizioni iniziali

per la determinazione delle �uttuazioni per (gM − ∆g) e cosi via �no a gm. In

questo modo si realizzano due funzioni σm(g,N). Se siamo in presenza di assenza

di isteresi, le due funzioni coincidono e si veri�ca e�ettivamente l'indipendenza

della funzione dalle condizioni iniziali e dal verso con la quale viene calcolata.

Si riporta in �gura 4.7 un esempio in cui la funzione σm(g,N) viene calcolata,

utilizzando i due versi possibili, per una realizzazione di J e per N = 1024,

θ = 0. Si ricorda, inoltre, che J = 1. Tale gra�co rappresenta un andamento

tipico per N = 1024. Nell'esempio riportato l'isteresi è quasi assente. I due

gra�ci della funzione σm(g,N) presentano piccole di�erenze per g > 5, dove è

presente il regime caotico. Si osserva che al crescere della taglia, i valori sono

N = 128, 256, 512, 1024, l'isteresi diminuisce �no quasi a scomparire.

Una volta che viene �ssato il valore di N la funzione σm(g,N) dipende dalla

realizzazione della matrice J. Al �ne di condensare l'informazione che si può


Figura 4.8: Funzioni σm(g,N) nel caso θ = 0. In nero è riportato il caso N = 128 con i simboli

di cerchio, in rosso N = 256 con i simboli di quadrato, in verde N = 512 con i

simboli di diamante, in blu N = 1024 con i simboli di triangolo.

ottenere considerando le varie realizzazioni della matrice si de�nisce la seguente

funzione:

σm(g,N) =1

Nr

Nr∑i=1

σm,i(g,N), (4.3)

dove Nr è il numero di realizzazioni della matrice J sul quale viene eseguita la

media. Questa funzione è la media sulle realizzazioni della funzione σm(g,N).

In questo modo la funzione σm(g,N) rappresenta l'andamento tipico della de-

viazione standard per un �ssato valore di N . Utilizzando la de�nizione 4.3 e

le osservazioni riguardanti l'isteresi, si possono ottenere due funzioni medie, che

corrispondono ai due versi in cui essa può essere determinata. In questo modo è

possibile fare un controllo di isteresi mediato sulle realizzazioni. Si riportano in

�gura 4.8 i gra�ci corrispondenti alle varie taglie per θ = 0. Dove la media per

N = 128 è stata realizzata per Nr = 128, la media per N = 256 per Nr = 64,

la media per N = 512 per Nr = 64 e la media per N = 1024 per Nr = 89.

La presenza dell'isteresi diminuisce progressivamente all'aumentare della taglia

del sistema. Come si può osservare il comportamento collettivo diminuisce al

crescere della taglia.


Figura 4.9: Scalatura della funzione σm(g,N) nel caso θ = 0. In gra�co viene riportato il

prodotto σm(g) ×√N , in nero è riportato N = 128, in rosso N = 256, in verde

N = 512, in blu N = 1024.

È possibile riscalare il valore delle funzioni in modo da cercare un fattore

che sia una funzione di N . Si utilizza il fattore√N al �ne di determinare una

sovrapposizione tra i gra�ci corrispondenti alle diverse taglie. Riportiamo in

�gura 4.9 il caso θ = 0. La sovrapposizione indica che la funzione σm(g,N)

scala con un fattore pari a 1/√N . Il fattore di scala 1/

√N viene confermato

per N = 256, 512, 1024, mentre per N = 128 si ha minore compatibilità. Se

questi risultati vengono estrapolati al limite termodinamico N →∞ la dinamica

collettiva tende a zero come 1/√N .

Il secondo caso esaminato è quello di soglia non nulla θ = 0.3 dove le medie

corrispondenti a vari valori di N sono eseguite sullo stesso numero di realizzazioni

tranne nel caso N = 1024 dove la media viene eseguita per Nr = 54. Anche

in questo caso i risultati delle simulazioni sono compatibili con un fattore di

scala 1/√N per i valori N = 256, 512, 1024 come riportato in �gura 4.10, per

N = 128 si ha minore compatibilità. Per N = 128 si osserva anche la presenza

di isteresi, sottolineamo, però, che questo valore di N è abbastanza piccolo e


Figura 4.10: Scalatura della funzione σm(g,N) nel caso θ = 0.3. In gra�co viene riportato il

prodotto σm(g,N)×√N , in nero è riportato N = 128, in rosso N = 256, in verde

N = 512, in blu N = 1024.


non ci aspettiamo che dia indicazioni signi�cative per l'andamento nel limite

termodinamico. Abbiamo osservato precedentemente che per θ = 0.3, anche per

valori di g > 5, possiamo avere come attrattore un punto �sso che ha un bacino

attrattivo limitato ad un intorno dell'origine. Non si ha evidenza di tale regime

studiando la funzione σm(g,N). Il motivo può essere il fatto che i gra�ci sono

stati realizzati utilizzando delle condizioni iniziali in cui è poco probabile che

tutte le componenti xi siano prossime all'origine.

I dati rappresentati nelle �gure 4.9 e 4.10 danno anche un idea qualitativa del

valore di g in cui si ha la destabilizzazione del punto �sso, non forniscono però

una informazione esatta a causa delle operazioni di media. Per avere un'idea

più precisa dei valori di destabilizzazione abbiamo usato un semplice algoritmo

che ricerca il valore di g per il quale σm > 10−5; per diverse realizzazioni della

matrice J. Si ottiene un insieme di valori di g dai quali ricaviamo una media

aritmetica e una deviazione standard nei casi θ = 0 e θ = 0.3. Nel caso θ = 0

si sono usati i seguenti valori della taglia: N = 128, 256, 512, 1024. Il numero di

realizzazioni della matrice su cui vengono fatte le medie sono rispettivamente:

Nr = 107, 63, 64, 63. I risultati ottenuti si possono riassumere in �gura 4.11, dove

sono riportati il valor medio e le �uttuazioni in funzione di N . Si può osservare

che al crescere di N i valori medi si avvicinano al valore gd = 5. Tale valore è

consistente con quello previsto dalla teoria, come si può vedere in �gura 3.7. Le

�uttuazioni, inoltre, tendono a diminuire al crescere della taglia. Questo implica

che nel limite termodinamico ogni realizzazione della matrice determina lo stesso

valore per gd.

Nel caso θ = 0.3 il sistema è stato simulato per dei valori di N che coincidono

con il caso precedente. Il numero di realizzazioni della matrice su cui vengono

fatte le medie sono rispettivamente: Nr = 118, 126, 64, 64. I risultati ottenuti

si possono riassumere in �gura 4.12, dove sono riportati il valor medio e le �ut-

tuazioni in funzione di N . Anche in questo caso l'andamento del valor medio

è consistente con la previsione della teoria, che prevede un valore gd ≈ 4 (vedi

�gura3.7). I risultati ottenuti nei due regimi analizzati, quindi, confermano le

previsioni della teoria di campo medio.


Figura 4.11: In �gura i punti rappresentano la media gd dei valori di destabilizzazione del

punto �sso nel caso θ = 0 in funzione di N . Le barre di errore sono determi-

nate dalle �uttuazioni, che sono valutate dalla deviazione standard dei valori di

destabilizzazione.

Figura 4.12: In �gura i punti rappresentano la media gd dei valori di destabilizzazione del

punto �sso nel caso θ = 0.3 in funzione di N . Le barre di errore sono determi-

nate dalle �uttuazioni, che sono valutate dalla deviazione standard dei valori di

destabilizzazione.

Attività della rete 66

4.2 Attività della rete

La struttura degli attrattori del sistema può essere caratterizzata attraverso

la media e le �uttuazioni dell'attività dei singoli neuroni. La media e la varianza

dell'attività del neurone i-esimo sono de�nite da:

ai = 〈xi〉 , (4.4)

σ2a,i =

⟨(xi − 〈xi〉)2⟩ , (4.5)

dove le medie sono temporali. I vari neuroni sono identi�cati da un indice. Gli

indici rappresentano le etichette da attribuire ai vari neuroni. La conoscenza delle

variabili ai permette di ordinare i neuroni da quello con attività maggiore a quello

con attività minore. Questa scelta nell'ordinamento dei neuroni è una delle tante

possibili. Essa, però, ci permette di caratterizzare gli attrattori attraverso lo stato

medio della rete. In questo modo si ha una caratterizzazione semplice e diretta

in base alla dinamica del sistema. I diversi attrattori inducono degli ordinamenti

diversi. Il confronto di questi ordinamenti permette di confrontare tra loro la

struttura degli attrattori in funzione del parametro g. Le �uttuazioni, invece,

permettono di caratterizzare il tipo di attrattore. Fluttuazioni nulle implicano il

raggiungimento di un punto �sso, mentre �uttuazioni non nulle possono indicare

un attrattore quasiperiodico, periodico o caotico.

Nelle simulazioni numeriche le medie indicate da 4.4 e 4.5 sono eseguite su

un intervallo temporale �nito, su�ciente a descrivere il moto sull'attrattore. Il

sistema viene fatto evolvere su 10000 passi temporali scartando un intervallo

transitorio iniziale di 3000 passi. Sono stati studiati alcuni casi tipici. Esami-

niamo il caso in cui i valori dei parametri siano: J = 1, J = 0, θ = 0, σθ = 0

e N = 1024. Anche in questo caso si e�ettua la simulazione scegliendo una

realizzazione della matrice J. Nei programmi si è utilizzato un algoritmo di or-

dinamento contenuto nelle librerie GSL. Riportiamo nelle �gure 4.13 e 4.14 le

attività medie e le deviazioni standard nei casi g = 2 e g = 6. Nel primo abbiamo

come attrattore un punto �sso mentre nel secondo un attrattore caotico.

Nella �gura 4.13 possiamo osservare l'andamento dell'attività media. La scel-

ta dell'ordinamento dei neuroni implica che la curva sia monotona decrescente. Il

valore degli estremi della curva, però, sono dovuti alle caratteristiche del sistema.

La curva può essere interpretata qualitativamente in termini della probabilità di


Figura 4.13: L'attività media e la deviazione standard dei neuroni nel caso g = 2, dove la

curva che indica la sd è ordinata allo stesso modo della curva di attività media.

L'attività media è indicata in nero, mentre la sd è nulla.

Figura 4.14: L'attività media e la deviazione standard dei neuroni nel caso g = 6, la curva nera

indica l'attività media mentre la rossa indica la deviazione standard.


trovare un neurone in uno stato di attività alta o bassa. Il gra�co implica che il

numero di neuroni con un'attività media compresa tra a e a + ∆a sia quasi co-

stante. Sarebbe esattamente costante nel caso in qui la curva fosse approssimata

da una retta. Questo implica che se scelgo un neurone a caso, la sua probabilità

di assumere un certo valore a è quasi costante nell'intervallo [0, 1].

Nel caso dell'attrattore caotico rappresentato in �gura 4.14 si ha un anda-

mento di�erente. Possiamo osservare in �gura che sono presenti all'incirca 250

neuroni con attività alta e altrettanti con attività bassa, entrambi con �uttuazio-

ni quasi nulle. Circa la metà dei neuroni ha un'attività media che copre l'intero

intervallo di valori [0, 1] con �uttuazioni comprese nell'intervallo [0, 0.3]. Una

interpretazione in termini di probabilità implica che sia più probabile, rispetto

al caso precedente, osservare un neurone molto attivo o poco attivo.

Abbiamo ottenuto gra�ci simili a quello di �gura 4.14 nel caso g = 8 e g = 10.

Si deve sottolineare, però, che i casi corrispondenti a g = 2 e g = 6 sono stati

confrontati soltanto in termini del valore di attività assunto da un certo gruppo

di neuroni. In questo caso, infatti, si ha un ordinamento diverso dei neuroni, che

corrisponde al valore di g utilizzato. L'ordinamento, però, consente di ricavare

una informazione diretta sulla probabilità che un neurone abbia una certa attività

media, una volta che si sia �ssato il valore di g.

Per confrontare gli attrattori in base alle attività medie ottenute per valori

diversi di g, bisogna scegliere un ordinamento di riferimento per gli indici i. I

neuroni sono indicati dall'indice i, ci si può domandare se una singola realiz-

zazione della matrice J possa indurre un ordinamento nei neuroni indipendente

dal parametro g. Si sceglie l'ordinamento di riferimento del caso g = 2, che

corrisponde ad una con�gurazione di punto �sso. Tale scelta, comunque, rimane

arbitraria. Utilizzando l'ordinamento di riferimento per riordinare i valori delle

curve relative al caso g = 6, otteniamo il gra�co in �gura 4.15.

Le �gure 4.14 e 4.15 sono diverse; l'ultima è caratterizzata da valori del-

l'attività distribuiti su una curva con ampie �uttuazioni. Si può osservare che

l'aspetto complessivo della curva di attività media e deviazione standard di �-

gura 4.15 è ancora caratterizzato da un insieme di neuroni con attività alta ed

uno con attività bassa, con scarse �uttuazioni. Quello che è più signi�cativo è

paragonare i gra�ci di �gura 4.13 e 4.15. Se paragoniamo le due curve di attività

media possiamo osservare che gli stessi neuroni hanno nel regime caotico un'atti-


Figura 4.15: L'attività media e la deviazione standard nel caso g = 6. In questo caso è stato

usato l'ordinamento del caso g = 2. La curva nera a tratto continuo indica

l'attività media, mentre quella rossa tratteggiata indica la deviazione standard.

vità media che �uttua attorno a quella relativa al regime di punto �sso. Questo

avviene anche per i gra�ci ottenuti per i valori g = 8 e g = 10.

Questo implica che si ha una relazione tra le attività medie relative ai diversi

valori del parametro g. Rendiamo quantitativa questa osservazione de�nendo la

seguente variabile:

D(g) =1

N2

N∑1=1

|Cg(i)− Cg(i)| , (4.6)

dove C è un vettore N-dimensionale in cui l'elemento Cg(i) rappresenta la posi-

zione del neurone i nell'ordinamento de�nito in base all'attività media. Il valore

di riferimento di g rispetto al quale si calcola la variabile D è indicato da g.

La variabile D misura una sorta di distanza tra i vettori Cg, se gli ordinamenti

dovuti all'attività fossero uguali per due valori di g diversi, allora la variabile D

sarebbe nulla.

Possiamo rappresentare in un gra�co (vedi un esempio nella �gura 4.16) le

coppie di punti [Cg(i), Cg′(i)]. Se gli ordinamenti fossero uguali si otterrebbe una

bisettrice, altrimenti se fossero completamente scorrelati si dovrebbe ottenere una

distribuzione uniforme di punti. Nel gra�co sono riportati i valori corrispondenti


Figura 4.16: Distribuzione di punti costruita in base ai vettori Cg, per i valori g = 2 e g = 6.

a g = 2 e g = 6. Si osserva una distribuzione di punti addensata attorno alla

bisettrice. Tale distribuzione di punti indica che gli ordinamenti nei due casi

sono simili, nel senso che si ottiene un valore D ≈ 5.65× 10−2, ricordiamo che il

valore massimo di D è 1.

Si può costruire anche una funzione D(g) una volta �ssato g. La funzione

D(g) può essere mediata sulle realizzazioni della matrice J in modo da ottenere

la funzione:

Dm(g) =1

Nr

Nr∑i=1

Di(g), (4.7)

dove Nr è il numero di realizzazioni della matrice J. Inoltre è possibile de�nire

una deviazione standard Dsd dei valori di Di(g) al �ne di valutare le �uttuazioni

attorno alla media. Da queste due funzioni è possibile estrarre una informazione

che dipende solo dal valore di g e di N . Abbiamo e�ettuato questa operazio-

ne per N = 128, 256, 512, 1024, 2048 utilizzando rispettivamente un numero di

realizzazioni Nr = 128, 64, 64, 32, 32 �ssando g = 2, come riportato in �gura 4.17.

Le curve che rappresentano le medie sono limitate dal valore 0.06. Tali curve

sono tra loro simili. I gra�ci relativi ad N = 1024 e N = 2048 sono quasi


Figura 4.17: Valor medio e deviazione standard della funzione D(g) e�ettuate per g = 2 per i

valori N = 128, 256, 512, 1024, 2048, le curve superiori rappresentano i valor medi

mentre le curve inferiori reppresentano le deviazioni. Alle varie taglie corrispon-

dono diversi simboli e vari colori: ad N = 128 è associato il nero con i simboli di

cerchio, ad N = 256 il rosso con i simboli di quadrato, ad N = 512 il verde con i

simboli di diamante, ad N = 1024 il blu con i simboli di triangolo e ad N = 2048

il magenta con i simboli di triangolo sinistro. I punti dei gra�ci sono calcolati con

un passo ∆g = 0.5.

coincidenti. Questo implica la convergenza ad una curva limite per N → ∞,

comunque limitata dal valore 0.06. Il massimo della curva limite, che viene

identi�cato con il gra�co ottenuto per N = 2048, ha un massimo per il valore

g ≈ 5, che corrisponde approssimativamente al valore per il quale la teoria di

campo medio prevede la biforcazione dal punto �sso all'attrattore caotico.

Le curve relative alle deviazioni standard hanno valori decrescenti al crescere

di N . In base a questi dati è possibile ipotizzare che tali curve scalino con una

legge a potenza. Si trova che le curve di deviazione scalano approssimativamente

con un fattore N−1/2, come illustrato in �gura 4.18. Questo signi�ca che la

funzione D(g) possiede la proprietà dell'automedia. Nel limite termodinamico la

funzione media converge ad una funzione limite e le �uttuazioni vanno a zero.

In questo modo ad ogni realizzazione della matrice si associa la stessa funzione

D(g).


Figura 4.18: Deviazioni standard della funzione D(g) moltiplicate per il fattore di scala N1/2

per θ = 0 e per N = 128, 256, 512, 1024, 2048. Alle varie taglie corrispondono

diversi simboli e vari colori: ad N = 128 è associato il nero con i simboli di

cerchio, ad N = 256 il rosso con i simboli di quadrato, ad N = 512 il verde con i

simboli di diamante, ad N = 1024 il blu con i simboli di triangolo e ad N = 2048

il magenta con i simboli di triangolo sinistro.I punti dei gra�ci sono calcolati con

un passo ∆g = 0.5.


Figura 4.19: Matrice D. nel caso N = 1024 per J = 0, θ = 0 e σθ = 0. Le tonalità di grigio

indicano il valore degli elementi di matrice.

Oltre alla funzione D(g), de�nita in base al valore g, possiamo de�nire una

matrice D i cui elementi di matrice sono de�niti da:

Dm,n =1

N2

N∑1=1

|Cgm(i)− Cgn(i)| . (4.8)

In questo modo è possibile paragonare gli ordinamenti per ogni valore della coppia

(gm, gn). La matrice D è una matrice simmetrica con Dm,m = 0. Si è e�ettuata

una simulazione in cui la realizzazione della matrice J è la stessa di quella uti-

lizzata nella simulazione precedente. La matrice Dm,n è stata determinata per

valori di g compresi nell'intervallo [2, 21.5] a passi ∆g = 0.5, come riportato in

�gura 4.19.

Tale immagine riporta con diverse tonalità di grigio il valore di ogni elemento

della matrice D. Sono, inoltre, riportate delle linee di livello della funzione che

interpola il valore degli elementi di matrice, che sono interpretati come valori

di un gra�co di funzione f(gm, gn) = Dm,n. I valori massimi degli elementi di

matrice si concentrano nella riga individuata da gm = 5.5 e nella colonna da

gn = 5.5, entrambi sono limitati dal valore di attività media 0.058. Questo

risultato conferma che la scelta del valore g nella funzione D(g) non altera il

Mappa di campo medio 2D 74

valore massimo raggiungibile da quest'ultima. La scelta di g, quindi, può essere

arbitraria. La proprietà di automedia conduce alla conclusione che nel limite

termodinamico la struttura dell'attrattore dipende debolmente dal parametro g,

dato che il valor massimo della variabile D è D ≈ 0.06.

4.3 Mappa di campo medio 2D

Le equazioni di campo medio 3.45 sono state studiate numericamente nel

regime J = 0 e σθ = 0. Qui si vogliono studiare alcuni casi in cui J 6= 0 e

σθ 6= 0 . Quando J = 0 le equazioni di campo medio si sempli�cano riducendosi

ad una mappa bidimensionale. Si studia il caso J 6= 0 al �ne di indagare la

dinamica collettiva. Il caso della mappa unidimensionale è caratterizzaato da

una dinamica collettiva che ha come attrattore un punto �sso. Nel caso della

mappa bidimensionale potrebbero nascere comportamenti collettivi diversi dal

caso precedente. Inoltre, anche la dinamica microscopica potrebbe essere diversa

da quella del caso J = 0. Al �ne di veri�care le previsioni che otteniamo dalle

simulazioni della mappa di campo medio, vengono svolte delle simulazioni di

campo medio uguali a quelle che hanno condotto alle �gure 4.1 e 4.3 del paragrafo

4.1. La mappa di campo medio è de�nita da due integrali, i quali non si risolvono

analiticamente. È necessario allora eseguire una integrazione numerica per la

quale è stato utilizzato un algoritmo di calcolo basato sulla regola di Simpson

estesa; la quale è rappresentata dalla formula seguente:∫ hN

h1

f (h) dh =∆h

[1

3f1 +

4

3f2 +

2

3f3 +

4

3f4 + . . .

+2

3fN−2 +

4

3fN−1 +

1

3fN

]+O

(1

N4

),

(4.9)

dove l'intervallo di integrazione [h1, hN ] viene diviso in N − 1 intervalli di

uguale ampiezza ∆h e f(hi) = fi. L'algoritmo che implementa questa tecnica è

riportato in [16]. L'approssimazione che viene utilizzata nella simulazione consi-

ste nell'approssimare gli integrali inde�niti presenti in 3.45 con i corrispondenti

integrali de�niti, che vengono eseguiti nell'intervallo [−50.50]. Tale approssima-

zione è resa possibile dal fattore Gaussiano presente all'interno della funzione

integranda. Facciamo notare, infatti, che il valore exp (−1250) è praticamente


Figura 4.20: Gra�co di biforcazione per J = 0 e θ = 0.2. Le due curve indicano i punti �ssi

stabili della mappa, la biforcazione si ha per g ≈ 9.

uguale 0. Inoltre il termine trascurato può avere importanza solo nel caso in cui

la dinamica di campo medio evidenziasse un comportamento caotico. Utilizzan-

do questa approssimazione si è scritto un algoritmo che simula l'evoluzione della

mappa di campo medio, di cui vogliamo studiare gli attrattori. Si sono costruiti

dei gra�ci in cui la variabile m viene riportata in funzione del parametro g. Per

ogni valore del parametro g è stato escluso un intervallo temporale transitorio

prima di determinare il tipo di attrattore. Utilizzando tale procedura nel caso

J = 0 e θ = 0.2 si è ottenuto un risultato consistente con quello del lavoro di

Cessac, rappresentato dal confronto tra la �gura 3.5 e la �gura 4.20. Il gra�co

mostra i punti �ssi stabili del sistema e una biforcazione per g ≈ 9. Nella regione

dove si hanno due punti �ssi si hanno due bacini attrattivi; quello relativo al

punto �sso con valore di m minore ha una estensione ridotta ed è localizzato nel

quadrato ([0, 0.05], [0, 0.05]).

Nel caso J = −1 e θ = 0.2 si osserva un gra�co di biforcazione qualitativa-

mente simile al precedente, come riporatato in �gura 4.21. Anche in questo caso

si osservano due bacini attrattivi per i valori del parametro g ≥ 6.5. Per veri�ca-

re questo andamento si studia la dinamica di campo medio, vedi equazione 4.1,

per il valore N = 1024 per g = 2, 6, 7. Per g = 2 si trova un punto �sso mentre


Figura 4.21: Gra�co di biforcazione per J = −1 e θ = 0.2. Le due curve indicano i punti �ssi

stabili della mappa, la biforcazione si ha per g ≈ 6.5.

per g = 6 un attrattore caotico. Questo risultato è compatibile con la teoria di

campo medio nell'ipotesi che la dimensione dell'attrattore decresca all'aumenta-

re di N , che è il comportamento trovato per J = 0. Studiando l'attrattore per

le taglie N = 128, 256, 512, 1024 si conclude che tale ipotesi è corretta anche in

questo regime. Nel caso g = 7 si riscontra la presenza di due attrattori: un punto

�sso ed un attrattore caotico. Il punto �sso si ottiene usando delle condizioni

iniziali prossime all'origine. Di nuovo l'attrattore caotico è compatibile con il

campo medio solo se esso tende a scomparire all'aumentare della taglia del siste-

ma. Anche in questo caso le simulazioni per i vari valori di N hanno confermato

questo andamento.

Nel caso J = −5 e θ = 0.2 si ha un cambiamento qualitativo nel tipo di

attrattori della mappa. Si osserva la presenza di orbite di periodo due su un

ampio intervallo di valori del parametro g, come illustrato in �gura 4.22. Si

ha una prima biforcazione per g ≈ 1, che è del tipo raddoppiamento del periodo

diretta, mentre la seconda per g ≈ 8.2 è dello stesso tipo ma inversa. La teoria di

campo medio a�erma, dunque, che nell'intervallo tra le due biforcazioni è presente

una dinamica collettiva periodica. Lo studio del campo medio per N = 1024

evidenzia la presenza di due tipi di attrattore: punto �sso e orbita di periodo


Figura 4.22: Gra�co di biforcazione per J = −5 e θ = 0.2. Si osservano due biforcazioni,

la regione compresa tra le due biforcazioni è caratterizzata da un attrattore di

periodo due.

due. Il punto �sso si ottiene per i valori di g inferiori alla prima biforcazione e

per valori maggiori della seconda. Tra le due biforcazioni si conferma un'orbita

di periodo due.

La simulazione di campo medio, però, non determina se la dinamica collettiva

è o meno banale. A tal �ne si può analizzare la dinamica dei singoli neuroni.

Tale analisi conferma che le singole variabili seguono un'orbita di periodo due.

Questo indica una dinamica collettiva banale. Tale dinamica collettiva banale e

stata individuata anche nei casi J = −5, θ = 0.3 e J = −2.5, θ = 0.1, σθ = 0.01,

quest'ultimo è rappresentato in �gura 4.23. L'ultimo caso rappresenta un regime

dinamico in cui ogni neurone è caratterizzato da un valore diverso della soglia.

L'analisi del campo medio per N = 1024 ha evidenziato tre tipi di attrattore:

punto �sso, orbita di periodo due e attrattore caotico. Il punto �sso si ha per i

valori g ≤ 2, mentre l'orbita periodica per i valori 2 ≤ g ≤ 6. Anche in questo

regime si eseguono delle simulazioni di singolo neurone al �ne di determinare

la dinamica microscopica. Tale analisi ha confermato un orbita di periodo due

nell'intervallo 2 ≤ g ≤ 6.

La dinamica di campo medio, inoltre, conferma la presenza dell'attrattore

Spettri di Lyapunov 78

Figura 4.23: Gra�co di biforcazione per J = −2.5, θ = 0.1 e σθ = 0.01. Si osservano due

biforcazioni, la regione compresa tra le due biforcazioni è caratterizzata da un

attrattore di periodo due.

caotico per i valori g > 6. In questo caso si può avere accordo con la teoria

solo se l'attrattore caotico scompare nel limite termodinamico. Le simulazioni

e�ettuate per i vari valori di N hanno confermato la riduzione dell'estensione

dell'attrattore. Si può concludere che le simulazioni di campo medio confermano

le previsioni fornite dalle simulazioni della mappa di campo medio in tutti i regimi

studiati. La presenza, inoltre, dei parametri non nulli J e σθ rivela la presenza

di una dinamica collettiva banale del sistema.

4.4 Spettri di Lyapunov

Gli esponenti di Lyapunov costituiscono un strumento per caratterizzare gli

attrattori di un sistema dinamico. Indichiamo con M una mappa generica che

descrive un sistema dinamico in uno spazio N-dimensionale:

x(t+ 1) = M(x(t)), (4.10)

dove il vettore N-dimensionale x(t) descrive lo stato del sistema e il tempo t ≥ 0

è un numero intero. Scegliendo una condizione iniziale x0 determiniamo una


particolare orbita x(t) nello spazio delle con�gurazioni. Consideriamo lo spazio

tangente all'orbita nel punto x0 e scegliamo un vettore tangente in�nitesimo y0.

L'evoluzione dell'orbita avente condizione iniziale x0 + y0 è data da x(t) + y(t),

dove y(t) è descritto dalla mappa:

y(t+ 1) = D (x(t))y(t), (4.11)

dove D(x) è la matrice Jacobiana associata alla mappa M(x). In particolare

il rapporto y(t)/ |y(t)| fornisce la direzione dello spostamento in�nitesimo dal-

l'orbita imperturbata x(t), mentre il rapporto |y(t)| / |y0| de�nisce il fattore di

crescita o di contrazione dello spostamneto in�nitesimo. L'equazione 4.11 può

essere riscritta in termini della condizione iniziale nello spazio tangente:

y(t) = Dt (x0)y0, (4.12)

dove

Dt (x0) = D (x(t− 1)) ·D (x(t− 2)) · ... ·D (x0) . (4.13)

De�niamo l'esponente di Lyapunov per una condizione iniziale x0 e una direzione

iniziale u0 = y0/ |y0|, de�nita dal vettore in�nitesimo nello spazio tangente,

come:

h(x0,u0) = limt→∞

1

tln

(|y(t)||y0|

)= lim

t→∞

1

tln∣∣Dt(x0) · u0

∣∣ . (4.14)

Data una mappa N-dimensionale avremo un numero massimo N di esponenti di

Lyapunov distinti per un dato x0. Tali esponenti caratterizzano le N direzio-

ni espandenti de�nite nello spazio tangente ad ogni punto della traiettoria del

sistema. Bisogna sottolineare che le direzioni di espansione possono dipendere

dal punto sulla traiettoria. Ad esempio la direzione di espansione massima può

variare da punto a punto sulla traiettoria. Tale concetto si può illustrare gra�ca-

mente. Se si distribuiscono uniformemente delle condizioni iniziali in un intorno

sferico I(x0) di raggio in�nitesimo e si lascia evolvere il sistema, la sfera iniziale

evolve in un ellissoide. Questo è illustrato in �gura 4.24 per il caso N = 2 e

h1(x0) > 0 > h2(x0). Nel limite t → ∞ gli esponenti di Lyapunov forniscono

il tasso temporale della crescita, o decrescita, esponenziale degli assi principali

dell'ellissoide in evoluzione.


Figura 4.24: Evoluzione di un intorno sferico di condizioni iniziali. Viene rappresentata l'n-

esima iterata della mappa M.

L'insieme degli esponenti di Lyapunov hi de�nisce lo spettro di Lyapunov.

Sotto ipotesi molto generali, vedi [20] e [23], gli esponenti hi non dipendono dal-

la condizione iniziale x0 all'interno di un determinato bacino attrattivo. Si può

parlare di spettro di Lyapunov di un attrattore senza riferirsi ad una speci�ca

condizione iniziale. Un attrattore viene de�nito caotico se il suo esponente di

Lyapunov massimo è positivo. Nel caso di esponente massimo negativo si ha

come attrattore un'orbita periodica. Il caso nullo corrisponde ad un attrattore

rappresentato da un'orbita quasiperiodica. La eventuale orbita periodica include

il caso di periodo uno, che si riferisce ad un punto �sso. Si sottolinea che questa

classi�cazione degli attrattori in base al segno del massimo esponente di Lyapu-

nov si riferisce ad un sistema dinamico descritto da una mappa, nel caso di un

sistema di equazioni di�erenziali la classi�cazione è diversa.

Lo spettro di Lyapunov può essere determinato numericamente attraverso va-

rie tecniche, noi useremo quella sviluppata da Benettin et al.(1980) riportata in

[20]. Tale algoritmo fornisce lo spettro hi ordinato dal valore massimo al valore

minimo. Il problema principale nella determinazione numerica degli esponenti

risiede nel fatto che se si considerano due generici vettori iniziali indipendenti

u0,1 e u0,2, la loro orientazione diventa indistinguibile dopo un numero non ele-

vato di iterate della mappa. Questo avviene perché il fattore di crescita lungo

le direzioni di espansione è esponenziale, dunque la componente lungo la dire-


zione di massima espansione diventa dominante. Questo problema viene risolto

rinormalizzando, per un idoneo intervallo di iterate della mappa, con la proce-

dura di Gram-Schmidt i vettori indipendenti che evolvono nello spazio tangente.

Si ricorda che il numero di vettori indipendenti necessario è pari al numero di

esponenti che si vogliono calcolare.

Al �ne di calcolare l'evoluzione nello spazio tangente abbiamo utilizzato la

seguente espressione della matrice jacobiana della mappa:

Dij =1

2sech2

(g

(1√N

N∑k=1

Jikxk − θi

))(g√NJij

), (4.15)

dove J = 1, J = 0. Questa espressione coincide, attraverso opportune sostituzio-

ni, con quella riportata in equazione 3.49. Nel caso J 6= 0 si utilizza l'equazione

4.15 senza il fattore 1/N davanti la sommatoria, perché non è più conveniente

estrarre questo fattore.

4.4.1 Esponente massimo

Nel paragrafo 4.1 si è osservato che le simulazioni di campo medio indicano

l'esistenza di tre regimi dinamici in funzione del parametro g. Questi tre regimi

possono essere caratterizzati in base all'esponente di Lyapunov massimo. L'ana-

lisi dell'esponente di Lyapunov massimo in funzione del parametro g permette,

infatti, di determinare il tipo di attrattore della mappa 3.28.

L'analisi numerica dello spettro richiede un controllo di convergenza del limite

indicato in 4.14. I valori degli esponenti, infatti, si ottengono facendo evolvere il

sistema per un numero �nito di passi. Studiando l'andamento dell'esponente di

Lyapunov massimo nel tempo, si è concluso che 60000 iterate sono su�cienti alla

convergenza del limite entro un errore ∆h = 10−5 per i vari valori di N utilizzati.

Pertanto tutte le simulazioni sono state e�ettuate su questo intervallo temporale.

Si studia l'esponente massimo per θ = 0, con 2 ≤ g ≤ 8, per i valori N =

128, 256, 512, 1024, 2048, dove abbiamo utilizzato una realizzazione della matrice

J.

Tali simulazioni, dunque, rappresentano gli andamenti qualitativi caratteri-

stici per i vari valori di N . Le simulazioni utilizzano, per ogni valore di g, delle

condizioni iniziali che coincidono con le condizioni �nali ottenute per il valore di


Figura 4.25: Esponente di Lyapunov massimo in funzione del parametro g, nel caso θ = 0 e

N = 1024, 2048. In nero con i simboli di cerchio è riportato il caso N = 1024 e in

rosso con i simboli di quadrato è riportato il caso N = 2048. Il valore del passo

utilizzato è ∆g = 0.1.

g immediatamente precedente. Per il primo valore di g si impiegano delle condi-

zioni iniziali casuali. Riportiamo in �gura 4.25 il risultato ottenuto per N = 1024

e N = 2048. Possiamo distinguire i tre attrattori: punto �sso, orbita quasiperio-

dica e attrattore caotico. In �gura possiamo osservare una regione piatta dove gli

esponenti sono quasi nulli. I valori da noi determinati sono dell'ordine di 10−6,

dunque considerando un errore dell'ordine di 10−5 questi valori sono consistenti

con lo zero. Questo intervallo di valori di g corrisponde ad una regione in cui

si hanno attrattori quasiperiodici. La transizione dal punto �sso all'attrattore

caotico è caratterizzata da un andamento quasiperiodico. Tale intervallo è cen-

trato attorno al valore g = 5, che è approssimativamente il valore previsto dal

campo medio per la biforcazione tra punto �sso e attrattore caotico, come si può

osservare in �gura 3.7.

I risultati ottenuti per gli altri valori di N sono simili. L'ampiezza dell'in-

tervallo di g in cui si ha l'orbita quasiperiodica è aprossimativamente costante:

∆g ≈ 0.5. Questo risultato non concorda con i risultati della teoria di campo

medio. Non si ha consistenza perché l'intervallo ∆g non diminuisce al crescere

di N . Questo potrebbe essere in parte dovuto al fatto che gli intervalli ∆g sono


ottenuti senza e�ettuare una media sulle realizzazioni di J.

Nel caso θ = 0.3 le simulazioni vengono eseguite per gli stessi valori N . Il

risultato per N = 1024, 2048, entrambe realizzate con una realizazione di J, è ri-

portato in �gura 4.26. Per entrambi i valori di N è presente un intervallo di valori

Figura 4.26: Esponente di Lyapunov massimo in funzione del parametro g, nel caso θ = 0.3

e N = 1024, 2048, per una realizzazione di J. In nero con i simboli di cerchio è

riportato il caso N = 1024 e in rosso con i simboli di quadrato è riportato il caso

N = 2048. Il valore del passo utilizzato è ∆g = 0.1.

del parametro di controllo g in cui si ha la presenza di attrattori quasiperiodici.

Tale intervallo è localizzato nella zona dova la teoria di campo medio prevede

la presenza della biforcazione punto �sso-attrattore caotico, come si osserva in

�gura 3.7. Anche in questo caso si ha una transizione dal punto �sso all'attratore

caotico attraverso un andamento quasiperiodico. I risultati della teoria di cam-

po medio prevedono la presenza di due valori critici per il parametro g nel caso

θ = 0.3. Questi valori di g si possono osservare qualitativamente nella �gura 3.7.

Il primo indica la biforcazione punto �sso-attrattore caotico, il secondo indica la

presenza di due bacini di attrazione, che hanno rispettivamente come attrattore

un punto �sso e un orbita caotica. La presenza dell'attrattore caotico è evidente

nel gra�co 4.26 per i valori g > 4.5.

Per evidenziare la presenza del secondo valore critico di g possiamo utilizzare

delle condizioni iniziali opportune. La scelta più conveniente è quella di usare


Figura 4.27: Esponente di Lyapunov massimo in funzione del parametro g, nel caso θ = 0.3 e

N = 1024, per valori diversi delle condizioni iniziali. La curva in nero con i simboli

di cerchio indica gli esponenti determinati con condizioni iniziali casuali, mentre

la curva in rosso con i simboli di quadrato indica gli esponenti determinati con le

condizioni iniziali x0,i = 0.0001. L'ingrandimento mostra la zona che individua la

nascita di due bacini di attrazione. Il valore del passo utilizzato è ∆g = 0.1.

delle condizioni iniziali in un intorno dell'origine. La simulazione è stata e�ettua-

ta con le condizioni iniziali x0,i = 0.0001 per N = 1024 per ogni valore di g. Ci

si aspetta che tale condizione iniziale dia luogo alla seguente serie di attrattori:

punto �sso, attrattore caotico e in�ne punto �sso. L'ultimo punto �sso è dovuto

alla presenza dei due bacini di attrazione, previsti dalla teoria di campo medio.

Il valore di g in cui appare il secondo punto �sso indica il secondo valore critico.

Si è, quindi, realizzato il gra�co 4.27 in cui si hanno gli esponenti di Lyapunov

corrispondenti ai due tipi di condizioni iniziali. L'intervallo di valori di g in cui

le due curve si sovrappongono corrisponde alla presenza di un unico bacino di

attrazione, mentre per g ∼= 5 si ha un ulteriore bacino di attrazione, corrispon-

dente ad un punto �sso. Tale valore critico di g è coerente con le previsioni di

campo medio, vedi il diagramma di fase in �gura 3.7.

Gli esponenti massimi si possono utilizzare per caratterizzare gli attrattori

nel caso J 6= 0 e σθ 6= 0. Vengono studiati i casi corrispondenti ai parametri

considerati nel paragrafo 4.3. Questa analisi consente una ulteriore veri�ca nu-


Figura 4.28: Esponente di Lyapunov massimo in funzione del parametro g, nel caso J = −1,

θ = 0.2 e N = 1024, per valori diversi delle condizioni iniziali. La curva in nero

con i simboli di cerchio indica gli esponenti determinati con condizioni iniziali

casuali, mentre la curva in rosso con i simboli di quadrato indica gli esponenti

determinati con le condizioni iniziali x0,i = 0.0001. Il valore del passo utilizzato

è ∆g = 0.1.

merica della teoria di campo medio nel caso della mappa bidimensionale 3.45. Le

simulazioni vengono e�ettuate per N = 1024. Si utilizza la stessa realizzazione

di J che è stata usata nel paragrafo 4.3 per le simualzioni di campo medio e per

quelle di singolo neurone. Nel caso σθ 6= 0 si utilizza la stessa realizzazione delle

soglie casuali θi.

Nel caso J = −1 e θ = 0.2 otteniamo il gra�co in �gura 4.28. Tale gra�co deve

essere confrontato con quello di �gura 4.21. Al �ne di individuare i due bacini di

attrazione, il sistema evolve utilizzando condizioni iniziali diverse. Esse vengono

determinate con lo stesso metodo indicato sopra nel caso J = 0 e θ = 0.3. La

simulazione evidenzia la presenza dei due diversi bacini di attrazione previsti

dalla teoria di campo medio, uno caratterizzato da un attrattore caotico e l'altro

da un punto �sso. La simulazione determina un valore g ≈ 6.4 per la nascita

dei due bacini, tale valore è in accordo con il valore previsto dalla teoria, come

si evince dal gra�co 4.21. Anche in questo caso si nota un'intervallo di valori

di g in cui si hanno attrattori quasi-periodici. Qualitativamente l'andamento


Figura 4.29: Esponente di Lyapunov massimo in funzione del parametro g, nel caso J = −5,

θ = 0.2 e N = 1024. Il valore del passo utilizzato è ∆g = 0.1.

dell'esponente di Lyapunov è uguale a quello del caso J = 0 e θ = 0.3.

Si ha un andamento qualitativamente diverso nel caso J = −5 e θ = 0.2 come

possiamo osservare in �gura 4.29. Tale gra�co deve essere confrontato con quello

di �gura 4.22. L'esponente di Lyapunov è sempre minore o uguale a zero. Questo

è compatibile con la presenza di attrattori del tipo orbita periodica. Utilizzando

le simulazioni di singolo neurone eseguite precedentemente si possono distinguere

tre intervalli di valori di g. Il primo intervallo (0 < g < 0.8) corrisponde ad un

attrattore del tipo punto �sso, il secondo (0.8 < g < 8.3) corrisponde ad un

orbita di periodo due, in�ne il terzo (g > 8.3) corrisponde nuovamente ad un

punto �sso. I punti g = 0.8, 8.3 corrispondono a biforcazioni di raddoppiamento

del periodo rispettivamente diretta e inversa. Questo è in pieno accordo con

quanto previsto dai risultati teorici, indicati in �gura 4.22. In questo regime e

per i valori del parametro di controllo utilizzati non si ha un comportamento

caotico.

Nel caso J = −2.5, θ = 0.1, σθ = 0.01 si ha un andamento dell'esponente

ancora diverso dai precedenti, come riportiamo in �gura 4.30. Si nota una zona

di valori del parametro in cui l'esponente è negativo o nullo e una zona in cui è

positivo. La prima zona viene separata in due parti dal punto di azzeramento

g ≈ 2. I valori di g < 2 sono compatibili, utilizzando anche le simulazioni di


Figura 4.30: Esponente di Lyapunov massimo in funzione del parametro g, nel caso J = −2.5,

θ = 0.1, σθ = 0.01 e N = 1024. Il valore del passo utilizzato è ∆g = 0.1.

singolo neurone, con un attrattore di tipo punto �sso. I valori 2 < g < 6.2 sono

compatibili con un attrattore periodico di periodo due. I valori g > 6.2 corri-

spondono ad un attrattore caotico. Il punto di biforcazione g ≈ 2 rappresenta

una biforcazione di raddoppiamento del periodo ed è compatibile con il punto di

biforcazione individuato dalla teoria. Il secondo punto di biforcazione g ≈ 6.2 è

anche lui compatibile con il valore di g previsto dalla teoria, come indicato dalla

�gura 4.23.

4.4.2 Disordine congelato

L'obiettivo dell'ananlisi condotta nel paragrafo è quello di deteminare lo spet-

tro di Lyapunov del sistema di equazione 3.28, considerando le varie realizzazio-

ni della matrice J. Quando ci riferiamo ad un disordine congelato (in inglese

quenched) l'evoluzione dinamica del sistema avviene �ssando una speci�ca rea-

lizzazione della matrice J. Consideriamo solo il caso J = 0. Il disordine dovuto

alle soglie casuali non viene studiato, dunque siamo in un regime in cui σθ = 0.

Studiamo i due casi θ = 0, 0.3 entrambi per g = 6. La teoria di campo medio

prevede per θ = 0 che il sistema sia caotico, mentre per θ = 0.3 che il sistema


abbia un attrattore caotico ed un punto �sso. L'analisi dello spettro consente

una descrizione quantitativa dell'attrattore.

Anche in questo caso analizziamo il sistema a varie taglie, al �ne di estrarre il

suo comportamento nel limite termodinamico. Come si è sottolineato nel para-

grafo 4.4.1 gli esponenti vengono calcolati utilizzando 60000 iterate della mappa,

con un errore di 10−5 sulla determinazione del singolo esponente. Un ulteriore

controllo di convergenza è stato eseguito direttamente sullo spettro. Si è calco-

lato lo spettro su 4 intervalli temporali ∆t = 15000, 30000, 45000, 60000. Si è

constatato che in tutti i casi esaminati gli spettri sono praticamente coinciden-

ti. Questo implica che utilizzando 60000 iterate si ottiene la convergenza dello

spettro.

Abbiamo simulato il sistema per i seguenti valori della taglia N = 128, 256,

512, 1024, 2048. Le condizioni iniziali del moto sono scelte in modo casuale sia

nello spazio delle con�gurazioni che nello spazio tangente. Il passo di rinor-

malizzazione usato, riferendoci alla procedura di Gram-Schmidt, è stato sempre

∆p = 2. Per ogni valore della taglia abbiamo calcolato lo spettro per varie realiz-

zazioni della matrice J. Il numero di realizzazioni varia secondo la taglia a causa

dei tempi di calcolo necessari. Per i valori N = 1024, 2048 abbiamo calcolato

rispettivamente i primi 64 e 128 esponenti, che sono gli esponenti maggiori nello

spettro. Anche questa scelta è dovuta a tempi di calcolo richiesti.

Vogliamo studiare l'andamento dello spettro mediato sui contributi dovuti

alle varie realizzazioni di J. A tal �ne la simulazione determina il valor medio di

ogni esponente:

hm,i =1

Nr

Nr∑k=1

hk,i, (4.16)

dove Nr è il numero di realizzazioni, l'indice k numera le realizzazioni e i =

0, ..., N−1 indica la posizione all'interno dello spettro. Le �uttuazioni dovute alle

realizzazioni sono rappresentate dalla deviazione standard hsd,i degli esponenti,

eseguita per ogni valore dell'indice i. Lo studio degli spettri medi in funzione della

taglia N consente la ricerca di una eventuale legge di scala per gli spettri, che

può essere utilizzata per le considerazioni riguardanti il limite termodinamico. In

questa analisi sono fondamentali le �uttuazioni attorno alla media. Nel caso in cui

le �uttuazioni andassero a zero con l'aumentare della taglia, il sistema avrebbe la

proprietà dell'automedia. In questo caso una eventuale legge di scala determinata


dallo spettro medio sarebbe valida, nel limite termodinamico, indipendentemente

dalla realizzazione di J.

Cominciamo con il caso θ = 0. Il gra�co di �gura 4.31 riporta sull'asse delle

ascisse il valore i/(N−1) in modo da avere un fattore di scala basato sulla taglia

del sistema. Questo permette di confrontare tra loro spettri ottenuti a valori

diversi di N . Questo fattore di scala, inoltre, permette di capire se lo spettro è

estensivo o meno.

Le medie sono state e�ettuate per N = 128 su un numero di realizzazioni

Nr = 128, per N = 256 su Nr = 64, per N = 512 su Nr = 64, per N = 1024 su

Nr = 64 e per N = 2048 su Nr = 62. Osserviamo che non è presente una legge

di scala che lega gli spettri per i vari valori di N . Al crescere di N gli spettri

convergono su un'unica curva. Questo è ben visibile nell'ingrandimento dove

sono rappresentati gli spettri per 5 valori diversi di N . Questo comportamento

evidenzia che lo spettro possiede la proprietà di estensività. Osserviamo che gli

spettri convergono ad una curva limitata. L'esponente massimo, in particolare, al

crescere di N resta �nito. Tutti gli spettri indicano che il sistema è caotico, infatti

la loro parte iniziale è positiva. Se l'ipotesi di convergenza degli spettri, dedotta

dalle simulazioni, è corretta, dobbiamo aspettarci che nel limite termodinamico

il sistema sia caotico e che lo spettro sia limitato.

Le �uttuazioni corrispondenti, invece, diminuiscono al crescere della taglia

del sistema. Le �uttuazioni crescono al crescere dell'indice i per un valore �ssato

di N . Le �uttuazioni vengono rappresentate nel gra�co di �gura 4.32 in modo

da evidenziare una eventuale legge di scala. Anche in questo caso l'asse delle

ascisse è riscalato di un fattore (N − 1). Nel gra�co riportiamo sull'asse delle

ordinate hsd,i × s dove s è un fattore di scala. Si sceglie un fattore di scala pari

ad una potenza della taglia s = Nα. I valori della potenza che portano ad una

sovrapposizione sono compresi nell'intervallo: 1/2 ≤ α ≤ 2/3. In gra�co viene

riportato il caso α = 2/3. Nell'ingrandimento sono visibili le deviazioni standard

dovute ai 5 valori diversi di N . La decrescita che si osserva per i valori dell'indice

i prossimi a (N − 1) è un e�etto numerico. Questo ultimo tratto della curva non

deve essere considerato attendibile.

L'informazione importante è che l'esponente α è positivo. Questo implica che

nel limite termodinamico la curva delle deviazioni standard vada a zero come

N−α. Questa osservazione assieme alla precedente ipotesi di convergenza degli


Figura 4.31: Spettri di Lyapunov medi per i valori N = 128, 256, 512, 1024, 2048 e per θ = 0.

La taglia N = 128 viene rappresentata in nero, N = 256 in rosso, N = 512 in

verde, N = 1024 in blu e N = 2048 in magenta. Le curve continue sono delle

spezzate che collegano i valori degli esponenti. L'ingrandimento rappresenta la

parte iniziale degli spettri. I colori utilizzati corrispondono ai precedenti. La

taglia N = 128 è rappresentata con i simboli di cerchio, N = 256 è indicata

dai simboli di quadrato, N = 512 è indicata dai simboli di triangolo, nel caso

N = 1024, 2048 si utilizzano simboli di cerchio con diametro inferiore. Gli spettri

sono completi solo per N = 128, 256, 512.


Figura 4.32: Deviazioni standard degli spettri di Lyapunov moltiplicate per il fattore di scala

s = N2/3, per i vari valori di N per θ = 0. La taglia N = 128 viene rappresentata

in nero con il tratto continuo, N = 256 in rosso utilizzando una linea tratteggiata,

N = 512 in verde utilizzando la linea tratto-punto, N = 1024 in blu e N = 2048

in magenta con tratto continuo. Le curve sono delle spezzate che collegano i

valori delle deviazioni. L'ingrandimento rappresenta la parte iniziale delle curve

di deviazione. I colori utilizzati corrispondono ai precedenti. La taglia N = 128 è

rappresentata con i simboli di cerchio, N = 256 è indicata dai simboli di quadrato,

N = 512 è indicata dai simboli di triangolo, nel caso N = 1024, 2048 si utilizzano

simboli di cerchio con diametro inferiore. Le curve di deviazione sono complete

solo per N = 128, 256, 512.


spettri implica che questo sistema, per θ = 0, possiede la proprietà dell'autome-

dia. Nel limite termodinamico la struttura dell'attrattore caotico non dipende

più dalla singola realizzazione della matrice J.

Esaminiamo ora il caso θ = 0.3. Presentiamo i due gra�ci riportati in �gura

4.33 e 4.34, ottenuti con la stesse procedure utilizzate sopra. Anche nel caso

di soglia non nulla gli spettri tendono a convergere ad una curva limite, come

si può osservare nel gra�co 4.33 e nell'ingrandimento. Notiamo che lo spettro

medio corrispondente ad N = 128 ha esponente massimo nullo. Studiando i

singoli spettri, corrispondenti alle varie realizzazioni di J, abbiamo osservato che

circa la metà hanno esponente massimo negativo mentre l'altra metà possiede

esponente massimo positivo. Questo è coerente con le osservazioni dei precedenti

paragra�, perché indica la presenza di un attrattore caotico e di un punto �sso.

Ricordiamo che gli esponenti sono calcolati in base ad una evoluzione che ha

una condizione iniziale x0 scelta in modo casuale, dove gli x0,i sono determinati

con una distribuzione piatta nell'intervallo [0, 1]. Al crescere della taglia, gia

a partire da N = 256, gli spettri con esponente massimo negativo non sono

più presenti. È possibile ottenerli forzando le condizioni iniziali dello spazio

delle con�gurazioni ad essere nell'intorno di x = 0, ecco perché non è possibile

individuarli con il metodo precedente, dato che la probabilità di ottenere una

tale condizione iniziale è molto bassa. I risultati delle simulazioni portano a

concludere che al crescere di N il bacino di attrazione del punto �sso si riduce

ad un intorno dell'origine. Si sceglie di utilizzare condizioni iniziali casuali. Con

questa scelta lo spettro di Lyapunov medio si riferisce unicamente all'attrattore

caotico.

In questa analisi i dati relativi al caso N = 128 diventano meno signi�cativi,

ma vengono comunque riportati nel gra�co 4.33. I dati riportati nel gra�co sono

stati ottenuti utilizzando un numero di realizzazioni dipendente dalla taglia. Nel

caso N = 128 la media è stata eseguita su su un numero di realizzazioni pari a

Nr = 128, nel caso N = 256 si ha Nr = 64, nel caso N = 512 si ha Nr = 50,

nel caso N = 1024 si ha Nr = 64 e nel caso N = 2048 si ha Nr = 18. Il valore

ridotto di Nr corrispondente al caso N = 2048 è dovuto al tempo di simulazione

necessario per questo valore della taglia.

Le �uttuazioni sono rappresentate in �gura 4.34, dove abbiamo usato un

fattore di scala s = N1/3. Anche in questo caso le �uttuazioni crescono al


Figura 4.33: Spettri di Lyapunov medi per i valori N = 128, 256, 512, 1024, 2048 e per θ = 0.3.

La taglia N = 128 viene rappresentata in nero, N = 256 in rosso, N = 512 in

verde, N = 1024 in blu e N = 2048 in magenta. Le curve continue sono delle

spezzate che collegano i valori degli esponenti. L'ingrandimento rappresenta la

parte iniziale degli spettri. I colori utilizzati corrispondono ai precedenti. La

taglia N = 128 è rappresentata con i simboli di cerchio, N = 256 è indicata dai

simboli di quadrato, nel caso N = 512, 1024, 2048 si utilizzano simboli di cerchio

con diametro inferiore. Gli spettri sono completi solo per N = 128, 256, 512.


Figura 4.34: Deviazioni standard degli spettri di Lyapunov moltiplicate per il fattore di scala

s = N1/3, per i vari valori diN per θ = 0.3. La tagliaN = 128 viene rappresentata

in nero con il tratto continuo, N = 256 in rosso utilizzando una linea tratteggiata,

N = 512 in verde utilizzando la linea tratto-punto, N = 1024 in blu e N = 2048 in

magenta con tratto continuo. Le curve continue sono delle spezzate che collegano

i valori delle deviazioni. L'ingrandimento rappresenta la parte iniziale delle curve

di deviazione nei casi N = 512, 1024, 2048. I colori utilizzati corrispondono ai

precedenti. La taglia N = 512 è indicata dai simboli di cerchio, nel caso N =

1024, 2048 si utilizzano simboli di cerchio con diametro inferiore. Le curve di

deviazione sono complete solo per N = 128, 256, 512.


crescere dell'indice i. I gra�ci di deviazione ottenuti per N = 512, 1024, 2048

sono coerenti con il fattore di scala s, come si può osservare nell'ingrandimento

di �gura 4.34. Quello che si osserva, infatti, è una sovrapposizione quasi completa

delle curve. I gra�ci relativi a N = 128, 256, invece, non sono consistenti con

questo fattore di scala. Il fattore di scala viene ritenuto comunque valido, perché

i valori bassi della taglia non rappresentano correttamente il sistema nel limite

termodinamico. Se ipotizziamo che questo fattore di scala valga al crescere di N ,

nel limite termodinamico la curva di deviazione standard andrebbe a zero come

N−1/3. Allora anche nel caso di soglia θ = 0.3 il sistema manifesta una proprietà

di automedia per quanto riguarda la struttura dell'attrattore caotico.

4.4.3 Disordine generato dinamicamente

In questo paragrafo descriviamo la struttura degli attrattori nel caso di di-

sordine generato dinamicamente (in inglese annealed). Tale disordine consiste

nel generare una realizzazione della matrice J ad ogni passo di iterazione della

mappa 3.28. Questo rappresenta, in e�etti, una modi�ca nella de�nizione della

dinamica del modello. Questa modi�ca, però, può essere utile al �ne di veri�care

una delle ipotesi su cui si basa la teoria di campo medio, quella di indipendenza

tra le variabili xi(t) e Ji,j nel limite termodinamico. Nel caso del disordine dina-

mico si ha evidentemente solo la dipendenza tra Ji,j(t) e xi(t+ 1) e l'evoluzione

del sistema non dipende da un'unica realizzazione della matrice. In questo modo

la correlazione tra una realizzazione di J e lo stato xi tende a zero. Questo rap-

presenta in modo approssimato l'indipendenza della traiettoria x(t) dalla singola

realizzazione di J. Studiamo il sistema per gli stessi valori dei parametri usati

nel paragrafo 4.4.2.

Vogliamo, dunque, confrontare gli spettri determinati con i due metodi nei

casi θ = 0, 0.3. Abbiamo esaminato il sistema per i valori N = 128, 256, 512,

1024, 2048 per determinare le proprietà di scala, questi sono riportati nelle �gure

4.35 e 4.36. Osserviamo che gli spettri tendono a convergere ad una curva limite

al crescere di N per i due valori di θ. Il confronto tra i gra�ci di �gura 4.31 e 4.35

e tra quelli di �gura 4.33 e 4.36 indica che gli spettri medi sono praticamente

coincidenti con quelli determinati mediante il disordine dinamico.

Si può utilizzare un metodo molto semplice per paragonare gli spettri per un


Figura 4.35: Spettro di Lyapunov determinato con disordine generato dinamicamente per θ =

0. Ai vari valori di N corrispondono vari colori: ad N = 128 è associato il nero,

ad N = 256 il rosso, ad N = 512 il verde, ad N = 1024 il blu, ad N = 2048 il

magenta. Nell'ingrandimento sono rappresentate le parti iniziali degli spettri. Gli

spettri sono completi per N = 128, 256, 512.

Figura 4.36: Spettro di Lyapunov determinato con disordine generato dinamicamente per θ =

0.3. Ai vari valori di N corrispondono vari colori: ad N = 128 è associato il nero,

ad N = 256 il rosso, ad N = 512 il verde, ad N = 1024 il blu, ad N = 2048 il

magenta. Nell'ingrandimento sono rappresentate le parti iniziali degli spettri. Gli

spettri sono completi per N = 128, 256, 512.


Figura 4.37: Confronto tra lo spettro di Lyapunov medio(in nero) e lo spettro di Lyapunov

determinato con disordine dinamico(in rosso), nel caso θ = 0. Le barre di errore

attribuite allo spettro medio rappresentano la deviazione standard dovuta alle

varie realizzazioni di J.

valore �ssato di N . Confrontiamo, ad esempio, lo spettro medio e lo spettro ot-

tenuto con disordine dinamico per N = 2048. Si utilizzano i gra�ci di deviazione

4.32 e 4.34 per ottenere delle barre di errore sullo spettro medio, vedi �gure 4.37

e 4.38. Per semplicità attribuiamo agli esponenti la stessa barra di errore, che

rappresenta l'ordine di grandezza delle �uttuazioni. Ricordiamo che in questo

caso si considerano i primi 256 esponenti, ai quali si associa una �uttuazione

quasi costante. Si ottiene per θ = 0 una barra ∆h = 0.01 mentre per θ = 0.3

una barra ∆h = 0.02. Si tenga presente che le �uttuazioni corrispondenti al

caso θ = 0.3 sono valutate su un numero ridotto di realizzazioni. Gli spettri con

disordine dinamico sono ampiamente contenuti all'interno delle barre di errore,

questo implica che i due tipi di spettro sono tra loro consistenti. Se estraiamo

questo andamento ad N →∞ otteniamo che i due tipi di spettro tendono a coin-

cidere. Questo può essere interpretato come una conferma numerica dell'ipotesi

di scorrelazione precedentemente citata.

Caos estensivo 98

Figura 4.38: Confronto tra lo spettro di Lyapunov medio(in nero) e lo spettro di Lyapunov

determinato con disordine dinamico(in rosso), nel caso θ = 0.3. Le barre di errore

attribuite allo spettro medio rappresentano la deviazione standard dovuta alle

varie realizzazioni di J.

4.5 Caos estensivo

Nei paragra� 4.4.2 e 4.4.3 è stato osservato che gli spettri di Lyapunov del si-

stema 3.28, ottenuti per diversi valori di N, si sovrappongono se scaliamo l'indice

i per un fattore N . Tale comportamento è stato osservato sia nel caso di disordi-

ne congelato sia nel caso di disordine dinamico. Questo fattore di scala, relativo

agli indici degli esponenti, implica che il sistema 3.28 possieda la proprietà di

caos estensivo. In questa sezione si introduce sinteticamente il concetto di caos

estensivo nel caso di un reticolo unidimensionale di mappe accoppiate. In questo

caso particolare, infatti, sono stati già ottenuti risultati sia teorici che numerici.

Tale modello, però, è de�nito da interazioni di corto raggio. Questo costituisce

una di�erenza fondamentale rispetto al modello di equazione 3.28, in cui le in-

terazioni sono a lungo raggio. Si sottolinea che la proprietà di caos estensivo in

questi sistemi non è stata ancora pienamente compresa a livello teorico.

Introduciamo il modello che descrive un reticolo unidimensionale di N mappe

accoppiate[8]. Il modello è de�nito dalla seguente mappa N-dimensionale:

xkt+1 = F(xkt)

+D(xk+1t − 2xkt + xk−1

t

), (4.17)

Caos estensivo 99

dove l'apice k indica la mappa k-esima e il pedice t indica il tempo discreto. La

funzione F individua la natura della singola mappa unidimensionale. L'interazio-

ne è caratterizzata da una costante di accoppiamento D. Come si può osservare

l'accoppiamento è a primi vicini. Le mappe possono essere considerate come lo-

calizzate su una catena unidimensionale, in cui si ha una interazione solo tra siti

primi vicini. L'interazione è scelta in modo tale da risultare l'approssimazione

discreta di un Laplaciano, la cui presenza è caratteristica di un processo di�u-

sivo. L'equazione 4.17 può, infatti, essere introdotta nell'ambito dei fenomeni

di�usivi. Essa è l'analoga nel discreto delle equazioni per i sistemi continui che

presentino fenomeni di reazione-di�usione:

∂tρ(x, t) = G(ρ) +D∇2ρ(x, t), (4.18)

dove ρ può essere la concentrazione di una specie chimica. In questo caso la

reazione viene descritta da una certa funzione G.

Gli studi numerici e teorici considerano nello speci�co le mappe accoppiate

nella forma seguente:

xkt+1 = (1− ε)F(xkt)

+ε

2

[F(xk+1t

)+ F

(xk−1t

)], (4.19)

dove ε è l'analogo del coe�ciente D dell'equazione 4.17. Il parametro ε è com-

preso tra i valori 0, che indica mappe disaccoppiate, e 1, che indica siti pari

disaccoppiati dai siti dispari. La mappa F è in generale caratterizzata da un

parametro di controllo g. In generale al variare del parametro di controllo g e

della costante di accoppiamento ε si osservano diversi regimi dinamici.

Il modello di equazione 4.19 è stato ampiamente studiato in corrispondenza

di vari tipi di dinamica locale F . In particolare si può studiare lo spettro di

Lyapunov dei sistemi di mappe accoppiate. Si osserva che lo spettro possiede un

limite termodinamico �nito [13]. In questo caso, se L indica la lunghezza della

catena, il limite termodinamico coincide con la condizione: L → ∞. I risultati

numerici suggeriscono che gli esponenti di Lyapunov abbiano la seguente legge

di scala:

hi (L) = limL→∞

h (i/L) , (4.20)

dove i = 1 . . . N e la funzione h indica i valori dello spettro determinati utiliz-

zando il fattore di scala 1/L. L'indice i ordina gli esponenti in modo decrescente.

Caos estensivo 100

Il fatto che lo spettro sia una quantità estensiva può essere spiegato qualitativa-

mente attraverso semplici argomenti basati sulle interazioni di corto raggio. La

natura delle interazioni implica che la catena di lunghezza L, ad esempio, possa

essere considerata equivalente alla somma di due sottosezioni di lunghezza L/2,

oppure di sottosezioni di lunghezza inferiore. I termini di interazione presenti nei

punti in cui la catena viene divisa, infatti, possono essere considerati trascurabili

nel limite termodinamico. In questo modo le proprietà del sistema scalano in

modo proporzionale a N .

Se lo spettro segue la legge di scala 4.20 e siamo in presenza di un regime

dinamico in cui si ha un attrattore caotico, allora il sistema possiede la proprietà

di caos estensivo.

In base ai risultati ottenuti nei paragra� 4.4.2 e 4.4.3 e alla legge di scala

4.20 possiamo a�ermare che il sistema 3.28 ha la proprietà di caos estensivo. In

questo caso, però, le interazioni sono di lungo raggio. Nel sistema 3.28 i neuroni

sono globalmente connessi attraverso gli elementi della matrice J. Non è a�atto

ovvio che un sistema del genere presenti la proprietà di caos estensivo.

4.5.1 Dimensione di Kaplan-Yorke

La dimensione di Kaplan-Yorke è una delle possibili de�nizioni di dimensione

frattale di un attrattore caotico. La dimensione di Kaplan-Yorke permette di

esprimere il valore della dimensione frattale in base agli esponenti di Lyapunov.

Si assume che gli esponenti hi siano ordinati dal massimo al minimo e che l'indice

abbia i valori i = 1 . . . N , dove N è la dimensione del sistema. Sia K l'indice più

grande per il quale risulta vera la seguente disuguaglianza:

K∑j=1

hj ≥ 0. (4.21)

La dimensione frattale di Kaplan-Yorke dell'attrattore è de�nita da:

DKY = K +1

|hK+1|

K∑j=1

hj ≥ 0. (4.22)

La dimensione di Kaplan-Yorke rappresenta il numero di gradi di libertà attivi

dell'attrattore. Questo implica che la dinamica caotica si svolga su una varietà

di dimensione DKY .

Caos estensivo 101

Figura 4.39: In �gura i cerchi neri rappresentano il valore della dimensione di Kaplan-Yorke

in funzione di N . Il gra�co corrisponde al caso di disordine congelato per i valori

dei parametri: g = 6, θ = 0, J = 0 e σθ = 0. La retta tratteggiata in rosso

rappresenta la retta di regressione lineare ottenuta con i cinque punti.

Se il sistema possiede la proprietà di caos estensivo la legge di scala 4.20

implica che la dimensione di Kaplan-Yorke DKY sia una quantità estensiva. In

questo caso, allora, è possibile de�nire una densità di dimensione frattale:

ρKY = limN→∞

DKY (N)

N. (4.23)

In base ai risultati illustrati nel paragrafo 4.4.2 possiamo calcolare la dimensione

DKY in funzione di N nel caso di disordine congelato per g = 6, θ = 0, J = 0

e σθ = 0. Si calcola la dimensione DKY sui dati relativi agli spettri medi, che

sono rappresentati in �gura 4.31. Si riporta il risultato ottenuto in �gura 4.39.

Vengono riportati cinque valori della dimensione DKY e la retta di regressione

lineare. La retta di regressione indica che i cinque valori sono consistenti con

un andamento lineare. In base alla de�nizione 4.23 la densità di dimensione è

rappresentata dal coe�ciente angolare della retta di regressione. In questo caso

si ottiene il valore:

ρKY ∼= 0.058. (4.24)

Caos estensivo 102

Si ricorda che questo valore è stato determinato in base agli spettri medi. I singoli

spettri, determinati dalle realizzazioni di J, sono caratterizzati da valori di DKY

che �uttuano attorno al valore 0.058. Il sistema, però, presenta la proprietà

di automedia, che implica che le �uttuazioni degli spettri vadano a zero nel

limite termodinamico. In questo modo, nel limite termodinamico, la dimensione

dell'attrattore caotico viene caratterizzata dal valore 0.058 per ogni realizzazione

di J. Tale valore della dimensione implica che l'attrattore occupi una parte

ridotta dello spazio delle con�gurazioni del sistema. L'attrattore, infatti, occupa

all'incirca il 6% degli N gradi di libertà possibili.

Conclusioni

L'attività di ricerca originale di questo lavoro di tesi ha avuto come scopo la

caratterizzazione della dinamica microscopica e collettiva di una rete neurale a

tempo discreto. Tale studio ha permesso sia una veri�ca della validità della teoria

di campo medio, sviluppata per tale modello, sia lo studio di regimi dinamici non

studiati precedentemente.

Lo studio delle �uttuazioni temporali del campo medio del sistema porta a

concludere che la dinamica collettiva sia presente per ogni valore �nito della

taglia. Al variare del parametro di controllo, tale dinamica collettiva è, infatti,

caratterizzata dalla presenza di vari tipi di attrattori. Si può avere un punto

�sso, un'orbita quasiperiodica, un'orbita periodica o un attrattore caotico. Al

crescere della taglia le �uttuazioni, che caratterizzano il moto collettivo, possono

presentare due andamenti. In un caso le simulazioni mostrano che le �uttuazioni

decrescono con un fattore 1/√N . Nel limite termodinamico, quindi, il sistema è

caratterizzato dall'assenza di dinamica collettiva. Nel secondo caso le �uttuazioni

rimangono �nite. Si osservano, infatti, alcuni regimi dinamici in cui la varibile di

campo medio, nel limite termodinamico, ha come attattore un orbita di periodo

due. Tale dinamica collettiva, però, è banale, infatti, l'orbita di periodo due è

dovuta al fatto che ogni variabile microscopica è caratterizzata da un orbita di

periodo due. Questo è confermato, anche, dallo studio eseguito per mezzo degli

esponenti di Lyapunov. Esiste, dunque, un regime in cui tutti gli oscillatori della

rete sono caratterizzati da un'orbita di periodo due. Tale regime dinamico non

era stato individuato in analisi precedenti.

Gli attrattori della rete sono stati studiati per mezzo dell'attività media dei

singoli neuroni. Tale metodo di analisi ha portato a concludere che la struttura

dell'attrattore dipende debolmente dal parametro di controllo. Si è stimato che

la di�erenza massima nella struttura degli attrattori del sistema è pari all'incirca

103

Conclusioni 104

al 6%, ciò implica che l'attività della rete nel regime caotico è poco diversa da

quella del regime di punto �sso.

La dinamica microscopica è stata analizzata per mezzo degli esponenti di

Lyapunov del sistema. In particolare lo studio dell'esponente massimo, al va-

riare dei parametri, ha permesso di determinare gli attrattori e le biforcazioni

presenti. In generale, si possono avere quattro tipi di attrattore: punto �sso,

orbita periodica, orbita quasiperiodica e orbita caotica. I tipi di attrattore, così

determinati, sono consistenti con quelli previsiti della teoria di campo medio in

tutti i regimi dinamici analizzati, tranne che in un caso speci�co: l'orbita quasi-

periodica. La presenza di questo tipo di orbita è importante. Si trova, infatti, che

la transizione dal punto �sso all'orbita caotica è caratterizzata da un andamento

quasiperiodico.

Successivamente, si è studiato l'intero spettro di Lyapunov per un valore del

parametro di controllo corrispondente al regime caotico, nel caso di disordine

congelato. In questo caso il sistema ha mostrato di possedere la proprietà di

automedia nel limite termodinamico, dato che le �uttuazioni degli spettri decre-

scono al crescere della taglia del sistema. L'intero spettro di Lyapunov è stato

anche studiato nel caso di disordine dinamico, per gli stessi valori dei parametri

considerati nel caso di disordine congelato.

Un risultato interessante è che i due tipi di spettri sono compatibili, in realtà

sono quasi coincidenti, una volta �ssata la taglia del sistema e il valore dei pa-

rametri. Questo può essere interpretato come una veri�ca indiretta delle ipotesi

di scorrelazione su cui si basa la teoria di campo medio. La struttura dei due

tipi di spettro ha mostrato, inoltre, che il sistema possiede la proprietà del caos

estensivo in presenza di entrambi i tipi di disordine.

Un'ulteriore veri�ca della proprietà di caos estensivo è stata fornita dall'ana-

lisi della dimensione di Kaplan-Yorke dell'attrattore caotico, nel caso di disordine

congelato. Tale analisi è stata condotta nello stesso regime in cui sono stati de-

terminati gli spettri. La dimensione di Kaplan-Yorke risulta essere una quantità

estensiva e viene stimato un valore per la densità di dimensione pari a 0.058.

Uno dei possibili sviluppi del modello studiato consiste nell' analisi teorica e

numerica della proprietà di caos estensivo. Quest' analisi può essere interessante,

perché il sistema è caratterizzato da interazioni a lungo raggio. In questo caso,

infatti, mancano ancora degli argomenti teorici che permettano una spiegazione

Conclusioni 105

della proprietà di caos estensivo.

È importante menzionare in�ne che, per lo svolgimento di questo lavoro di

tesi, sono stati sviluppati codici originali in linguaggio C, al �ne di e�ettuare le

simulazioni numeriche riportate in precedenza.

Bibliogra�a

[1] L.Lapicque, Recherches quantitatives sur l'excitation electrique des nerfs

traitee comme une polarization, J.Physiol.Pathol.Gen. 9, 620(1907).

[2] A.L.Hodgkin, A.F.Huxley, Currents carried by sodium and potassium

ion throught the membrane of the giant axon of Loligo, J.Physiol. 116,

449(1952).

[3] A.L.Hodgkin, A.F.Huxley, A quantitative description of membrane current

and its application to conduction and excitation in nerve, J.Physiol. 117,

500(1952).

[4] F. Rosenblatt, Principles of Neurodynamics, Spartan Books, 1962.

[5] R.J. Glauber, Time dependent statistics of the Ising model, Journal of

Mathematical Physics 4, 294(1963).

[6] H.Sompolinsky, Annette Zippelius, Relaxational dynamics of the Edwards-

Anderson model and the mean-�eld theory of spin-glasses, Physical Review

B 25, 6860(1982).

[7] J.J.Hop�eld, Neurons with graded response have collective computatio-

nal properties like those of two-state neurons, Proceedings of the National

Academy of Sciences USA 81, 3088(1984).

[8] K.Kaneko, Progress of Theoretical Physics 72, 480(1984).

[9] Daniel J.Amit, H.Gutfreund, H.Sompolinsky, Spin-glass models of neural

networks, Physical Review A 32, 1007(1985).

106

BIBLIOGRAFIA 107

[10] Daniel J.Amit, H.Gutfreund, H.Sompolinsky, Storing In�nite Numbers of

Patterns in a Spin-Glass Model of Neural Networks, Physical Review Letters

55, 1530(1985).

[11] V.L.Girko, Circular law, Theory of Probability and its Application(USSR)

29, 694-706(1985).

[12] A.Crisanti, H.Sompolinsky, Dynamics of spin systems with randomly asym-

metric bonds: Langevin dynamics and a spherical model, Physical Review

A 36, 4922(1987).

[13] H.Kantz, P.Grassberger, Physics Letters 123, 437(1987).

[14] H.Sompolinsky, A.Crisanti, H.J.Sommers, Chaos in Random Neural

Networks, Physical Review Letters 61, 259(1988).

[15] Daniel J.Amit,Modeling Brain Function, Cambridge University Press, 1989.

[16] William H.Press, Saul A.Teukolsky, William T.Vetterling, Brian P.Flannery,

Numerical Recipes in C, Cambridge University Press, 1992.

[17] B.Cessac, B.Doyon, M.Quoy, M.Samuelides, Mean-�eld equations, bifurca-

tion map and route to chaos in discrete time neural networks, Physica D

74, 24-44(1994).

[18] Peter Dayan, L.F.Abbott, Theoretical Neuroscience-computational and

mathematical modeling of neural systems, The MIT Press, 2000.

[19] Wulfram Gerstner, Werner M.Kistler, Spiking Neuron Models, Cambridge

University Press, 2002.

[20] Edward Ott, Chaos in Dynamical Systems, Cambridge University Press,

2002.

[21] Luca Peliti, Appunti di meccanica statistica, Bollati Boringhieri, 2003.

[22] Kanaka Rajan, L.F.Abbott, Eigenvalue Spectra of Random Matrices for

Neural Networks, Physical Review Letters 97, 188104(2006).

BIBLIOGRAFIA 108

[23] Massimo Cencini, Fabio Cecconi, Angelo Vulpiani, Chaos, from simple

models to complex systems, World Scienti�c, 2010.

Ringraziamenti

Al professore Antonio Politi per aver creduto in questo lavoro, per avermi

aiutato e sostenuto nei momenti `critici'...e per l'in�nita pazienza. Ringrazio

sentitamente Stefano Luccioli, Alessandro Torcini, Gian Piero Puccioni e Ales-

sandra Giannasi per il sostegno e per aver risposto alle mie in�nite domande.

Grazie alla mia mamma e al mio papà per avermi dato la possibilità di realizzare

questo sogno e per il loro amore incondizionato. Ringrazio zia Teresa, zio Franco,

zia Maria, nonna Concetta, i nonni che non ci sono più e tutti i miei parenti che

mi sono stati accanto nonostante la distanza. Grazie ad Ilenia per l'amicizia e

la simpatia. Grazie a Imma, che mi è stata sempre vicino in tutti questi anni.

In�ne, grazie ad Annamaria per il suo amore e il suo sostegno `in�niti'.

109

Dinamica di una rete neurale a tempo discretoneuro.fi.isc.cnr.it/uploads/TALKS/Tesi...

Documents

Transcript of Dinamica di una rete neurale a tempo discretoneuro.fi.isc.cnr.it/uploads/TALKS/Tesi...