Post on 02-May-2015
CE
RIS
- CN
R
Tecniche di softcomputing (reti neurali ed algoritmi genetici) per
l’analisi dei sistemi complessi applicati alla finanza moderna
Tecniche di softcomputing (reti neurali ed algoritmi genetici) per
l’analisi dei sistemi complessi applicati alla finanza moderna
Data Mining e ClassificazioneData Mining e
Classificazione
Greta Falavigna
Ceris – CNR, Torino
g.falavigna@ceris.cnr.it Cagliari, 22-23/giugno/2005
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 2
CE
RIS
- CN
R
ll Data Miningll Data Mining
Il Data Mining è un processo di analisi, svolto in modo semiautomatico, di una grande quantità di dati grezzi al fine di scoprire un modello che li governa, o una regola significativa, da cui ricavare conoscenze utili applicabili al contesto operativo (come ad esempio previsioni e classificazioni)
Quello che oggi viene chiamato Data Mining è in realtà il risultato di 3 aree di ricerca: Machine Learning (Apprendimento Automatico): ha fornito algoritmi per
la rilevazione di pattern nei dati.
Statistica: ha elaborato le tecniche per la progettazione sperimentale dei progetti.
Supporto alle decisioni: è stata la causa della nascita del Data Mining
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 3
CE
RIS
- CN
R
Le tecniche di Data MiningLe tecniche di Data Mining
Le tecniche di Data Mining servono per trasformare i dati grezzi in informazioni utili. Dunque servono per risolvere: Problemi di esplorazione dati (Data Mining Non
Supervisionato). Approccio bottom-up.
Problemi di classificazione e di regressione (Data Mining Supervisionato). Approccio top-down
Le principali tecniche di Data Mining utilizzate sono le seguenti: Cluster Analysis;
Alberi Decisionali;
Reti Neurali
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 4
CE
RIS
- CN
R
La Cluster analysisLa Cluster analysis
Si tratta di una tecnica di data mining non supervisionato.
Per clustering si intende la segmentazione di un gruppo eterogeneo in sottogruppi (cluster) omogenei. Ciò che distingue il clustering dalla classificazione è che non si fa ricorso a classi predefinite
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 5
CE
RIS
- CN
R
Alberi DecisionaliAlberi Decisionali
Il Decision Tree è un tecnica di classificazione o di regressione ad albero.
I nodi di un albero decisionale (escluse le foglie) sono domande (i rami costituiscono complessivamente regole di decisioni). Quando l’albero viene applicato ai dati in ingresso, ogni dato viene analizzato dall’albero lungo un percorso stabilito da una serie di test sugli attributi (features) del dato stesso, finchè questo non raggiunge un nodo foglia, associato ad una categoria o classe (al dato viene assegnata una etichetta di classe, class label, per la classificazione, mentre un valore numerico alla variabile target se si tratta di regressione).
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 6
CE
RIS
- CN
R
Reti neurali e topologiaReti neurali e topologiaSi tratta di un processo parallelo composto di singole unità di
calcolo (neuroni), che possiede una naturale predisposizione a memorizzare le conoscenze sperimentalmente acquisite ed a renderle disponibili per l’uso.
Combinando in diversi modi i neuroni della rete si riescono a risolvere classi di problemi differenti. Le topologie più ricorrenti sono: Multi-Layer Perceptron (MLP): basata su apprendimento
supervisionato; Self Organizing Map (SOM): basata su apprendimento
competitivo.
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 7
CE
RIS
- CN
R
Reti neurali: caratteristicheReti neurali: caratteristicheLe caratteristiche di una rete neurale sono:
Training: la conoscenza è acquisita dalla rete mediante un processo di apprendimento;
Aggiornamento dei pesi: le connessioni neuronali (pesi sinaptici) sono utilizzate per memorizzare le informazioni acquisite;
Complessità; Non-linearità di tipo “speciale”: nel senso che è distribuita all’interno della
rete. E’ una proprietà importante soprattutto se il fenomeno fisico che si vuol simulare è propriamente non lineare.
Adattività: la rete neurale ha una capacità di adattare i suoi pesi sinaptici ai cambiamenti dell’ambiente circostante.
Risposta evidente: in un contesto di patter classification una rete neurale può essere disegnata per fornire informazioni sul livello di “confidenza” della decisione presa. Questa informazione può essere usata per rigettare pattern ambigui.
Parallel Processing System (Sistema a processamento parallelo).
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 8
CE
RIS
- CN
R
Reti neurali: topologia MLP (1/5)Reti neurali: topologia MLP (1/5)
Una Multi-Layers Perceptron net (MLP) è composta da una serie di “percettroni” organizzati con una struttura gerarchica che può comprendere uno o più strati nascosti (hidden layer) legati con la regola del feed-forward (un nodo dello strato i-esimo può essere collegato solo ad un nodo dello strato (i+1)-esimo):
.
.
.
.
.
.
input hidden output
layer layer layerX1
X2
XN
O1
O2
OK
1
2
K
1
2
m
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 9
CE
RIS
- CN
R
Reti neurali: topologia MLP (2/5)Reti neurali: topologia MLP (2/5)
Il percettrone è un semplice neurone dotato del circuito teacher per l’apprendimento:
bi
x1i
fini
w1i
w1ixRi
Oi
Generatore diErrore in Uscita T
iAlgoritmo di
Apprendimento
Ei = Ti - Oi
Teacher
Neurone i-esimo
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 10
CE
RIS
- CN
R
Reti neurali: topologia MLP (3/5)Reti neurali: topologia MLP (3/5)
L’addestramento di una MLP avviene in genere con l’algoritmo Back-Propagation che ha come idea di base che per ogni dato in ingresso (training set), si calcola l’errore e la direzione in cui modificare i pesi per minimizzare l’errore. Questa direzione è rappresentata dal gradiente (dell’errore) cambiato di segno.
bj
wjiyj
yj
vj
tj
ej-1
Neurone j
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 11
CE
RIS
- CN
R
Reti neurali: topologia MLP (4/5)Reti neurali: topologia MLP (4/5) Errore del neurone j dell’uscita:
ej = tj - yj
Funzione errore totale della rete nello strato di uscita:
E = ½ j e2j j = 1..n
(n è il numero di neuroni nello strato di uscita)
Gradiente locale: definisce la direzione in cui variare lo stato del neurone j per minimizzare l’errore totale:
δj = - ∂E / ∂vj
Regola del Delta : indica di quanto modificare i pesi per minimizzare l’errore in un generico passo del sistema:
wji = α δj yi (α = tasso di apprendimento)
Pesi al passo successivo: wji (n+1) = wji (n) + wji (n)
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 12
CE
RIS
- CN
R
Reti neurali: topologia MLP (5/5)Reti neurali: topologia MLP (5/5)
L’algoritmo si arresta o per il raggiungimento dell’errore minimo accettabile o per il raggiungimento del numero massimo di epoche stabilite in fase di progetto (per evitare che il processo di addestramento termini all’infinito). Un’epoca è un ciclo di aggiornamento completo di tutti i pesi, dando in input l’intero set di training
Errore totale sul training set
150 300Epoche
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 13
CE
RIS
- CN
R
Il modello: obiettiviIl modello: obiettivi
Obiettivo: generalizzare
Strumento: rete MLP con back propagation
Il Data Mining Il modello e i risultati
Addestrare la rete neurale su imprese di cui si conosce lo stato di salute affinché sia in grado di
riconoscere se imprese con stesse caratteristiche ma mai introdotte nella rete sono
sane o meno
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 14
CE
RIS
- CN
R
Il data setIl data set
I dati utilizzati si riferiscono a 381 imprese piemontesi del settore manifatturiero estratti dalla banca dati DB Complex.
Di ognuna impresa si conosce lo stato di salute (sana/non sana) in base al rating tecnico elaborato da Bureau van DiJk.
Per queste imprese sono state estratte ed elaborate 40 variabili legate al bilancio.
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 15
CE
RIS
- CN
R
Le variabili:Le variabili:Valore aggiunto Capitale proprio iniziale
Debiti su fatturato Reddito corrente
Dipendenza finanziaria MOL su debiti finanziari
Quick ratio Costo del lavoro
Indice di copertura ROS netto
MOL su debiti Leverage
Crediti verso clienti Debiti commerciali
Reddito operativo Debiti a lungo termine
Produttività del lavoro Imposte
ROI industriale netto MOL su OF
CCN operativo Debiti totali
CCNO Debiti verso fornitori
CIN Capitale proprio
Capitale investito (CI) Fatturato
ROE corrente Margine operativo lordo (MOL)
Debiti finanziari Margine operativo netto (MON)
Debiti commerciali e finanziari CINO
Magazzino ROT netto
Debiti operativi Produzione
Oneri finanziari (OF) Debiti a breve termine
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 16
CE
RIS
- CN
R
La correlazioneLa correlazione
Debiti su fatturato Reddito corrente
Dipendenza finanziaria MOL su debiti finanziari
Quick ratio Capitale proprio
Indice di copertura Debiti commerciali
MOL su debiti Leverage
Produttività del lavoro Debiti operativi
ROI industriale netto Oneri finanziari (OF)
CCN operativo Margine operativo lordo (MOL)
CCNO ROT netto
CIN ROE corrente
Indice di correlazionei,j < abs(0.8)
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 17
CE
RIS
- CN
R
La topologia del modello (1/2)La topologia del modello (1/2)
Training set: 40 input-vettori formati da 254 imprese;
Validation set: 40 vettori formati da 127 imprese;
Caratteristiche della rete:
Rete feed-forward;
Algoritmo della back-propagation;
Tre strati: 1 di input, 1 hidden (40 nodi), 1 di output (1 nodo);
Funzione ‘tansig’ tra il primo e il secondo strato;
Funzione ‘logsig’ tra il secondo e il terzo strato;
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 18
CE
RIS
- CN
R
La topologia del modello (1/2)La topologia del modello (1/2)
Training set: 40 input-vettori formati da 254 imprese;
Validation set: 40 vettori formati da 127 imprese;
Caratteristiche della rete:
Rete feed-forward;
Algoritmo della back-propagation;
Tre strati: 1 di input, 1 hidden (40 nodi), 1 di output (1 nodo);
Funzione ‘tansig’ tra il primo e il secondo strato;
Funzione ‘logsig’ tra il secondo e il terzo strato;Fonte: ANN Tollbox, Matlab
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 19
CE
RIS
- CN
R
Topologia del modello (2/2)Topologia del modello (2/2)
Regolarizzazione con early stopping: fa in modo che la rete non si specializzi su un set di dati operando sul validation set;
Sono state introdotte 3 soglie all’interno del modello: 0.4, 0.5, 0.6;
È stato seguita la procedura della cross-validation.
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 20
CE
RIS
- CN
R
La regolarizzazioneLa regolarizzazione
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 21
CE
RIS
- CN
R
La sogliaLa soglia La funzione logsigmoide genera risultati in un intervallo continuo che va
da 0 a 1 mentre i target sono di tipo: 0 (impresa sana) o 1 (impresa non sana)
Dato il vettore di output della rete X=[xi] (i=1,…,127) e un valore soglia s, avremo che:
se xi <= s, allora xi=0;
se xi >= s, allora xi=1
L’errore viene calcolato guardando dove e come la rete ha sbagliato a classificare. Due tipi di errore:
Di primo tipo: la rete classifica non sana un’impresa sana;
Di secondo tipo: la rete classifica sana un’impresa che non lo è.
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 22
CE
RIS
- CN
R
Soglie ed erroriSoglie ed errori
Errori percentuali:
0% 0% 0.7%
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 23
CE
RIS
- CN
R
Soglie ed erroriSoglie ed errori
Errori percentuali:
0% 0% 0.7%
La soglia 0.6 è meno
performante
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 24
CE
RIS
- CN
R
La cross-validationLa cross-validation
Aumentare la capacità di generalizzazione della rete
Data set diviso in tre set: A, B e C: 1° rete: tr.set A+B e val.set C
2° rete: tr.set B+C e val.set A
3° rete: tr.set A+C e val.set B
Errori percentuali totali rispetto alle tre soglie: Rete con 40 variabili: 0.18% 0% 0.92%;
Rete con 18 variabili: 1.10% 1.47% 4.05%
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 25
CE
RIS
- CN
R
La cross-validationLa cross-validation
Aumentare la capacità di generalizzazione della rete
Data set diviso in tre set: A, B e C: 1° rete: tr.set A+B e val.set C
2° rete: tr.set B+C e val.set A
3° rete: tr.set A+C e val.set B
Errori percentuali totali rispetto alle tre soglie: Rete con 40 variabili: 0.18% 0% 0.92%;
Rete con 18 variabili: 1.10% 1.47% 4.05%
La rete che utilizza variabili non correlate dà risultati peggiori della rete che
elabora tutte le variabili…
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 26
CE
RIS
- CN
R
La matrice dei pesiLa matrice dei pesi
0,000 0,153 -0,306 -0,070 0,041 0,039 0,0000,000 -0,145 -0,485 0,067 -0,039 0,106 0,0000,000 -0,053 -0,426 0,060 -0,013 0,285 0,0000,000 -0,117 -0,039 -0,109 -0,040 0,106 0,0000,000 -0,120 -0,125 0,061 -0,007 -0,132 0,0000,000 0,043 0,431 -0,050 0,013 -0,040 0,0000,000 -0,064 0,003 0,080 -0,027 -0,089 0,0000,000 0,008 0,099 -0,072 -0,032 0,006 0,0000,000 -0,179 0,599 0,026 -0,005 -0,050 0,0000,000 -0,027 -0,227 0,044 0,023 0,111 0,0000,000 -0,065 -0,145 0,065 -0,024 0,032 0,0000,000 0,110 0,475 0,026 -0,020 -0,225 0,000
Variabili
Nodi
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 27
CE
RIS
- CN
R
Le ‘13 variabili’ e la matrice di attivazione
Le ‘13 variabili’ e la matrice di attivazione
Le 13 variabili:
Errori medi percentuali: 1.66% 0.92% 1.10%
Matrice di attivazione 1: Matrice 40 Input * Matrice dei pesi
Deb su Fatturato CCNO
Dipendenza Finanziaria ROE corrente
Quick ratio ROS netto
Copertura Leverage
MOL su deb MOL su OF
Prod del lavoro ROT netto
ROI industriale netto
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 28
CE
RIS
- CN
R
La cluster analysis 1La cluster analysis 1
Analisi cluster
109
132
11 4 11 3 11
1
2
3
4
5
6
7
8
9
10
Imprese non sane
Imprese sane
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 29
CE
RIS
- CN
R
La cluster analysis 1La cluster analysis 1
Analisi cluster
109
132
11 4 11 3 11
1
2
3
4
5
6
7
8
9
10
Imprese non sane
Imprese sane
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 30
CE
RIS
- CN
R
La cluster analysis 2La cluster analysis 2
Matrice di attivazione 2:
Matrice 13 input * Matrice pesi
Cluster Analysis
Analisi dei due gruppi principali al fine di diminuire il numero di
imprese
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 31
CE
RIS
- CN
R
La cluster analysis 2La cluster analysis 2
Matrice di attivazione 2:
Matrice 13 input * Matrice pesi
Cluster Analysis
Analisi dei due gruppi principali al fine di diminuire il numero di
imprese
Analisi cluster 2
99
9
136
21121211
2
3
4
5
6
7
8
9
10
Imprese non sane
Imprese sane
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 32
CE
RIS
- CN
R
La cluster analysis 3La cluster analysis 3
Dal Gruppo1 (99 imprese) creo 85 gruppi;
Dal Gruppo2 (136 imprese) creo 121 gruppi
Media dei gruppi formati da più di un’impresa
Creo un nuovo pattern di input
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 33
CE
RIS
- CN
R
Il ‘nuovo’ data set e le performances
Il ‘nuovo’ data set e le performances
Matrice del tr.set: 19 imprese della cluster 2 +
85 ‘imprese’ del gruppo 1 +
121 ‘imprese’ del gruppo 3 =
225 imprese (* 13 variabili)
Matrice del val.set: 112 imprese (raggruppate secondo analisi cluster)
Risultati della ‘nuova’ rete sulle 13 variabili e input raggruppati:
3.57% 4.46% 3.57%
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 34
CE
RIS
- CN
R
Risultati (1/2)Risultati (1/2)
Attraverso l’analisi delle reti neurali è stato possibile arrivare a determinare 13 variabili che hanno influenza nella determinazione dello stato di salute delle imprese
Analisi delle variabili principali che influenzano la
salute del settore
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 35
CE
RIS
- CN
R
Risultati (2/2)Risultati (2/2)
L’analisi cluster è stata utilizzata per testare i risultati della rete e analizzarne il processo “decisionale”.
Inoltre, attraverso la cluster analysis, è stato possibile raggruppare le imprese in gruppi con caratteristiche simili in modo da ridurre il numero dei dati da introdurre nella rete.
Il Data Mining Il modello e i risultati
Greta Falavigna g.falavigna@ceris.cnr.it
Cagliari, 22-23/giugno/2005 36
CE
RIS
- CN
R
ReferencesReferences
Chilanti M., 1993, “Analisi e previsione delle insolvenze: un approccio neurale”, Finanza Imprese e Mercati, 3.
Hornick, Stinchombe e While (1989), “Multilayer feedforward networks are universal approssimators”, Neural Networks, vol. 2, pp.359-366.
Moller M. F., “A scaled coniugate gradient algorithm for fast supervised learning”, Neural Networks, vol. 6, pp. 525-533, 1993.
Perez M., “Neural Networks applications in bankruptcy forecasting: a state of the art”.
Yim J., Mitchell H., 2002, “A comparison of corporate failure models in Australia: Hybrid neural networks, logit models and discriminant analysis”, School of Economics and Finance, WP No. 10.
“Osservatorio sulla dinamica economico-finanziaria delle imprese della filiera del tessile e dell’abbigliamento in Piemonte”, I°, II° e III° rapporto a cura del Ceris-CNR, 2004
Il Data Mining Il modello e i risultati