Redes con mucha inteligencia: un viaje Bayesiano · 2015-11-05 · Redes Bayesianas Foro Fin, 29...
Transcript of Redes con mucha inteligencia: un viaje Bayesiano · 2015-11-05 · Redes Bayesianas Foro Fin, 29...
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 11
RedesRedes con con muchamucha inteligenciainteligencia: : un un viajeviaje BayesianoBayesiano
IQ
CP
SS
Jorge MuruzJorge MuruzáábalbalUniversidad Rey Juan CarlosUniversidad Rey Juan Carlos
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 22
ConceptoConcepto de red Bayesianade red BayesianaModeloModelo grgrááficofico probabilprobabilíísticostico queque::
codificacodifica relacionesrelaciones de de independenciaindependenciacondicionalcondicional entreentre laslas variablesvariableseses capazcapaz de de incorporarincorporar conocimientoconocimiento expertoexpertopuedepuede inducirseinducirse automautomááticamenteticamente a a partirpartir de de unauna matrizmatriz de datos de datos estestáándarndarresultaresulta úútiltil parapara describirdescribir procesosprocesos resultantesresultantesde de interaccionesinteracciones locales locales entreentre componentescomponentes
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 33
X1
X3X2
X5
X6X4
p(x1, x2, x3, x4, x5, x6) = p(x6 | x5) p(x5 | x3, x2) p(x4 | x2, x1) p(x3 | x1) p(x2 | x1) p(x1)
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 44
X1
X3X2
X5
X6X4
p(x1, x2, x3, x4, x5, x6) = p(x6 | x5) p(x5 | x3, x2) p(x4 | x2, x1) p(x3 | x1) p(x2 | x1) p(x1)
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 55
X1
X3X2
X5
X6X4
p(x1, x2, x3, x4, x5, x6) = p(x6 | x5) p(x5 | x3, x2) p(x4 | x2, x1) p(x3 | x1) p(x2 | x1) p(x1)
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 66
X1
X3X2
X5
X6X4
p(x1, x2, x3, x4, x5, x6) = p(x6 | x5) p(x5 | x3, x2) p(x4 | x2, x1) p(x3 | x1) p(x2 | x1) p(x1)
Ejemplo de V-estructura
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 77
X1
X3X2
X5
X6X4
Manto de Markov de X3
X3 ⊥ X4, X6 | X1, X2, X5X3 condicionalmente independiente de (X4 , X6) dados X1, X2, X5
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 88
Complejidad del modelo =Complejidad del modelo =Densidad de la redDensidad de la red
IQ
CP
SS IQ
CP
SS
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 99
ParParáámetrizacimetrizacióónn de la redde la red
“Juan tienefiebre”
“Medición deltermómetro”
“Juan tienegripe” XGr P(Gr=T) = 0.05
P(Fb=Alta | Gr=T) = 0.40P(Fb=Alta | Gr=F) = 0.01
P(Th=Alta | Fb=Alta)= 0.95P(Th=Alta | Fb=Baja)=0.10
Modelizando unarelación causal
Modelizandoerror de medida
YFb
QTh
¿ P(Gr=T | Th=Alta) ?¿ P(Fb=Alta | Th=Alta) ?
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 1010
TerminologTerminologííaa
A1A2 A3 A4
A5A6
E
Se trata de calcular (aproximar) un número finito de probabilidades a posteriori (mediante la regla de Bayes) dada la evidencia (datos)
Dos aplicaciones: explotación de una red daday puntuación de estructuras
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 1111
CausalidadCausalidad
CuandoCuando la RB la RB eses causalcausal, , loslos arcos arcos siguensiguenla la direccidireccióónn natural del natural del procesoproceso
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 1212
TiposTipos de de grafosgrafos (con arcos (con arcos dirigidosdirigidos))En principio todo grafo acíclico (DAG) codifica una distribuciónLos Polytrees son relativamente fáciles de tratarUn DAG es un polytree si sólo existe un camino basado en arcos (ignorando su direccionalidad) entre dos nodos cualesquiera
Se permite másde un padre y más de un hijo
No son polytrees
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 1313
La red ALARMLa red ALARMMonitorizaciMonitorizacióónn de de pacientespacientesen en cuidadoscuidados intensivosintensivos
37 variables37 variables509 509 parparáámetrosmetros……en en vezvez de 2de 23737
PCWP CO
HRBP
HREKG HRSAT
ERRCAUTERHRHISTORY
CATECHOL
SAO2 EXPCO2
ARTCO2
VENTALV
VENTLUNG VENITUBE
DISCONNECT
MINVOLSET
VENTMACHKINKEDTUBEINTUBATIONPULMEMBOLUS
PAP SHUNT
ANAPHYLAXIS
MINOVL
PVSAT
FIO2
PRESS
INSUFFANESTHTPR
LVFAILURE
ERRBLOWOUTPUTSTROEVOLUMELVEDVOLUME
HYPOVOLEMIA
CVP
BP
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 1414
Otra vista de ALARMOtra vista de ALARM
PCWP COHRBP
HREKG HRSAT
ERRCAUTERHRHISTORY
CATECHOL
SAO2 EXPCO2
ARTCO2
VENTALV
VENTLUNG VENITUBE
DISCONNECT
MINVOLSET
VENTMACHKINKEDTUBEINTUBATIONPULMEMBOLUS
PAP SHUNT
ANAPHYLAXIS
MINOVL
PVSAT
FIO2PRESS
INSUFFANESTHTPR
LVFAILURE
ERRBLOWOUTPUTSTROEVOLUMELVEDVOLUME
HYPOVOLEMIA
CVP
BP
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 1515
¿¿Problemas con la impresora?Problemas con la impresora?
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 1616
CLIPO, una red Bayesiana CLIPO, una red Bayesiana chistosachistosa
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 1717
Redes Bayesianas en Metereología
(descriptive not predictive)
(predictive & independent)
Atmosphericstate
Atmosphericstate
Climatological
Naive
Augmented
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 1818
Dos problemas bDos problemas báásicossicos
CCóómo se obtiene una red Bayesianamo se obtiene una red BayesianaCCóómo se utiliza una red Bayesiana dadamo se utiliza una red Bayesiana dada
X7
X6X5
X2X1 X4X3
R
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 1919
Modelo de fallo de arranqueModelo de fallo de arranque
EngineStart = NO(el problema!)
Evidencia:
Lights = SI, Gas = SI,SparkPlugs = SI
Implicaciones:P(Distributor=NO | Evidencia)=0.07P(Starter=NO | Evidencia)=0.86
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 2020
UnaUna red Bayesiana red Bayesiana parapara la la prpráácticactica mméédicadica
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 2121
DistribucionesDistribuciones marginalesmarginales (antes de (antes de utilizarutilizar la red)la red)
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 2222
DistribucionesDistribuciones condicionadascondicionadas parapara hombres: hombres: mayor mayor riesgoriesgo de de enfermedadenfermedad cardiovascularcardiovascular
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 2323
Un Un casocaso de alto de alto riesgoriesgo: : colesterolcolesterol, , tabacotabaco y y tensitensióónn
Normal
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 2424
ModelosModelos grgrááficosficos en en BiologBiologííaa (N. Friedman)(N. Friedman)
I
Start EndM1 M3 M4M2
D D D D
I I I II
L W KM EMatch: a conserved position with specialized emission probability
Insert: an insertion with general (background) emission probability
Delete: a deletion, a silent state without any emission
ILWKILMWKELMWKE
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 2525
InducciInduccióónn ((semi)automsemi)automááticatica
Red(es) Bayesiana(s)Matriz de datos
X1
X4
X9
X3
X2
X5X6
X7
X8
X1truefalsefalsetrue
X21532
X30.7-1.65.96.3
...
.
... . .
Algoritmo de aprendizaje
+Información de expertos
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 2626
Algunas tAlgunas téécnicascnicasTests previos de independencia Tests previos de independencia condicional condicional MMéétodos de puntuacitodos de puntuacióón y bn y búúsquedasqueda
Se parte de un grafo aleatorioSe parte de un grafo aleatorioSe define una mSe define una méétrica M que mide la calidad trica M que mide la calidad del ajuste a los datos D del ajuste a los datos D Se definen operadores de variaciSe definen operadores de variacióón local n local sobre grafos sobre grafos Se explora el entorno inmediato y se Se explora el entorno inmediato y se selecciona la opciselecciona la opcióón que produce el mayor n que produce el mayor incremento en M (versiincremento en M (versióón voraz)n voraz)
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 2727
AprendizajeAprendizaje de de estructuraestructura
Dados los datos, ¿qué modelo es correcto?
X Ymodelo 1:
X Ymodelo 2:
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 2828
EnfoqueEnfoque BayesianoBayesiano
Dados los datos, ¿qué modelo es correcto más probable?
X Ymodelo 1: 1.0)|( 1 =dmp7.0)( 1 =mp
Datos d
X Ymodelo 2: 9.0)|( 2 =dmp3.0)( 2 =mp
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 2929
Para Para puntuarpuntuar un un modelomodelo, , podemospodemosutilizarutilizar la la reglaregla de Bayesde Bayes
Dados los datos d:
)|()()|( mpmpmp dd ∝
∫= θθθ dmpmpmp )|(),|()|( dd
Puntuacióndel modelo
verosimilitud estándar“verosimilitudmarginal"
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 3030
MMéétodotodo EM EM parapara datos datos incompletosincompletos
Elección inicial de parámetros
Iterar hastaconverger
Modelo actual)(G,Θ
S X D C B<? 0 1 0 1> <1 1 ? 0 1><0 0 0 ? ?><? ? 0 ? 1>………
Datos
S X D C B1 0 1 0 1 1 1 1 0 10 0 0 0 01 0 0 0 1………..
Datos completados
Esperanza
Maximización
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 3131
Dependencias entre genesDependencias entre genes
Gene4
Gene2
Gene3
Gene5 Gene6
Module 3
Module 2
Module 1
CPD 2
CPD 1
CPD 3
Gene1
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 3232
Analizar redes con cientos de nodos es complejoAnalizar redes con cientos de nodos es complejo
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 3333
Consideraciones prConsideraciones práácticascticas
¿¿Muchas variables Muchas variables predictoraspredictoras? Selecci? Seleccióón n previa (previa (featurefeature selectionselection) ) ¿¿MMáás variables que observaciones?s variables que observaciones?¿¿Nodos ocultos?Nodos ocultos?¿¿Variables continuas? Variables continuas? ¿¿Nodos de decisiNodos de decisióón?n?¿¿DimensiDimensióón temporal?n temporal?
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 3434
PerspectivasPerspectivas
Uso intensivo en modelizaciUso intensivo en modelizacióón y prediccin y prediccióón n de fende fenóómenos estmenos estááticos y dinticos y dináámicosmicosFructFructííferos desarrollos matemferos desarrollos matemááticos y ticos y algoralgoríítmicostmicosVariedad de modelos emergentesVariedad de modelos emergentes
RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 3535
ReferenciasReferencias
Excelente pExcelente páágina de introduccigina de introduccióón n de Kevin Murphyhttphttp://www.cs.ubc.ca/://www.cs.ubc.ca/~murphyk~murphyk//BayesBayes//bnintro.htmlbnintro.htmlTambién http://www.cs.ubc.ca/~murphyk/Bayes/bnsoft.htmlhttp://www.cs.ubc.ca/~murphyk/Bayes/bnsoft.html yhttp://www.kdnuggets.com/software/bayesian.htmlhttp://www.kdnuggets.com/software/bayesian.htmlLibro on-line en castellano en castellano http://personales.unican.es/gutierjm/BookCGH.htmlhttp://personales.unican.es/gutierjm/BookCGH.html