1. Redes neuronales modulares:topologa, caractersticas y aplicacin.UNED. 2010-2012Mster en fsica de sistemas complejos.Trabajo fin de Mster.-----------------------------------Autor: Hctor Corte Len.Tutora: Elka Korutcheva.

2. Indice.Objetivos.Modelo. Propiedades del modelo.Distancia Hamming y solapamiento.Valor optimo de .Algoritmo.Simulaciones numricas. Verificacin de correcto funcionamiento y ruido admitido. Olvido pasivo. Capacidad mxima y estabilizacin. Muerte neuronal.Conclusiones.Perspectivas. 3. ObjetivosAdquirir los conocimientos necesarios parasimular y modelar las distintas partes de unmodelo computacional de memoria humana.Comprobar de forma numrica las propiedadesdel modelo descritas en distintos artculos.Estudiar la posibilidad de utilizar dicho modelopara estudiar enfermedades. 4. Modelo.Un modelo de red neuronal con una capa deneuronas conectadas entre s de forma nosimtrica y sin autofeedback.Neuronas con activacin estocasticadependiente de la temperatura T=1/.Regla de aprendizaje basada en la historia decada neurona.Constante de olvido pasivo. 5. Modelo.Se fija una seal externa sobre las neuronas.Evolucin de la red: Todas las neuronas a la vez suman lasseales que les llegan multiplicadas porel peso correspondiente. De forma aleatoria determinan su nuevoestado a partir de la seal que les llega yde la temperatura.Evolucin de los pesos: Cada cierto nmero de iteraciones seactualizan los pesos. Cada peso se actualiza tomando el valorque tena anteriormente y aumentndolosi las neuronas que une tienden aactivarse a la vez o disminuyndolo encaso contrario. 6. Propiedades del modelo.Puede funcionar como memoria asociativa.Capaz de recibir entradas con cierto nivel deruido y aun as identificarlas.Similar en funcionamiento a ciertas zonas delcerebro.Posibilidad de usarlo para resolver problemas deoptimizacin. 7. Distancia Hamming y Solapamiento.Distancia Hamming [0,1] 0 para vectores idnticos 1 para vectores opuestos. 0,5 vectores aleatorios entre si.Solapamiento [-1,1] 1 para vectores idnticos. -1 para vectores opuestos. 0 vectores que se complementan.Eficiencia [0,1] 1 para vectores idnticos 0 para vectores opuestos. 0,5 vectores aleatorios entre si.H (A , B)=12(110313)=0,23m( A , B)=12H( A.B)=0,54(A , B)=1H ( A , B)=0,77 8. Valor ptimo de .El valor de determina el ruidoque tienen las neuronasestocsticasUn valor alto implica mucho ruidoy por tanto la seal aplicada a lasneuronas predomina frente a laevolucin natural de las mismashacia un atractor del sistema.Para valores demasiado bajos de la red evoluciona librementehaca uno de los tractores delsistema. 9. Algoritmo.Para trabajar con la red combinamos estos dos procesos dela forma adecuada a las necesidades de la simulacin.Almacenamiento: Se expone una seal a la entrada de lared durante un cierto nmero de iteraciones. El valor de se tomalo suficientemente grande para que la red tienda hacia el estado queimponemos a la entrada y vamos bajando lentamente hasta que lared alcanza un estado estacionario. Si este estado coincide con elque deseamos almacenar entonces realizamos un entrenamientovariando los pesos de la red de acuerdo a la ley establecida.Recuperacin: Se expone una seal a la entrada de la reddurante un cierto nmero de iteraciones. El valor de se toma losuficientemente grande para que la red tienda hacia el estado queimponemos a la entrada y vamos bajando lentamente hasta que lared alcanza un estado estacionario. 10. Simulaciones numricas.Comprobacin de correcto funcionamiento.Capacidad en funcin del olvido pasivo, .Capacidad mxima y estabilizacin con olvidopasivo.Mecanismos de degradacin. 11. Verificacin de correctofuncionamiento y ruido admitido.Ruido: Se dice que una seal tiene ruido respecto a un patrncuando se compara con este y la distancia Hamming no es cero. Esdecir, cuando se puede representar como el patrn con algunascomponentes cambiadas de forma aleatoria. El nivel de ruido es ladistancia Hamming al patrn.En la siguiente simulacin:Fijamos un valor de olvido pasivo, .Enseamos 5 patrones a la red.Utilizando seales cada vez con ms ruido evaluamos laeficiencia de la red para recuperar el patrn deseado. 12. Verificacin de correctofuncionamiento y ruido admitido.=0,7 =1 =1,20 0 . 0 5 0 . 1 0 . 1 5 0 . 2 0 . 2 5 0 . 3 0 . 3 5 0 . 4 0 . 4 50 . 50 . 5 50 . 60 . 6 50 . 70 . 7 50 . 80 . 8 50 . 90 . 9 51D is t a n c e t o p a t t e r nEficiencyP a t r n 1P a t r n 2P a t r n 3P a t r n 4P a t r n 50 0 . 0 5 0 . 1 0 . 1 5 0 . 2 0 . 2 5 0 . 3 0 . 3 5 0 . 4 0 . 4 50 . 50 . 5 50 . 60 . 6 50 . 70 . 7 50 . 80 . 8 50 . 90 . 9 51D is t a n c e t o p a t t e r nEficiencyP a t r n 1P a t r n 2P a t r n 3P a t r n 4P a t r n 50 0 . 0 5 0 . 1 0 . 1 5 0 . 2 0 . 2 5 0 . 3 0 . 3 5 0 . 4 0 . 4 50 . 50 . 5 50 . 60 . 6 50 . 70 . 7 50 . 80 . 8 50 . 90 . 9 51D is t a n c e t o p a t t e rnEficiencyP a t r n 1P a t r n 2P a t r n 3P a t r n 4P a t r n 5 13. Olvido pasivo.Olvido pasivo: Cada vez que tiene lugar un entrenamiento seactualizan los pesos entre neuronas. El olvido pasivo consiste enmultiplicar los pesos viejos por un factor menor que la unidad.En la siguiente simulacin repetimos los siguientes pasos:Fijamos una tasa de olvido pasivo, .Repetimos:Enseamos un nuevo patrn a la red.Intentamos recuperar todos los patrones almacenadospreviamente y vemos la eficiencia en funcin del nivel de ruidoa la entrada. 14. Olvido pasivo.A medida que aumentamos el nmero de patronesmemorizados por la red disminuye el ruido que es capazde soportar.51 01 52 02 53 03 54 04 55 000 . 0 50 . 10 . 1 50 . 20 . 2 50 . 30 . 3 50 . 40 . 4 50 . 500 . 20 . 40 . 60 . 81D is t a n c e t o p a t t e r nN u m b e r o f p a t e rn sEficiency 15. Olvido pasivo.51 01 52 02 53 03 54 04 55 0 00 . 0 50 . 10 . 1 50 . 20 . 2 50 . 30 . 3 50 . 40 . 4 50 . 500 . 20 . 40 . 60 . 81D is t a n c e t o p a t t e r nN u m b e r o f p a t e r n sEficiency 16. Olvido pasivo.51 01 52 02 53 03 54 04 55 0 00 . 10 . 20 . 30 . 40 . 500 . 20 . 40 . 60 . 81D is t a n c e t o p a t t e rnN u m b e r o f p a t e r n sEficiency 17. Capacidad mxima y estabilizacin.Capacidad de una red: Patrones almacenados en la red entre elnmero de neuronas de la red.En la siguiente simulacin repetimos los siguientes pasos:Enseamos un patrn nuevo a la red.Evaluamos la eficiencia de la red para recuperar todos lospatrones almacenados y consideramos que recuerda aquellosque cuya eficiencia es 1 cuando la seal de entrada tiene unruido de 0,2. 18. Capacidad mxima y estabilizacin.0 2 0 4 0 6 0 8 0 1 0 0 1 2 0 1 4 0 1 6 000 . 0 20 . 0 40 . 0 60 . 0 80 . 10 . 1 20 . 1 40 . 1 6N m e r o d e p a t r o n e s d is t in t o s e n t r e n a d o sCapacidadN = 1 0 0 = 0 . 9 9N = 1 0 0 = 1 . 0 1N = 1 0 0 = 1N = 4 0 0 = 0 . 9 9N = 4 0 0 = 1N = 4 0 0 = 1 . 0 1N = 9 0 0 = 0 . 9 9N = 9 0 0 = 1 . 0 1N = 9 0 0 = 1N = 1 6 0 0 = 1N = 1 6 0 0 = 0 . 9 9N = 1 6 0 0 = 1 . 0 1 19. Muerte neuronal.Alzheimer: Enfermedad neurodegenerativa que se manifiestaprincipalmente por perdida de memoria y la incapacidad paraadquirir nuevos recuerdos.En la siguiente simulacin:Enseamos 5 patrones a la red.Eliminamos un cierto porcentaje de conexiones neuronales yevaluamos la eficiencia con que se recupera cada patrn.Repetimos esto hasta eliminar todas las conexiones entreneuronas. 20. Muerte neuronal.0 1 0 2 0 3 0 4 0 5 0 6 0 7 0 8 0 9 00 . 40 . 50 . 60 . 70 . 80 . 91% O f d e a d c o n e x io n sRetrievaleficiencyP a t r n 1P a t r n 2P a t r n 3P a t r n 4P a t r n 5 21. Conclusiones.Se ha conseguido un conocimiento sobre este tipo de redesque permite su correcto manejo de acuerdo a lassimulaciones conseguidas.Mediante simulaciones se han verificado varias propiedadesenunciadas para modelos similares. Particularmente la accinreguladora del olvido pasivo.Se ha podido reproducir un proceso degenerativo asociado auna enfermedad. Este proceso da pie a la realizacin deexperimentos ms amplios donde adems de ladegeneracin se estudien mecanismos de compensacinasociados a dichas enfermedades. 22. Perspectivas.Utilizar la parte de optimizacin para mejorar un modelo dered neuronal que se utiliza para ajuste de datos.Combinar el modelo con modelos biologicamente msprecisos para estudiar enfermedades.Ampliar el modelo para incluir la variante que puedealmacenar patrones temporales. 23. Gracias por su atencin.