d o Redes Neurais Artificiais E s o S o C N U -...
Transcript of d o Redes Neurais Artificiais E s o S o C N U -...
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Universidade Federal do Espírito SantoCentro de Ciências Agrárias – CCENS UFESDepartamento de Computação
Redes Neurais ArtificiaisSite: http://jeiks.net E-mail: [email protected]
Redes Neurais Artificiais
2
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Redes Neurais Artificiais
● A RNA é uma máquina projetada para modelar a maneira como o cérebro realiza uma tarefa específica ou uma função de interesse.
● Ela realiza uma computação útil através de um processo de aprendizagem.
● Elas possuem uma combinação topológica, maciça e paralela, abrigando assim um processamento complexo.
● O elemento de processamento da informação é o neurônio, o qual possui processamento simples.– Isso é devido à sua inspiração, que é no sistema nervoso central.
● A representação do conhecimento é realizada:– Em sua topologia (arquitetura);– No valor dos seus parâmetros;
● O algoritmo de treinamento modifica os pesos sinápticos da rede de forma ordenara para alcançar o objetivo desejado.
3
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Redes Neurais Artificiais (RNA)● Existem três tipos de RNAs:
– Feed Forward1;– Recorrente2;– Auto Organizável3;
1
2
3
4
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Cérebro Humano
● O cérebro humano processa diferente do computador.● Características do cérebro:
– É complexo e não linear;– Completamente paralelo;– Tem a capacidade de organizar seus neurônios para
realizar processamento mais rápido que o processador de uma máquina;
– Desenvolve suas próprias regras através da experiência.● Além disso, o sistema visual fornece ao cérebro:
– A representação do ambiente;– A informação necessária para interagir com o ambiente.
5
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Redes Neurais Artificiais
● Semelhanças entre a RNA e o Cérebro:– O conhecimento do ambiente é obtido através da
aprendizagem;– A força de conexão entre os neurônios (sinapse) são
utilizados para armazenar o conhecimento adquirido.● Processo generalização da RNA:
– Refere-se ao fato da RNA produzir saídas adequadas para entradas que não estavam presentes no treinamento;
– Isso ocorre pela generalização dos dados já aprendidos.
6
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Neurônio● Funcionamento de um neurônio:
– A recepção dos impulsos sinápticos de outros neurônios chega pelos dendritos, são processados pelo núcleo e propagados pelo axônio, gerando sinapses em outros neurônios.
7
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Neurônio Biológico e Artificial
<http://www.intechopen.com/books/artificial-neural-networks-architectures-and-applications/ applications-of-artificial-neural-networks-in-chemical-problems>
8
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Redes Neurais Artificiais● Assume forma funcional:
– Estática: f(x);– Dinâmica: f(x, t);
● Sua aprendizagem depende:– Do conhecimento à priori;– Dos dados fornecidos.– A RNA fornece seu resultado com a generalização por um algoritmo de
aprendizagem.● As propriedades da RNA são:
– Não linearidade do processamento (em geral);– Mapeamento entrada → saída.
● Podem ser utilizadas nas seguintes aplicações:– Classificação;– Regressão;– Controle aritmético..
9
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Redes Neurais Artificiais
● Suas características são:– Adaptabilidade:
● Re-treinamento e treinamento contínuo (online);● Adapta os pesos às modificações do meio ambiente.
– Resposta Quantitativa:● Ex.: Fornecem um grau de confiança em problemas de classificação;
– Processamento contextual:● Vizinhança de um neurônio é influenciada pelo neurônio em um grau
maior que os demais neurônios da rede, como o treinamento do mapa auto organizável;
● A informação contextual está presente na estrutura e no estado de atuação da rede.
– Tolerância a falhas:● Eliminação topológica de alguns neurônios.
10
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Redes Neurais Artificiais
● Suas características são:– Informação incerta, incompleta:
● Parcialmente contraditória;
– Implementação em Hardware:● Elementos com capacidade de processamento simples e
complexo.
11
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Aprendizado da RNADados Iniciais: O que a rede aprendeu:
12
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
História resumida da Neurocomputação
13
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1943
● Neurofisiologista McCulloch e o
Matemático Walter Pitts (1943),
– Possuíam um trabalho que fazia uma analogia entre células vivas e o processo eletrônico:
● simulava o comportamento do neurônio natural,● o neurônio artificial possuía apenas uma saída,● que era uma função que agia sobre os valores de suas diversas
entradas.
14
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
O neurônio de McCulloch e Pitts
Soma=∑i=1
N
I i⋅W i
y= f (Soma)
Soma=∑i=1
N
I i⋅W i
y= f (Soma)
15
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1949
● Psicólogo Donald Hebb,
– Propôs uma lei de aprendizagem específica para as sinapses dos neurônios.
– Demostrou que a capacidade da aprendizagem em redes neurais biológicas vem da alteração da eficiência sináptica:
● A conexão entre os neurônios somente é reforçada se tanto os neurônios pré-sinápticos quanto os pós-sinápticos estiverem excitados.
16
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1951
● Marvin Minsky:
– Cofundador do laboratório de IA do MIT.– Construiu o primeiro neuro computador: Snark.– O Snark:
● Operava ajustando seus pesos automaticamente.● Nunca executou qualquer função de processamento de
informação interessante.● Serviu como inspiração para ideias de estruturas
posteriores.
17
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1956
● Surgimento dos dois paradigmas da Inteligência Artificial:– Simbólica:
● Que utiliza um conjunto de símbolos que são manipulados com regras explícitas.
● Não procura imitar a natureza do cérebro.
– Conexionista:● Acredita-se que construindo um sistema que simule a
estrutura do cérebro, este sistema apresentará inteligência, ou seja, será capaz de aprender, assimilar, errar e aprender com seus erros.
18
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1958
● Frank Rosenblatt:
– Publicou o modelo dos "Perceptrons":● Livro Principles of Neurodynamics.
– Os neurônios (perceptrons) eram organizados em camada de entrada e saída,
● os pesos das conexões entre os neurônios eram adaptados a fim de se atingir a eficiência sináptica usada no reconhecimento de caracteres.
19
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Perceptron
retina
associação
resposta
retina
associação
resposta
20
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1960● Widrow e Hoff criaram as RNAs:
– ADALINE (ADAptative LInear NEtwork) e a– MADALINE (Many ADALINE).
● O MADALINE utilizou saídasanalógicas em uma arquiteturade três camadas.
Exemplo...
21
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1969
● Minsky & Papert– Constataram que um neurônio do tipo Perceptron
só era capaz de resolver problemas com dados de classes linearmente separáveis.
22
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1970
Muitos historiadores desconsideram a existência de pesquisa nessa área nos anos 70.
23
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1982● Físico e biólogo Hopfield:
– Retomada das pesquisas com a publicação de trabalhos relatando a utilização de redes simétricas para otimização.
– Utilizou um algoritmo de aprendizagem que estabilizava uma rede binária simétrica com realimentação.
24
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico - 1982
● Mapas de Kohonen:– Também chamado de mapa de características auto-
organizáveis.– Usa o algoritmo vencedor-leva-tudo.– Esse aprendizado é não supervisionado, chamado de
aprendizado competitivo.– Algoritmo vencedor-leva-tudo:
● Apenas um neurônio fornece a saída da rede em resposta a uma entrada: O neurônio que tiver o maior índice de ativação
● Durante o aprendizado, somente as conexões deste neurônio que tem seus pesos alterados.
25
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1982● Mapas de Kohonen:
– Seu propósito é agrupar dados de entrada em diversos grupos (clusters).
– Exemplo: Novas histórias em categorias por assuntos.● Tem duas camadas:
– Uma de entrada;– Uma de agrupamento: que é a camada de saída.
26
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1986
● Rumelhart¹, Hinton² e Williams:– Introduziram o poderoso método de treinamento
denominado Backpropagation. ● Rumelhart e McClelland³
– escreveram o livro “Processamento Paralelo Distribuído: Explorações na Microestrutura do Conhecimento”.
27
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Histórico – 1988
● Broomhead e Lowe– Descreveram um procedimento para o projeto de
uma rede neural (feedforward) usando funções de base radial (Rede de Base Radial – RBF).
28
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Mais considerações● A maioria dos problemas
do mundo real não é linearmente separável.
● A RNA Multicamadas possui maior capacidade de aprendizado para tais dados.
● Aprendem da mesma forma que perceptrons simples.
● Porém há muito mais pesos a serem ajustados.
29
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Mais considerações
● RNAs com Retropropagação:– Geralmente utiliza a função sigmoide:
f(x) = 1
1+ e-x
● Os pesos são
ajustados de trás
para frente
30
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Mais considerações
● Também tem-se as Redes Recorrentes:– Apresentam “ciclos” nas suas conexões, isto é, a saída de
neurônios de uma camada i são entradas de neurônios de uma camada anterior.
– Redes BAM, de Hopfield e Competitivas em geral são de certo modo redes recorrentes.
– Entretanto 2 modelos são de maior interesse neste caso:● Redes de Elman;● Redes de Jordan.
– Utilizadas para casos que necessitem verificar dados anteriores.
– Essas redes tem memória.
33
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Rede Neural Artificialy.
Xd
X...
X1
w11
W1...
w1d
ɸ1
ɸ...
ɸH