Redes Neurais para Inferência Estatísticarvicente/RNcomMatlab.pdfRedes Neurais para Inferência...

Criado por Renato Vicente 27/01/06 1

Redes Neurais para Inferência Estatística - F E A / U S P J u n / 2 0 0 2 Renato Vicente∗

Programa

1. Introdução: Redes Neurais, Matlab e Netlab 2. Algoritmos de Otimização 3. Estimação de Densidades de Probabilidade 4. Redes Neurais com uma Camada 5. Redes Neurais Multicamada 6. Amostragem 7. Técnicas Bayesianas Opcionalmente: 8. Radial Basis Functions 9. Redução Dimensional e Visualização de dados 10. Processos Gaussianos Referências Básicas:

• Using Matlab, The MathWorks Inc. (2000); • Bishop, C.M., Neural Networks for Pattern Recognition, Oxford University

Press, Oxford, 1995; • Nabney, I.T., Netlab: Algorithms for Pattern Recognition, Springer,

London, 2002.

∗ [email protected]


Introdução: Redes Neurais, Matlab e Netlab

Redes Neurais Rede Neural é um nome fantasia para modelos de inferência multidimensionais e não-lineares. O grande apelo destes modelos está em sua capacidade de “aprender”, generalizar ou extrair regras automaticamente de conjuntos de dados complexos. No caso mais simples, temos um conjunto de pares entrada-saída ( ) ( )

1{( , )}n n pnD == x t e

queremos modelar a função ˆ ( , )t y y= = x w que produz melhores estimativas para pares fora do conjunto D , dados vetores x. Este problema é denominado r e g r e s s ã o . A Rede Neural consiste simplesmente de uma escolha particular para a família de funções

( , )y x w parametrizada por w, denominados p e s o s s i n á p t i c o s . A importância das Redes Neurais neste contexto está no fato delas representarem um esquema bastante genérico para a representação de famílias de funções não-lineares com várias variáveis de entrada e saída e controladas por um certo número de parâmetros ajustáveis. Há uma série de famílias, ou arquiteturas, clássicas para Redes Neurais que são representadas graficamente. P e r c e p t r o n L i n e a r P e r c e p t r o n N ã o - l i n e a r

R e d e M u l t i c a m a d a

1 01 1

n N

l j jl j

y g u g w x w= =

= +

∑ ∑

01

N

j jj

y g w x w=

= +

∑

1 x

01

N

j jj

y w x w=

= +∑

1 x


É possível1 mostrar que Redes Neurais Multicamada com um número N suficientemente grande de unidades na mamada interna (ou escondida) podem representar qualquer função com erro menor que ( )Nε . Uma maneira simples e direta para percebermos este fato é ilustrada abaixo:

Na figura uma função arbitrária g(z) é representada por uma soma de funções degrau

( )iz zΘ − sobre uma partição da reta 0 1{ , ,..., }NP z z z= . A medida que refinamos a

partição fazendo 1 ( )i iz z Nδ+ − < , reduzimos o erro ( )Nε . Quando as saídas consistem de classes discretas {1,..., }t c∈ o problema de inferência é denominado c l a s s i f i c a ç ã o .

1 Hornik, K. (1991). Approximation capabilities of multilayer feedforward networks. Neural Networks 4 (2), 251-257.

( )xΘ

0x =

0

0x =0

10 10

( ) ( ) { } ( )N

i i ii

g z g z g g z z+=

≈ + − Θ −∑


Matlab Matlab (M a t r i x L a b o r a t o r y ) é uma linguagem para computação científica com estrutura otimizada para a realização de operações com matrizes. O ambiente Matlab é composto por uma série de funções pré-definidas para cálculo, leitura e escrita de arquivos e visualização. Este conjunto de funções pode ser facilmente extendido por t o o l b o x e s dedicadas. Há t o o l b o x e s para finanças, tratamento de sinais, econometria e redes neurais. Para ilustrar a forma como matrizes podem ser tratadas pelo Matlab utilizamos o quadrado mágico de Dührer que é utilizado como exemplo no G e t S t a r t que acompanha o software. Na linha de comando do Matlab entramos: > A = [16 3 2 13; 5 10 11 8; 9 6 7 12; 4 15 14 1] A = 16 3 2 13 5 10 11 8 9 6 7 12 4 15 14 1 Após este comando a matriz A fica armazenada no W o r k s p a c e do Matlab conforme ilustrado abaixo.


As propriedades do quadadro mágico podem ser analisadas utilizando funções do Matlab. Por exemplo, a função abaixo soma cada uma das linhas da matriz A. > sum (A) ans = 34 34 34 34 Na ausência de definição de variável de saída o Matlab aloca o resultado no W o r k s p a c e sob o nome a n s . Assim ao entrarmos > ans ans = 34 34 34 34 Se quisermos somar as colunas ao invés das linhas temos que transpor a matriz A, isso feito simplesmente pelo comando >A' ans = 16 5 9 4 3 10 6 15 2 11 7 14 13 8 12 1 Assim podemos realizar a soma das colunas entrando >sum(A')' ans = 34 34 34 34 Novamente o resultado é 34. Podemos também calcular a soma da diagonal, ou traço, de duas formas: > diag (A) ans = 16 10 7 1


> sum (diag(A)) ans = 34 Ou > trace(A) ans = 34 Curiosamente continuamos obtendo 34. Somemos agora a antidiagonal da matriz A, para isso podemos utilizar a função f l i p l r para enviarmos cada coluna da esquerda para a direita da matriz A. > fliplr (A) ans = 13 2 3 16 8 11 10 5 12 7 6 9 1 14 15 4 E a seguir > sum(diag(fliplr(A))) ans = 34 As somas são sempre iguais a 34 pois quando dividimos números inteiros de 1 a 16 em quatro grupos com somas iguais temos: > t=1:1:16 t = 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 > sum(t)/4 ans = 34 Aqui utilizamos ":" para gerarmos números de 1 a 16 em passos de 1.


O Matlab possui uma função específica para a criação de quadrados mágicos de qualquer dimensão, esta função é > B=magic(4) B = 16 2 3 13 5 11 10 8 9 7 6 12 4 14 15 1 É possível reordenar as colunas de B para reobtermos A utilizando o comando > B(:,[1 3 2 4]) ans = 16 3 2 13 5 10 11 8 9 6 7 12 4 15 14 1

Netlab O Netlab é uma t o o l b o x para Redes Neurais para Matlab disponibilizada gratuitamente no site do Neural Computing Research Group da Univerisdade de Aston (www.ncrg.aston.ac.uk). Esta t o o l b o x toran a implementação de modelos baseados em Redes Neurais muito simples. Os códigos produzidos em Matlab podem então ser convertidos em executáveis utilizando o M a t l a b C o m p i l e r . Como um primeiro contato com o Netlab escreveremos sua versão para o clássico "H e l l o W o r l d ". Começamos por gerar de um conjunto de dados fictícios para treinamento de nossa Rede Neural. Para isso vamos supor que a função que queremos inferir é

( ) (2 )f x sin xπ= . No entanto, só temos acesso a uma versão corrompida por ruído gaussiando desta função assim, nosso conjunto de dados é "gerado" da seguinte forma:

sin(2 )

~ (0,1)n n n

n

t x

N

π σε

ε

= +,

onde N(0,1) é uma distribuição normal com média nula e variância unitária. No Matlab teremos 1 x=[0:1/19:1]'; 2 ndata=size(x,1); 3 t=sin(2*pi*x) + 0.15*randn(ndata,1);


Aqui utilizamos alguns recursos novos. Utilizamos ao final de cada linha ";" , esta instrução faz com que o Matlab omita resultados intermediários dos cálculos sendo executados. A primeira instrução gera um vetor coluna x com 20 dimensões contendo números de 0 a 1 em intervalos de 1/19. Na linha 2 utilizamos a função s i z e ( x , 1 ) para obtermos o tamnho em número de linhas do vetor coluna x, assim, se entrarmos: > size(x) ans = 20 1 Ou seja, o vetor x possui 20 linhas e 1 coluna, s i z e ( x , 1 ) nos dá o número de linhas, enquanto s i z e ( x , 2 ) nos dá o número de colunas. Na linha 3 utilizamos a função r a n d n ( l i n h a s , c o l s ) para gerarmos um vetor de números aleatórios independentes com distribuição gaussiana com média nula e variância unitária. De forma genérica esta instrução pode ser empregada pra gerar matrizes aleatórias de qualquer tamanho. >randn(5,5) ans = 1.3808 0.3908 -1.3745 -1.3454 -0.7826 1.3198 0.0203 -0.8393 1.4819 -0.7673 -0.9094 -0.4060 -0.2086 0.0327 -0.1072 -2.3056 -1.5349 0.7559 1.8705 -0.9771 1.7887 0.2214 0.3757 -1.2090 -0.9640 No Matlab, podemos visualizar o vetor t e a função original utilizando: > plot(x,sin(2*pi*x),x,t,'k+');

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1-1.5

-1

-0.5

0

0.5

1

1.5

Gerado nosso conjunto fictício de dados, podemos definir uma arquitetura de rede para utilizarmos na inferência. Assumiremos aqui que uma Rede Neural Multicamada com 3


unidades na camada escondida seja adequada. No Netlab podemos definir uma arquitetura de rede em uma única linha de comando. 4 net=mlp (1, 3, 1, 'linear') net = type: 'mlp' nin: 1 nhidden: 3 nout: 1 nwts: 10 actfn: 'linear' w1: [-1.6823 -0.5927 0.1820] b1: [-0.1300 -0.1185 -0.0827] w2: [3x1 double] b2: 0.2541 A função m l p do Netlab cria uma estrutura que especifica completamente a arquitetura e os parâmetros iniciais da Rede Neural. Assim a rede possui n i n = 1 entrada, n h i d d e n = 3 unidades na camada interna, n o u t = 1 saída e n w t s = 1 0 parâmetros entre pesos sinápticos e limiares. Os parâmetros são iniciados em valores aleatórios. Graficamente teremos:

Cada unidade possui uma entrada extra denotada por uma seta que regula o l i m i a r d e d i s p a r o de cada um dos neurônios. Cada neurônio da camada escondida gerado pela função m l p implementa uma f u n ç ã o d e t r a n s f e r ê n c i a s i g m o i d a l do tipo tanh( )j j

j

b w x+ ∑ .

Já o neurônio da camada de saída implementa a função de transferência especificada na função m l p , no caso, uma função linear. Assim, a arquitetura da Rede Neural que utilizaremos representa a seguinte família de funções:

3

2 2 1 11

( , , ) tanh( )l l ll

y x b w b w x=

= + +∑w b .

O terceiro passo consiste no treinamento desta rede utilizando os dados fictícios contidos no conjunto de treinamento. Para isso o Netlab utiliza a infra-estrutura de algoritmos de otimização do Matlab. Primeiro é necessário armazenar as configurações padrão dos otimizadores do Matlab:


5 options=foptions; A seguir personalizamos algumas destas opções: 6 options(1) = 0; Este comando evita que os algoritmos de otimização exibam na tela a evolução passo a passo da função custo sendo minimizada. 7 options(14) =100; Esta instrução limita em 100 passos os ciclos de otimização. Agora podemos treinar nossa rede utilizando a função n e t o p t do Netlab: 8 [net, options] = netopt(net, options, x, t, 'scg'); Warning: Maximum number of iterations has been exceeded A função n e t o p t otimiza os parâmetros da rede definida pela estrutura n e t , utilizando as opções de otimizador defindas em o p t i o n s e utilizando os dados de entrada contidos no vetor x e de saída contidos no vetor t . O último argumento em n e t o p t especifica o tipo de algoritmo a ser utilizado na otimização, no exemplo, ' s c g ' significa s c a l e d g r a d i e n t . A função retorna uma mensagem de aviso indicando que a otimização foi terminada devido ao limite de 100 passos de otimização. Neste momento já obtivemos no W o r k s p a c e do Matlab uma estrutura n e t com parâmetros otimizados assim: > net.w1 ans = -5.2017 0.8701 1.5318 > net.w2 ans = 2.6033 1.0716 3.4209 > net.b1 ans = 2.4785 -0.6179 -0.3766 > net.b2 ans = -0.7588


O quarto passo consiste em utilizarmos a rede recém treinada. Para isso utilizamos a função m l p f w d do Netlab, assim se quisermos saber qual seria a saída para a entrada x = 0 . 5 6 5 , calculamos: >mlpfwd(net,0.565) ans = -0.4632 Para analisarmos visualmente a qualidade de nosso modelo para os dados representamso em um gráfico previsões para várias entradas e o valor "real": 9 plotvals=[0:0.01:1]'; 10 y=mlpfwd(net,plotvals); 11 plot(plotvals, y, 'ob',plotvals,sin(2*pi*plotvals));

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1-1

-0.5

0

0.5

1

1.5

Na figura acima as previsões aparecem como circunferências e o valor "real" como uma linha cheia. A qualidade da previsão irá depender da Rede Neural empregada e do nível de ruído dos dados.


Toda a seção de Matlab, utilizada neste problema pode ser armazenada na forma de um arquivo .m como o exibido a seguir:

Exercícios (1) Escreva uma rotina ou função em Matlab que calcule o erro quadrático de predição da Rede Neural Multicamada utilizada no exemplo acima no conjunto p l o t v a l .

2( ) ( ) ( ; , )j j

j

E f x y x = − ∑x w b .

(2) Treine Redes Multicamada com número de unidades na camada interna indo de n h i d d e n = 1 a n h i d d e n = 30 e construa um gráfico do erro de predição acima contra o número de unidades na camada escondida. Qual é a melhor escolha de arquitetura ?


Algoritmos de Otimização

Aprendizado em Redes Neurais: Um Problema de Otimização Como já dissemos, o problema de regressão utilizando Redes Neurais consiste em encontrar a função ˆ ( , )t y= x w que produz melhores estimativas para a regra implícita em um conjunto de exemplo de pares entrada-saída ( ) ( )

1{( , )}n n pnD == x t .

É importante ressaltar que a tarefa central de uma regressão não é a memorização do conjunto de exemplos D, mas sim a antecipação de pares novos (ou fora da amostra) que poderiam ser gerados pelo mesmo processo que gerou D. A descrição completa do processo gerador do conjunto D é fornecida por uma densidade de probabilidade conjunta ( , )p x t sobre D. Esta densidade de probabilidade pode ser decomposta da seguinte forma: ( , ) ( ) ( )p p p=x t t x x (1.1) A densidade ( )p t x é conhecida como densidade condicional e representa a probabilidade

de uma saída t dada uma entrada com valor específico x. Já a densidade p(x) representa a densidade incondicional de x que pode ser calculada a partir da densidade conjunta por integração (també conhecida como marginalização):

( ) ( , )p p d= ∫x t x t (1.2)

Uma maneira pictórica de representarmos um modelo para o processo de geração do conjunto de dados D é exibida na figura a seguir:

No modelo acima há dois processos estocásticos: o de geração das entradas x descrito pela densidade p(x) e o de geração de saídas com ruído descrito pela densidade condicional

( )p t x .

Processo estocástico de geração de entradas

x

Processo determinístico de geração de saídas

y(x) ruído

Saídas

corrompidas por ruído

t


O aprendizado consiste em estimarmos a densidade condicional de probabilidade ( )p t x

que melhor se ajuste ao conjunto D, possibilitando assim a predição de saídas possíveis para entradas x fora do conjunto D utilizado no treinamento. Ao modelarmos os dados utilizando Redes Neurais supomos uma arquitetura de rede, o que equivale à escolha de uma família de funções ( ; )y x w parametrizada por w. Por

conseqüência a densidade condicional ( ; )p t x w também é parametrizada por w. Para

encontrarmos qual é o vetor w que melhor ajusta os dados em D, podemos maximizar a função de verossimilhança definida por:

1

1

( ) ( , ; )

( ; ) ( )

pn n

n

pn n n

n

L p

p p

=

=

=

=

∏

∏

w x t w

t x w x

(1.3)

Alternativamente, e com uma série de vantagens práticas podemos definir uma função erro que deve ser minimizada no aprendizado:

1 1

( ) ln ( )

ln ( ; ) ln ( )p p

n n n

n n

E L

p p= =

= −

= − −∑ ∑

w w

t x w x (1.4)

O segundo somatório não depende do vetor de parâmetros w, podendo ser ignorado na minimização do erro E(w):

1

( ) ln ( ; )p

n n

n

E p=

= −∑w t x w (1.5)

O aprendizado em uma Rede Neural consiste simplemente em uma tarefa de otimização: minimizar E(w) dado o modelo o conjunto de treinamento D e a densidade condicional

( ; )p t x w .

Erro quadrático Suponhamos que o processo real de produção de saídas t consista de uma perturbação estocástica ε sobre uma função determinística h(x) assim: ( )t h ε= +x (1.6) Suponhamos agora que a perturbação estocástica (ruído) seja distribuída de forma normal:


2

22

1( ) exp

22p

εεσπσ

= −

(1.7)

Se modelarmos a função real com uma Rede Neural cuja arquitetura implemente a família ( ; )y x w a densidade condicional será :

( )2

22

( ; )1( ) exp

22

t yp t

σπσ

−= −

x wx . (1.8)

O erro será então :

( )1

2

21

( ) ln ( ; )

1( ; ) ln ln(2 )

2 2

pn n

n

pn

n

E p t

Npt y Np σ π

σ

=

=

= −

= − + +

∑

∑

w x w

x w

(1.9)

Ao omitirmos as constantes e o fator de escala em frente ao somatório teremos a seguinte medida de erro de aprendizado:

( )2

1

1( ) ( ; )

2

pn n

n

E t y=

= −∑w x w , (1.10)

que é a distância Euclidiana clássica utilizada em regressões usuais.

Erro r-Minkowski Se supusermos que o ruído ε é distribuído segundo uma generalização de uma gaussiana:

( )1

( ) exp2 (1/ )

rrr

pr

βε β ε= −Γ

(1.11)

O erro de treinamento tomará a seguinte forma:

( )1

1( ) ( ; )

2

prn n

n

E t y=

= −∑w x w . (1.12)

A figura abaixo representa densidades para vários valores de r.


A escolha de diferentes valores para o parâmetro r regula a sensibilidade do modelo a valores com erros grandes, como pode ser visto na figura abaixo:

Conforme r aumenta maior é a penalização para desvios grandes que passam, por serem pouco prováveis, a ser considerados incompatíveis com os dados.

Exercícios

(1) Generalize (1.10) para o caso de saídas t multidimensionais. (2) Demonstre a expressão (1.12) para a função erro r-Minkowski.


Otimização Há várias técnicas para otimização de funções multidimensionais e não-lineares como a função erro que devemos minimizar. Genericamente um algoritmo iterativo de otimização no espaço de parâmetros w consiste em uma busca onde a cada passo são determinados uma direção e um tamanho de passo: 1t t t tα+ = +w w d (1.13) Quanto mais informação sobre a geometria da superfície definida pela função erro E(w) for utilizada mais eficiente será o algoritmo. Uma boa idéia de como um algoritmo de otimização pode utilizar a geometria da função erro pode ser obtida utilizando uma aproximação quadrática para a superfície. Consideremos a seguinte expansão em torno de um ponto w :

1

ˆ ˆ ˆ ˆ ˆ( ) ( ) ( ) ( ) ( ) ( )2

E E E≅ + − ⋅∇ + − ⋅ −w w w w w w w H w w (1.14)

A matriz H é conhecida como Hessiano sendo definida como:

2

ˆ

jkj k

EH

w w

∂=∂ ∂

w

(1.15)

Suponha que *ˆ =w w seja um extremo de E, então:

* * *1( ) ( ) ( ) ( )

2E E≅ + − ⋅ −w w w w H w w (1.16)

Podemos calcular os autovetores do Hessiano H : k k kλ=Hu u , (1.17) onde j k jkδ⋅ =u u . (1.18)

Podemos expandir o vetor w – w* na base dos autovetores de H para escrevermos: *

k kk

α− =∑w w u (1.19)

Substituindo (1.19) em (1.16) e utilizando (1.17) e (1.18) :

* 21( ) ( )

2 k kk

E E λ α≅ + ∑w w . (1.20)

Assim, os autovetores da Hessiana indicam direções ortogonais que diagonalizam a matriz H. De (1.20) pode-se concluir que para que w* defina um mínimo é necessário que todos os autovalores sejam positivos, além disso a velocidade de convergência do erro é maior em direções com autovalor maior.

Otimização em Netlab


Discutiremos quatro técnicas implementadas pelo Netlab:

1. Gradient Descent 2. Gradiente Conjugado 3. Gradiente Conjugado Escalado 4. Quase-Newton

Para exemplificarmos como Netlab pode ser usado para otimizar funções utilizaremos um de seus programas de demonstração denominado demopt1. O programa demopt1 demonstra a otimização da seguinte função: 2 2 2

1 2 2 1 1( , ) 100( ) (1 )y x x x x x= − + − , (1.21) conhecida como função de Rosenbrock utilizando quatro técnicas diferentes. No Matlab podemos visualizar a superfície definida pela função acima com um único comando: > ezsurfc ('100*(x1-x2^2)^2+(1-x1)^2',[-2, 2],[-2,2] )


Alternativamente, podemos utilizar a seguinte sintaxe menos direta: 1 x1=-2:0.01:2; 2 x2=-2:0.01:2; 3 [sx1, sx2] =meshgrid (x1,x2); As instruções acima geram matrizes que contém o produto cartesiano dos vetores x1 e x2, assim se digitarmos > [sx1(10,23) sx2(10,23)] ans = -1.7800 -1.9100 Veremos um par específico de valores. A função de Rosenbrock pode ser calculada de duas formas: > Y= 100*(sx1-sx2.^2).^2 +(1-sx1).^2; > size(Y) ans = 401 401 onde utilizamos ".^ " com um ponto antes da operação para elevarmos cada componente das matrizes X1 e X2, sem "." teríamos calculado um produto matricial. Note que a resposta é uma discretização da superfície com 401 por 401 pontos. Para exemplificar o cálculo com e sem ".": >A=[0 1; 1 0] A = 0 1 1 0 Um produto matricial será: > A^2 ans = 1 0 0 1 ou > A*A ans = 1 0 0 1


Componente a componente teremos > A.^2 ans = 0 1 1 0 Uma outra forma de avaliarmos a função de Rosenbrock é utilizarmos diretamente a função do Netlab chamada rosen:

> Y1=rosen([sx1(:),sx2(:)]); Esta operação retorna um vetor com 401 x 401 valores: > size(Y1) ans = 160801 1 Este vetor pode então ser convertido em uma matrz com as dimensões apropriadas utilizando: > Y1=reshape(Y1,length(x1),length(x2));

Esta instrução converte um vetor em uma matriz com o número de linhas igual ao número de dimensões do vetor x1 (length(x1)) e o número de colunas igual ao número de dimensões do vetor x2 (length(x2)). A matriz é preenchida coluna a coluna conforme o exemplo a seguir: >A=[1 2 3 4 5 6 7 8 9 10 11 12]; >A=reshape(A,4,3) A = 1 5 9 2 6 10 3 7 11 4 8 12 Para plotarmos a superfície podemos utilizar a seguinte instrução : >surf(x1,x2,Y) Podemos também plotar curvas de nível da superfície: > l=-1:6; >v=2.^l; >contour(x1,x2,Y,v)


Os mínimos da função são (-1,1) e (1,-1). As funções de otimização do Netlab utilizam a seguinte sintaxe: > [x, options, errlog, pointlog] = nome ('function', x, options, 'grad'); São quatro as funções de otimização: quasinew (Quase-Newton), conjgrad (gradiente conjugado), scg (gradiente conjugado escalado) e graddesc (Gradient Descent). Os argumentos das funções são, respectivamente: a função que se quer otimizar 'function', o ponto inicial x, o vetor de opções de otimização options e o gradiente da função que se quer otimizar 'grad'. As saídas destas funções são, respectivamente: o resultado da otimização x, o vetor de opcções de otimização atualizado após o processo options, os valores de erro após cada ciclo errlog e a trajetória percorrida no espaço dos parâmetros pointlog. O vetor options contém parâmetros para operação da rotina de otimização e parâmetros específicos para cada algoritmo: options(1) : 1 para mostrar na tela os valores de erro, 0 para exibir apenas mensagens de aviso e -1 para não exibir nada; options(2): Valor da precisão absoluta requerida para encerrar o processo de otimização. Se 1 (2)t t options+ − <x x então esta condição é satisfeita.

options(3): Valor da precisão requerida na função otimizada. Se

1( ) ( ) (3)t tfunction function options+ − <x x então a condição é satisfeita. Se esta e a

condição acima forem satisfeitas a otimização é encerrada.


options (7): 1 se uma busca em linha é utilizada para minimização na direção do gradiente, 0 (default) se cada passo é dado na direção do negativo do gradiente com um learning rate definido por options(18). options(9): 1 para que a função verifique o gradiente informado 'grad' contra a função 'function'. options(10): registra o número total de avaliações de 'function'. options(11): registra o número total de avaliações de 'grad'. options(14): número máximo de iterações. options(18): learning rate. (default=0.01). Gradient Descent O método de gradient descent consiste na escolha do negativo do gradiente da função erro como direção para cada passo de otimização, o tamnho de cada passo é definido por uma learning rate η assim: 1 ( )t t tEη+ = − ∇w w w (1.22) Os pontos fixos do algoritmo em (1.22) coincidem com os extremos da função erro, no entanto nada garante que ocorra convergência para estes pontos fixos. Analisemos a convergência do gradient descent em torno de um ponto fixo w* . O gradiente da função erro em torno de um ponto fixo pode ser aproximado (utilizando uma série de Taylor) por : * *( ) ( ) ( )E E∇ ≅ ∇∇ −w w w w , (1.23) onde H E= ∇∇ é o Hessiano da função erro. Sejam jλ os autovalores do Hessiano e ju seus autovetores assim:

j j jH λ=u u (1.24)

Expandindo w-w* na base destes autovetores teremos: j j j

j

E uα λ∇ ≅ ∑ e (1.25)

* *1 1( ) ( ) ( )t t t t j

j

α α+ +− − − = −∑w w w w u (1.26)

Utilizando (1.22) podemos escrever uma dinâmica para as componentes do caminho traçado no espaço dos parâmetros na direção de cada autovetor do Hessiano: j j jα ηλ α∆ = − (1.27)


A dinâmica ao redor do ponto fixo será : , 1 ,(1 )j t j j tα ηλ α+ = − (1.28)

Considerando learning rate η fixa, para n passos teremos: , ,(1 )n

j t n j j tα ηλ α+ = − (1.29)

De (1.29) fica patente que uma condição necessária para que haja convergência de todas as componentes para o ponto fixo 0jα = quando n →∞ é

1 1jηλ− < . (1.30)

Esta condição obriga que a learning rate η respeite :

max

2ηλ

< , (1.31)

onde maxλ é o maior autovalor do Hessiano. Note que quanto maior o produto da learning rate pelo autovalor, menor é o fator multiplicador em (1.29) e, por conseqüência, mais rápida é a convergência. Quando o Hessiano possuir um espectro de autovalores amplo (o que ocorre freqüentemente) as várias direções apresentarão tempos de convergência bem diferentes. O processo total de convergência é dominado pela direção com convergência mais lenta, ou seja, a direção com menor autovalor. A convergência será então dominada por:

min

max

(1 2 )λλ

− . (1.32)

Se na vizinhança de um ponto fixo o Hessiano apresentar autovalores muito diferentes , ou seja, a superfície de erro apresentar curvas de nível elipsoidais bastante alongadas, a convergência do algoritmo será muito lenta. Em geral gradient descent é bastante ineficiente sendo de pouco interesse prático. Apesar disso este algoritmo recebeu bastante atenção do meio acadêmico devido à facilidade de análise utilizando técnicas exatas. Várias formas de melhorar seu desempenho foram propostas entre elas: adição de um termo de "momento", redução do número de passos necessários para convergência pela utilização de um esquema para minimização unidimensional e implementação de learning rates variando com o tempo. O termo de momento é como segue: 1 1( ) ( )t t t t tEη µ+ −= − ∇ + −w w w w w , (1.33) com 0 1µ≤ ≤ . Este termo tem o mesmo sinal da última variação, assim, se uma componente foi reduzida ela continuará sendo reduzida. Em geral isto será uma vantagem em trechos da superfície de erro em forma de vale, com pouca curvatura na direção do mínimo e muita curvatura em uma outra direção qualquer como ilustrado a seguir.


>ezsurfc ('10*x1^2+x2',[-1, 1],[0,10] )

O gradiente da função acima é 1(10 ,1)E x∇ = , assim, se iniciarmos a otimização fora do eixo 1 0x = teremos fortes oscilações em decorrência da grande curvatura de uma das direções:

O termo de momento neste caso adicionará uma certa inércia à direção (0,1) aumentando a taxa de convergência. Uma outra forma de reduzirmos o número de passos necessários para convergência é a redução do número de dimensões do problema apenas à direção do gradiente pela introdução de um algoritmo de otimização unidimensional a cada passo de otimização.


Nesta variante a cada passo encontramos a amplitude do deslocamento na direção do gradiente , assim: *

1 ( )t t tEλ+ = − ∇w w w , (1.34)

onde *λ é definido como o mínimo de: ( ) ( ( ))t tE E Eλ λ= − ∇w w . (1.35) De forma equivalente, escolhemos λ de forma a termos:

1

( )( ) ( ) 0t t

dEE E

d

λλ += −∇ ⋅ ∇ =w w , (1.36)

ou seja, gradientes sucessivos ortogonais. A minimização unidimensional em (1.35) pode ser realizada utilizando uma busca linear. Utilizando esta forma é possível aumentar consideravelmente a velocidade de convergência do gradient descent. O incoveniente deste algoritmo está na condição (1.36) que força movimentos em zig-zag no espaço de parâmetros. Neste ponto, vale a pena discutirmos um pouco algoritmos de busca linear. O Netlab utiliza um algoritmo proposto por Brent1 bastante eficiente e robusto que não utiliza o gradiente unidimensional da função na otimização . O algoritmo de Brent consiste em:

1. Encontrar 3 pontos a<b<c, tais que E(b)<E(a) e E(b)<E(a) . 2. Ajustar uma parábola passando pelos pontos a,b e c. 3. Minimizando a parábola para encontrar d. 4. Repetindo o processo para pontos d e escolhendo entre a,b,c os dois com menor

erro. Em Netlab uma busca linear é implementada pela função a seguir: > [x, options] = linemin(f, pt, dir, fpt, options); Onde f é a função a ser minimizada, pt é o ponto inicial, dir é a direção que define a linha de busca, fpt é o valor da função no ponto de início e options é o vetor de opções de otimização. O ponto de mínimo é dado por pt+x.*dir. Como exemplo apresentamos a seguir otimização da função de Rosenbrock empregando Gradient Descent seguirá os seguintes passos: 1 options = foptions; Para importar configurações padrão para o otimizador.

1 Brent, R. 1973, Algorithms for Minimization without Derivatives. Englewood Cliffs, NJ: Prentice-Hall.


2 options(1) = -1; 3 options(3) = 1e-8; 4 options(7)=1; 5 options(14) = 100; Nada é exibido na tela , a precisão requerida para as variações na função otimizada é de 10-

8 , a otimização empregará a variante com busca linear e o número total de iterações é fixado em 100. O vetor options inicia o processo na seguinte configuração: >options(1) ans = -1 >options(2) ans = 1.0000e-004 >options(3) ans = 1.0000e-008 >options(9) ans = 0 >options(10) ans = 0 >options(11) ans = 0 >options(14) ans = 100 Assim a otimização deve encerrar quando as precisões fixadas forem atingidas ou quando o número de iterações chegar a 100. Para vermos todas as outras opções disponíveis basta utilizarmos o comando: > help graddesc GRADDESC Gradient descent optimization. Description [X, OPTIONS, FLOG, POINTLOG] = GRADDESC(F, X, OPTIONS, GRADF) uses batch gradient descent to find a local minimum of the function F(X) whose gradient is given by GRADF(X). A log of the function values after each cycle is (optionally) returned in ERRLOG, and a log of the points visited is (optionally) returned in POINTLOG. Note that X is a row vector and F returns a scalar value. The point at which F has a local minimum is returned as X. The function value at that point is returned in OPTIONS(8). GRADDESC(F, X, OPTIONS, GRADF, P1, P2, ...) allows additional


arguments to be passed to F() and GRADF(). The optional parameters have the following interpretations. OPTIONS(1) is set to 1 to display error values; also logs error values in the return argument ERRLOG, and the points visited in the return argument POINTSLOG. If OPTIONS(1) is set to 0, then only warning messages are displayed. If OPTIONS(1) is -1, then nothing is displayed. OPTIONS(2) is the absolute precision required for the value of X at the solution. If the absolute difference between the values of X between two successive steps is less than OPTIONS(2), then this condition is satisfied. OPTIONS(3) is a measure of the precision required of the objective function at the solution. If the absolute difference between the objective function values between two successive steps is less than OPTIONS(3), then this condition is satisfied. Both this and the previous condition must be satisfied for termination. OPTIONS(7) determines the line minimisation method used. If it is set to 1 then a line minimiser is used (in the direction of the negative gradient). If it is 0 (the default), then each parameter update is a fixed multiple (the learning rate) of the negative gradient added to a fixed multiple (the momentum) of the previous parameter update. OPTIONS(9) should be set to 1 to check the user defined gradient function GRADF with GRADCHEK. This is carried out at the initial parameter vector X. OPTIONS(10) returns the total number of function evaluations (including those in any line searches). OPTIONS(11) returns the total number of gradient evaluations. OPTIONS(14) is the maximum number of iterations; default 100. OPTIONS(15) is the precision in parameter space of the line search; default FOPTIONS(2). OPTIONS(17) is the momentum; default 0.5. It should be scaled by the inverse of the number of data points. OPTIONS(18) is the learning rate; default 0.01. It should be scaled by the inverse of the number of data points. See also CONJGRAD, LINEMIN, OLGD, MINBRACK, QUASINEW, SCG Definimos o ponto inicial como: 5 x = [-2,3];


A otimização propriamente dita pode ser implementada em uma linha : 6 [x,options,errgd,trajgd]=graddesc('rosen',x,options,'rosegrad'); O resultado final da otimização está longe do valor correto: >x x = -0.5424 0.2886 A figura a seguir ilustra a trajetória percorrida durante o processo de otimização: >a = -1.5:.02:1.5; >b = -0.5:.02:2.1; >[A, B] = meshgrid(a, b); > Z = rosen([A(:), B(:)]); > Z = reshape(Z, length(b), length(a)); > l = -10:6; > v=2.^l; > contour(a, b, Z, v); > hold on; > plot(trajgd(:,1), trajgd(:,2), 'b-', 'MarkerSize', 6) > title('Gradient Descent')

Exercícios

(1) Repita a otimização acima para o gradient descent sem termo de momento com os seguites valores para learning rate 0.001,0.01,0.5η = . Construa o gráfico acima em cada um dos casos. Repita os experimentos adicionando momentos

0.1,0.5µ = .


Gradiente Conjugado Como vimos anteriormente o método de gradient descent consiste na escolha do negativo do gradiente da função erro como direção para cada passo de otimização. Em sua versão mais eficiente o tamanho de cada passo é definido por uma busca linear, assim: *

1 ( )t t tEλ+ = − ∇w w w , onde * arg min ( )t tE Eλ λ= − ∇w . (2.1) Esta escolha tem a incoveniência de induzir uma trajetória em zig-zag no espaço dos parâmetros já que:

*

10 ( ) ( ) 0t t

dEE E

d λ λλ +=

= ⇒ ∇ ⋅ ∇ =w w , (2.2)

o que implica que duas direções de otimização consecutivas são sempre ortogonais. A condição (2.1) garante que a função seja minimizada na direção do gradiente t E∇ , no entanto o passo seguinte na direção do gradiente 1t E+∇ não garante que (2.2) continue sendo verdade, assim cada passo pode destruir parte do trabalho de otimização do passo anterior. Uma maneira de solucionar este problema é impor que a nova direção dt+1 de otimização seja tal que o gradiente no novo ponto no espaço dos parâmetros não tenha componentes na direção dt do último passo de otimização, assim: t+1 t+1 t( ) 0E λ∇ + ⋅ =w d d . (2.3) Expandindo o gradiente acima ao redor de wt+1 teremos: ( )1 1( ) 0t t tE H+ +∇ + ⋅ ≅w d d , (2.4)

onde H é o Hessiano e por construção teremos que: 1 0t tH +⋅ ≅d d . (2.5) As direções acima são mutuamente conjugadas . Vetores mutuamente conjugados formam uma base ortogonal com métrica definida pelo Hessiano H. Suponhamos agora que iniciamos o processo de otimização no ponto w1 do espaço dos parâmetros. Suponhamos que w* seja o mínimo da função erro E. A correção necessária para atingirmos o mínimo da função erro pode ser expandida em uma base de vetores mutuamente conjugados:

*1

1

N

i ii

α=

− =∑w w d , (2.6)

onde N é a dimensão do espaço de parâmetros. Se definirmos

1

11

j

j i ii

α−

== +∑w w d , (2.7)

teremos a correção no componente j do vetor de parâmetros, alternativamente 1j j j jα+ = +w w d (2.8)

expressa como cada componente do vetor de parâmetros é corrigida a partir da componente anterior. Assim a otimização utilizando gradientes conjugados ocorre por


otimização de uma componente por vez. Desta forma se calcularmos exatamente as direções conjugadas em cada passo precisaremo de exatos N passos para otimização. Para superfícies quadráticas apenas precisamos calcular a Hessiana (segundas derivadas) uma única vez. As direções conjugadas são obtidas simplesmente resolvendo um problema de autovalores para H pois : k j j k j j jkH λ λ δ⋅ = ⋅ =d d d d , (2.9)

Para superfícies genéricas o problema se torna mais complicado pois a Hessiana muda conforme a posição no espaço dos parâmetros e seria necessário recalcular a Hessiana e resolver o problema de autovalores acima para cada ponto. Para entendermos como podemos utilizar gradientes conjugados de forma prática, começamos por analisar o caso mais simples de uma superfície quadrática. Suponhamos que a superfície de erro que queremos minimizar tenha a seguinte forma:

1

( )2

E Hω= ⋅ + ⋅w w w w . (2.10)

O gradiente desta função erro no ponto w será: ( )E Hω∇ = +w w . (2.11) O ponto de mínimo será: * 0Hω+ =w . (2.12) Agora, utilizando (2.6) teremos: (2.13)

( )*1

1

N

i ii

H H α=

⋅ − = ⋅ ∑j jd w w d d , (2.14)

onde dj são direções conjugadas. Utilizando (2.12):

11

N

j j i j i j j ji

H H Hω α α=

− ⋅ − ⋅ = ⋅ = ⋅∑d d w d d d d . (2.15)

Assim encontramos a correção necessária em cada uma das direções conjugadas:

( )1j

jj j

H

H

ωα

⋅ += −

⋅d w

d d. (2.16)

Utilizando (2.7) teremos

1

1 11

0

j

j j j i j i ji

H H H Hα−

=

⋅ = ⋅ + ⋅ = ⋅∑d w d w d d d w!"#"$

e (2.17)

( ) ( )j j j j

jj j j j

H E

H H

ωα

⋅ + ⋅∇= − = −

⋅ ⋅d w d w

d d d d. (2.18)

Calculadas as correções em cada uma das direções conjugadas temos que encontrar uma forma de encontrarmos as próprias direções que seja mais eficiente do que o cálculo de Hessianas e a solução de problemas de autovalor. Uma maneira prática consiste em


adotarmos como primeira direção o negativo do gradiente no ponto de início

1 1( )E= −∇d w . A seguir construímos cada uma das direções iterativamente: 1 1( )j j j jE β+ += −∇ +d w d (2.19)

Empregando a condição para direções conjugadas teremos: 1 1( ) 0j j j j j j jH E H Hβ+ +⋅ = −∇ ⋅ + ⋅ =d d w d d d e (2.20)

1( )j jj

j j

E H

Hβ +−∇ ⋅

=⋅

w d

d d

Se assumirmos uma aproximação quadrática em torno de cada ponto do espaço poderemos empregar (2.20) como algoritmo para qualquer superfície. Nesta aproximação podemos escrever: 1 1( ) ( )j j j j j jE E H H Hα+ +∇ − ∇ = − =w w w w d (2.21)

e por conseqüência:

1 1

1

( ) ( ) ( )

( ) ( )

j j j

j

j j j

E E E

E Eβ + +

+

−∇ ⋅ ∇ − ∇ = ⋅ ∇ − ∇

w w w

d w w (2.22)

conhecida como equação de Hesteness-Stiefel1. Com algum trabalho de álgebra é possível mostrar que : ( ) 0,j kE j k∇ ⋅ = ≠w d

Empregando (2.19) teremos também que ( ) ( ) ( )j j j jE E E⋅ ∇ = −∇ ⋅ ∇d w w w . (2.23)

Substituindo em (2.22) encontramos a equação de Polak-Ribiere 2: (2.24)

1 1( ) ( ) ( )

( ) ( )j j j

jj j

E E E

E Eβ + + −∇ ⋅ ∇ − ∇ =

∇ ⋅ ∇w w w

w w. (2.25)

Note que não é necessário calcular o Hessiano para avaliarmos as direções conjugadas, no entanto precisamos desta avaliação para calcularmos o tamanho do passo jα (vide

expressão (2.18) ). Para evitarmos o cálculo do Hessiano, muito caro para um número muito grande de dimensões, podemos utilizar uma busca linear na direção conjugada do momento. Assim chegamos a uma descrição completa do algoritmo de gradientes conjugados:

1. Escolha um ponto inicial no espaço dos parâmetros 1w ; 2. Calcule o gradiente no ponto inicial e faça a primeira direção de otimização ser

1 1( )E= −∇d w ; 3. Para descobrir a amplitude do passo na direção d1, utilize uma busca linear

encontrando 1 1arg min ( )jEα α= +w d ;

1 Hestenes, M.R. e E. Stiefel (1952). Methods of conjugate gradients for solving linear systems. Journal of Research of the National Bureau of Standards 49 (6), 409-436. 2 Polak, E. (1971). Computational Methods in optimization: A unified Approach. New York: Academic Press.


4. Calcule 2 1 1 1α= +w w d ; 5. Pare se os critérios de convergência foram satisfeitos 6. Calcule 2( )E∇ w ; 7. A nova direção é dada por 2 2 1 1( )E β= −∇ +d w d , com 1β definido pela relação de

Polak-Ribiere. 8. Vá para o passo 3 para o novo d.

Utilizemos agora a implementação em Netlab do algoritmo de gradiente conjugado para otimizarmos novamente a função de Rosenbrock. Começamos por verificar as opções de otimização disponíveis para a função conjgrad: > help conjgrad CONJGRAD Conjugate gradients optimization. Description [X, OPTIONS, FLOG, POINTLOG] = CONJGRAD(F, X, OPTIONS, GRADF) uses a conjugate gradients algorithm to find the minimum of the function F(X) whose gradient is given by GRADF(X). Here X is a row vector and F returns a scalar value. The point at which F has a local minimum is returned as X. The function value at that point is returned in OPTIONS(8). A log of the function values after each cycle is (optionally) returned in FLOG, and a log of the points visited is (optionally) returned in POINTLOG. CONJGRAD(F, X, OPTIONS, GRADF, P1, P2, ...) allows additional arguments to be passed to F() and GRADF(). The optional parameters have the following interpretations. OPTIONS(1) is set to 1 to display error values; also logs error values in the return argument ERRLOG, and the points visited in the return argument POINTSLOG. If OPTIONS(1) is set to 0, then only warning messages are displayed. If OPTIONS(1) is -1, then nothing is displayed. OPTIONS(2) is a measure of the absolute precision required for the value of X at the solution. If the absolute difference between the values of X between two successive steps is less than OPTIONS(2), then this condition is satisfied. OPTIONS(3) is a measure of the precision required of the objective function at the solution. If the absolute difference between the objective function values between two successive steps is less than OPTIONS(3), then this condition is satisfied. Both this and the previous condition must be satisfied for termination. OPTIONS(9) is set to 1 to check the user defined gradient function. OPTIONS(10) returns the total number of function evaluations (including those in any line searches).


OPTIONS(11) returns the total number of gradient evaluations. OPTIONS(14) is the maximum number of iterations; default 100. OPTIONS(15) is the precision in parameter space of the line search; default 1E-4. See also GRADDESC, LINEMIN, MINBRACK, QUASINEW, SCG Primeiro inicializamos as opções de otimização carregando as opções de default com: > options=foptions options = Columns 1 through 8 0 0.0001 0.0001 0.0000 0 0 0 0 Columns 9 through 16 0 0 0 0 0 0 0 0.0000 Columns 17 through 18 0.1000 0 Ajustamos então algumas destas opções: >options(1)=-1; Para não mostrarmos em tela a trajetória de otimização. >options(3)=1e-8; Se em dois passos consecutivos a função erro diferir em menos de 1e-8 e se o vetor de parâmetros diferir em menos de 1e-2 (options(2) ) a otimização deverá ser encerrada. >options(14)=100; A otimização deverá parar se o número de iterações atingir 100. Agora definimos o ponto inicial : > x=[-2 3]; A otimização é realizada em uma única linha: > [x,options,errgd,trajgd]=conjgrad('rosen',x,options,'rosegrad'); As saídas são >x x = 1.0000 1.0000 O ponto ótimo, que neste caso está correto ! >options options = Columns 1 through 8 -1.0000 0.0001 0.0000 0.0000 0 0 0 0.0000 Columns 9 through 16 0 526.0000 28.0000 0 0 100.0000 0 0.0000 Columns 17 through 18 0.1000 0


Este vetor nos informa que foram utilizadas 526 avaliações da função minimizada e que o gradiente desta função foi avaliado 28 vezes ( uma vez a cada iteração).

errgd e trajgd nos informam o valor do erro em cada passo e a trajetória no espaço dos parâmetros. Para vermos a evolução do erro podemos utilizar > plot(errgd,'b-o');

É interessante comentar neste ponto que para passarmos funções como argumentos para rotinas de otimização precisamos criar arquivos .m para a função e para o gradiente da função. > edit rosen;


>edit rosegrad


O Netlab oferece uma função que possibilita a verificação de um gradiente: >gradchek([-2,3], 'rosen', 'rosegrad'); Checking gradient ... analytic diffs delta -806.0000 -806.0000 0.0000 -200.0000 -200.0000 0.0000 Na saída analytic fornece o valor calculado pela função rosegrad , diffs calcula o gradiente numericamente utilizando a função rosen e delta mostra a diferença entre as duas formas de cálculo. Para visualizarmos a trajetória de otimização repetimos o procedimento utilizado quando discutimos gradient descent: >a=-1.5:.02:1.5; >b=-0.5:.02:2.1; > [A,B]=meshgrid(a,b); >Z=rosen([A(:),B(:)]); >Z=reshape(Z,length(b),length(a));


>l=-10:6; >v=2.^l; >contour(a,b,Z,v); >hold on; >plot(trajgd(:,1),trajgd(:,2),'--bs','LineWidth',2,... 'MarkerEdgeColor','k',... 'MarkerFaceColor','g',... 'MarkerSize',10) >title('Gradiente Conjugado') Aqui utilizamos alguns recursos novos para produzirmos o gráfico, as propriedades são:

1. LineWidth : espessura da linha em pontos; 2. MarkerEdgeColor : cor da borda do símbolo utizado; 3. MarkerFaceColor: cor do preenchimento do símbolo; 4. MarkerSize: tamanho dos símbolos em pontos.

É fácil perceber o desempenho muito superior deste algoritmo frente ao gradient descent.

Gradiente Conjugado Escalado Lembremos que, para uma superfície quadrática, a amplitude de cada passo de otimização é dada por:

( )j j

jj j

E

Hα

⋅∇= −

⋅d w

d d. (2.26)

Para evitar o cálculo da Hessiana acimao algoritmo de gradientes conjugados utiliza a cada passo uma otimização linear para . Esta otimização linear tem duas desvantagens: (1) requer um grande número de avaliações de valor da função sendo otimizada e (2) a convergência do algoritmo de gradientes depende da qualidade de cada otimização unidimensional. Para evitar o cálculo da Hessiana ou o uso de otimizações


unidimensionais a cada passo Møller3 criou o algoritmo de gradientes conjugados escalado. A idéia central do algoritmo é utilizar uma aproximação numérica para o termo envolvendo a Hessiana em (2.26). Suponha 0 / jε ε= d , onde 0ε é uma quantidade pequena e positiva, observemos que :

( ) ( )j j j jE E Hε ε∇ + ≈ ∇ +w d w d , (2.27)

portanto uma aproximação numérica para (2.26) é:

( ) ( )j j j

j

E EH

εε

∇ + − ∇≈

w d wd . (2.28)

Esta aproximação funciona se : 1) a função sendo minimizada for quadrática; 2) a Hessiana for positiva definida. Para superfícies genéricas nada garantirá que a Hessiana é positiva definida e um passo de otimização utilizando (2.26) poderá aumentar o valor da função em algumas direções. Para podermos usar a aproximação numérica (2.28) e minimizar estes efeitos podemos corrigir a equação para:

2

( )j jj

j j j j

E

Hα

γ

⋅∇= −

⋅ +

d w

d d d (2.29)

O parâmetro γ regula a escala (daí o nome gradiente conjugado escalado) de cada passo e é inicializado como 1 1γ = . Quanto maior o parâmetro de escala, menor é a amplitude do passo de otimização. A escala apropriada depende do quanto a função sendo otimizada é localmente diferente de uma superfície quadrática. Se a função for exatamente quadrática

0γ = , se a função for distante de uma função quadrática γ deve aumentar. Uma medida do grau de similaridade local entre a função e uma superfície quadrática foi introduzida por Fletcher sendo:

( ) ( )

( ) ( )j j j j

jj Q j j j

E E

E E

αα

− +∆ =

− +w w d

w w d, (2.30)

onde 21( ) ( ) ( )

2Q j j j j j j j j j jE E E Hα α α+ = + ∇ + ⋅w d w d w d d . Utilizando (2.26)

simplificamos (2.30) e escrevemos:

2 ( ) ( )j j j j

jj j j

E E αα

− + ∆ =⋅

w w d

d d. (2.31)

Com base neste parâmetro de comparação são feitas escolhas heurísticas para o parâmetro de escala a cada passo da otimização. As escolhas são as seguintes:

1. Se 0,75j∆ > então 1 2j

j

γγ + = ;

3 Møller ,M. (1993). A scaled conjugate gradient algorithm for fast supervised learning. Neural Networks 6(4), 525-533.


2. Se 0, 25 0,75j< ∆ < então 1j jγ γ+ = ;

3. Se 0, 25j∆ < então 1 4j jγ γ+ = ;

4. Se 0j∆ < então 1 4j jγ γ+ = e o passo de otimização não é efetuado;

O algoritmo de gradientes conjugados escalados adquire então a seguinte forma: 1. Escolha um ponto inicial no espaço dos parâmetros 1w ; 2. Inicialize o parâmetro de escala em 1 1γ = ; 3. Calcule o gradiente no ponto inicial e faça a primeira direção de otimização ser

1 1( )E= −∇d w ; 4. Para descobrir a amplitude do passo na direção d1 utilize (2.28) e (2.29); 5. Calcule 2 1 1 1α= +w w d ; 6. Pare se os critérios de convergência foram satisfeitos; 7. Calcule o parâmetro de comparação ∆ ; 8. Atualize o parâmetro de escala γ de acordo com as condições acima; 9. Calcule 2( )E∇ w ; 10. A nova direção é dada por 2 2 1 1( )E β= −∇ +d w d , com 1β definido pela relação de

Polak-Ribiere; 11. Vá para o passo 3 para o novo d e para o novo parâmetro de escala γ . A utilização do Netlab para otimização com gradientes conjugados escalados segue exatamente os mesmos passos que utilizamos para gradientes conjugados.

> options = foptions; > options(1)=-1; >options(3)=1e-8; >options(14)=100; > x=[-2 3]; > [x,options,errgd,trajgd]=scg('rosen',x,options,'rosegrad'); >x x = 1.0000 0.9999 > options options = Columns 1 through 11 -1.0000 0.0001 0.0000 0.0000 0 0 0 0.0000 0 52.0000 78.0000 Columns 12 through 18 0 0 100.0000 0 0.0000 0.1000 0 Note que a qualidade do resultado final é ligeiramente inferior àquela obtida com o gradiente conjugado mas o número de avaliações de função foi reduzido de 526 para 52 ao deixarmos de utilizar otimizações unidimensionais. Para exibirmos a trajetória


utilizamos o mesmo código utilizado para o algoritmo de gradiente conjugado, mas desta vez salvamos um arquivo .m como exibido abaixo:

>trajetória

Neste exemplo o desempenho do gradiente conjugado mostrou-se muito similar, e até um pouco inferior, ao desempenho do gradiente conjugado simples. Em geral o


gradiente conjugado escalado exibe o melhor desempenho, no entanto é interessante sempre testar cada um dos algoritmos caso a caso. Método de Newton O método de Newton se baseia em uma idéia muito simples. Retomemos a expansão de Taylor para o gradiente em torno de um ponto wj. ( ) ( ) ( )j jE E H∇ ≈ ∇ + −w w w w . (2.32)

Suponhamos agora que w é um mínimo, então: ( ) ( )j jH E− = −∇w w w . (2.33)

Se resolvermos esta equação em w para qualquer wj, então teremos encontrado o mínimo. A solução para a equação é : 1 ( )j jH E−= − ∇w w w . (2.34)

Lembrando que (2.34) encontra o mínimo de E , o que equivale a encontrarmos a raiz ( ) ( )f = ∇w E w . Ou seja, em uma dimensão, temos o conhecido método de Newton-

Raphson.

( )

( )n

nn

f xx x

f x= −

′. (2.35)

A direção definida por 1 ( )jH E− ∇ w é conhecida como direção de Newton e tem como

propriedade principal apontar para um extremo local da função erro. Quase-Newton O método de Newton tem uma série de desvantagens que limitam sua utilização prática em problemas de otimização com muitas dimensões:

1. O algoritmo requer a avaliação e inversão da matriz Hessiana que requerem, respectivamente, O(W2 N) e O(W3) operações, sendo W o número de parâmetros e N o número de pontos.

2. Quando a superfície onde a otimização é realizada não é quadrática é necessário

recalcular o Hessiano e seu inverso em cada ponto. 3. Ao redor de alguns pontos o Hessiano pode não ser positivo definido.

Uma alternativa para contornar estes problemas intrínsecos ao método de Newton é implementar um método que produza uma aproximação positiva definida para a inversa da matriz Hessiana.


Lembremos que na aproximação quadrática: 1 1( ) ( ) ( )j j j jE E − −∇ − ∇ = −w w H w w (2.36)

Definindo 1( ) ( )j j jE E −= ∇ − ∇q w w e (2.37)

1j j j−= −v w w (2.38)

j j=v Hq (2.39)

Se quisermos produzir uma aproximação para a inversa da Hessiana podemos exigir que para cada um dos pontos já excursionados que 1 ,1j i i i j+ = ≤ ≤G v q (2.40)

Após N passos com vetores linearmente independentes, com N sendo o número de dimenaões da matriz Hessiana teremos 1−=NG H . Um procedimento para construção de uma série de matrizes positvas definidas que respeitem (2.40) é conhecido como algoritmo BFGS (Broyden-Fletcher-Goldfarb-Shanno)4:

( ) ( ) ( )

1 1T T T

j j j j j j j jj j jj j

j j j j j j+

+ ⋅= + + − ⋅ ⋅ ⋅

q q q v G G v qv G vG G

v q q v q v (2.41)

Note que ( )Tj jq v significa uma matriz com componentes ( ) , ,

Tj j i j l jil

q v=q v .

Em geral a superfície que está sendo otimizada não é quadrática assim a aproximação em (2.32) tem validade limitada e a amplitude do passo no método quase-Newton deve ser controlada: 1 ( )j j j j jEα+ = + ∇w w G w (2.42)

A amplitude jα do passo de otimização pode ser obtida por uma busca linear, mas isso

só é necessário se o passo de Newton total ( jα =1) aumentar o valor da função erro.

Como fizemos anteriormente, começamos por verificar as instruções no help da função quasinew:

4 Press et al., Numerical Recipes in C: The Art of Scientific Computing, Cambridge University Press (disponível gratuitamente em www.nr.com).


>help quasinew QUASINEW Quasi-Newton optimization. Description [X, OPTIONS, FLOG, POINTLOG] = QUASINEW(F, X, OPTIONS, GRADF) uses a quasi-Newton algorithm to find a local minimum of the function F(X) whose gradient is given by GRADF(X). Here X is a row vector and F returns a scalar value. The point at which F has a local minimum is returned as X. The function value at that point is returned in OPTIONS(8). A log of the function values after each cycle is (optionally) returned in FLOG, and a log of the points visited is (optionally) returned in POINTLOG. QUASINEW(F, X, OPTIONS, GRADF, P1, P2, ...) allows additional arguments to be passed to F() and GRADF(). The optional parameters have the following interpretations. OPTIONS(1) is set to 1 to display error values; also logs error values in the return argument ERRLOG, and the points visited in the return argument POINTSLOG. If OPTIONS(1) is set to 0, then only warning messages are displayed. If OPTIONS(1) is -1, then nothing is displayed. OPTIONS(2) is a measure of the absolute precision required for the value of X at the solution. If the absolute difference between the values of X between two successive steps is less than OPTIONS(2), then this condition is satisfied. OPTIONS(3) is a measure of the precision required of the objective function at the solution. If the absolute difference between the objective function values between two successive steps is less than OPTIONS(3), then this condition is satisfied. Both this and the previous condition must be satisfied for termination. OPTIONS(9) should be set to 1 to check the user defined gradient function. OPTIONS(10) returns the total number of function evaluations (including those in any line searches). OPTIONS(11) returns the total number of gradient evaluations. OPTIONS(14) is the maximum number of iterations; default 100. OPTIONS(15) is the precision in parameter space of the line search; default 1E-2. See also CONJGRAD, GRADDESC, LINEMIN, MINBRACK, SCG


> options = foptions; > options(1)=-1; >options(3)=1e-8; >options(14)=100; > x=[-2 3]; > [x,options,errgd,trajgd]=quasinew('rosen',x,options,'rosegrad'); >x x = 1.0000 1.0000 Utilizando o método trajetoria.m :


Estimação de Densidades de Probabilidade

Simulação e Clustering No problema típico de simulação em finanças temos dados históricos provenientes de um determinado processo e desejamos gerar cenários futuros que sejam compatíveis com o comportamento estatístico observado. Em sua forma mais geral conhecemos uma seqüência de dados 1 2, ,..., tx x x mais uma seqüência de informações de mercado

1 2, ,..., tz z z e queremos estimar uma distribuição condicional do futuro em relação ao

passado 1 2 1 1( , ,... , ,..., , ; )t t t tp x x x z x z w+ + , onde w são parâmetros da distribuição. A

simulação consiste da amostragem de p . Estas simulações são conhecidas como Monte-Carlo e encontram aplicação importante na avaliação de riscos. A versão mais simples do problema de estimação de densidades envolve apenas distribuições conjuntas (não-condicionadas) ( ; )p x w . Neste capítulo exemplificaremos o uso de Netlab na estimação de densidades de probabilidade conjuntas utilizando o modelo conhecido como Mistura de Gaussianas. Nosso problema de exemplo será a estimação da densidade conjunta não-condicional de retornos diários de uma carteira contendo três ações: VALE5, ITAU4 e ELET3. Representando em um gráfico cerca de 700 dias de séries teremos: >x=load('retornos.dat'); >plot3(x(:,1),x(:,2),x(:,3),'.');

Criado por Renato Vicente 46

A densidade que observamos é resultado da convolução de um processo com densidades condicionais de um dia quase-normais, não-estacionário e com grandes mudanças nas covariâncias. Isso dá origem a uma densidade não-gaussiana. No problema de clustering queremos separar um conjunto de dados 1 2, ,..., tx x x em classes C1, C2, ...,Cn para isso modelamos a densidade ( ; )p x w como uma mistura de

Gaussianas 1

( ) ( ) ( )n

j gauss jj

p x p C p x C=

= ∑ e definimos a qual classe pertence um ponto

específico x encontrnado a classe que maximiza ( )jp C x .

Misturas de Gaussianas A idéia central por trás da estimação de densidades de porbabilidade utilizando misturas de normais está na utilização de uma combinação de distribuições simples, no caso Gaussianas, para modelar distribuições de complexidade arbitrária. É possível mostrar que, com um número suficientemente grande de densidades gaussianas é possível representar qualquer densidade 1. Uma mistura de gaussianas é a dada por:

1

( ) ( ) ( )M

gaussj

p P j p j=

= ∑x x (3.1)

Os coeficiente ( )P j são denominados coeficientes de mistura e as densidades ( )gaussp jx

são componentes da mistura. Para que (3.1) defina uma densidade de probabilidade as seguintes condições são necessárias:

1. 1

( ) 1 0 ( ) 1M

j

P j P j=

= ≤ ≤∑

2. ( ) 1gaussd p j j= ∀∫ x x .

Uma representação gráfica para um GMM (Gaussian Mixture Model) é:

1 McLachlan, G.J. e K.E. Basford (1988). Misxture ModelsYork: Marcel Dekker.

23/06/02

: Inference and Applications to Clustering. New

p(x|j)P(j)

( ) ( )P j p j∑ x

P(j)


Os componentes da mistura têm a seguinte forma genérica:

11/ 2/ 2

1 1( ) exp ( ) ( )

2(2 )j j j

dj

p j CC

µ µπ

− = − − ⋅ −

x x x (3.2)

As matrizes de covariância Cj podem ter diversas formas que influenciarão o número de componentes necessário para a representação de uma densidade:

• Esférica: Nesta escolha as covariâncias são descritas por apenas um parâmetro 2

j jC Iσ= . O Netlab trás uma demonstração do uso de GMM com componentes

esféricos. >demgmm2

• Diagonal: Cada matriz de covariância é descrita por N parâmetros, onde N é a

dimensão do espaço dos dados, assim , ,kl j kl k jC δ σ= . Este caso é exemplificado no

Netlab pela demonstração demgmm3.


• Completa: A covariância utilizada tem 2

2

N N+ parâmetros , ou seja, 2

, ,kl j kl jC σ= .

Utilizando demgmm4.

Em Netlab podemos construir um GMM utilizando o comando gmm (dim, comp, covar) que define uma estrutura com dim dimensões, comp componentes de mistura e covariância de tipo covar. Se quisermos construir um modelo para a distribuição conjunta dos retornos das ações descrita acima utilizando 5 componentes com covariâncias completas, devemos digitar: > mix= gmm(3,5,'full'); A estrutura definida tem as seguintes componentes: >mix mix = type: 'gmm' nin: 3 ncentres: 5 covar_type: 'full' priors: [0.2000 0.2000 0.2000 0.2000 0.2000] centres: [5x3 double] covars: [3x3x5 double] nwts: 65 Os priors são os componentes de mistura e nwts é o número de parâmetros. A mistura acima precisa ser inicializada, para isso utilizamos o comando gmminit.


>help gmminit GMMINIT Initialises Gaussian mixture model from data Description MIX = GMMINIT(MIX, X, OPTIONS) uses a dataset X to initialise the parameters of a Gaussian mixture model defined by the data structure MIX. The k-means algorithm is used to determine the centres. The priors are computed from the proportion of examples belonging to each cluster. The covariance matrices are calculated as the sample covariance of the points associated with (i.e. closest to) the corresponding centres. For a mixture of PPCA model, the PPCA decomposition is calculated for the points closest to a given centre. This initialisation can be used as the starting point for training the model using the EM algorithm. See also GMM >options=foptions; >mix=gmminit(mix,x,options); >mix mix = type: 'gmm' nin: 3 ncentres: 5 covar_type: 'full' priors: [0.0639 0.3083 0.0111 0.4264 0.1903] centres: [5x3 double] covars: [3x3x5 double] nwts: 65 A função gmminit utiliza um algoritmo não-paramétrico denominado K-médias implementado pela função kmeans do Netlab que consiste dos seguintes passos:

1. Os N dados são são divididos em K grupos S1, S2 e SK com o mesmo número de componentes;

2. São calculadas médias (centros) para cada grupo: 1

j

j nn Sj

xN

µ∈

= ∑ ;

3. Calculam-se as distâncias de cada dado em relação a cada um dos centros e reagrupam-se os dados no grupo de centro mais próximo de forma a

minimizar 2

1 j

K

n jj n S

E x µ= ∈

= −∑ ∑ .

4. Volta ao passo 2.

Após inicialização o treinamento do GMM é efetuado utilizando um algoritmo de otimização de verossimilhança denominado EM através da função gmmem.


>help gmmem GMMEM EM algorithm for Gaussian mixture model. Description [MIX, OPTIONS, ERRLOG] = GMMEM(MIX, X, OPTIONS) uses the Expectation Maximization algorithm of Dempster et al. to estimate the parameters of a Gaussian mixture model defined by a data structure MIX. The matrix X represents the data whose expectation is maximized, with each row corresponding to a vector. The optional parameters have the following interpretations. OPTIONS(1) is set to 1 to display error values; also logs error values in the return argument ERRLOG. If OPTIONS(1) is set to 0, then only warning messages are displayed. If OPTIONS(1) is -1, then nothing is displayed. OPTIONS(3) is a measure of the absolute precision required of the error function at the solution. If the change in log likelihood between two steps of the EM algorithm is less than this value, then the function terminates. OPTIONS(5) is set to 1 if a covariance matrix is reset to its original value when any of its singular values are too small (less than MIN_COVAR which has the value eps). With the default value of 0 no action is taken. OPTIONS(14) is the maximum number of iterations; default 100. The optional return value OPTIONS contains the final error value (i.e. data log likelihood) in OPTIONS(8). See also GMM, GMMINIT Note a opção(5) que tem por objetivo evitar que a covariância colapse sobre um ponto, o que corresponde a um overfitting dos dados modelados. >options=foptions; >options(1)=-1; > [mix,options,errlog] =gmmem(mix,x,options); > mix mix = type: 'gmm' nin: 3 ncentres: 5 covar_type: 'full' priors: [0.0063 0.1210 0.2052 0.2196 0.4479] centres: [5x3 double] covars: [3x3x5 double] nwts: 65


Os centros são : > mix.centres ans = 0.1779 0.1205 0.2443 -0.0056 0.0001 -0.0091 0.0095 0.0246 0.0130 0.0051 -0.0100 -0.0060 -0.0052 -0.0049 -0.0046 Se quisermos agora simular retornos utilizando nosso modelo recém treinado basta utilizarmos a função [data,label]=gmmsamp(mix,n), com n sendo o número de amostras, data sendo os dados amostrados e label a componente geradora. > [simula,label_sim]=gmmsamp(mix,500); >plot3(simula(:,1),simula(:,2),simula(:,3),'rs','LineWidth',2,'MarkerEdgeColor','k','MarkerFaceColor','g','MarkerSize',5);

Algoritmo EM (Expectation-Maximization) A estimação dos parâmetros em um GMM se baseia em um algoritmo conhecido como EM (Expectation-Maximization) 2. Para encontrarmos os parâmetros mais adequados para modelar os dados devemos maximizar a função verossimilhança no conjunto de dados 1{ }N

n nx = :

1

( , , ) ln ( )N

nn

L P C p xµ=

= ∑ , (3.3)

Esta função de verossimilhança é função dos coeficientes de mistura das médias e das matrizes de covariância. Para simplificar os cálculos podemos, alternativamente, minimizar uma função erro definida como: lnE L= − (3.4)

2 Dempster, A. P., N.M. Laird e D.B. Rubin (1977). Maximum likelihood from incomplete data via the EM algorithm. journal of the Royal Statistical Society, B 39 (1), 1-38.


Se substituirmos a estrutura do GMM em (3.4) teremos:

1 1

ln ( ) ( )N M

nn j

E p x j P j= =

= −

∑ ∑ (3.5)

Poderiamos utilizar os algoritmos estudados no capítulo anterior para otimizarmos a funcção erro em (3.5), no entanto, a experiência mostra que , para misturas de gaussianas, o algoritmo EM converge melhor e mais rápido. Queremos minimizar (3.5). A cada alteração de parâmetros temos :

1

1

( )ln

( )

Nt n

n t n

p xE

p x+

=

∆ = −

∑ (3.6)

Se utilizarmos a estrutura da mistura e multiplicarmos o numerador e denominador por ( )t nP j x teremos:

1 1

1

1

( ) ( )( )

ln( ) ( )

M

t t nNj t n

n t n t n

P j p x jP j x

Ep x P j x

+ +=

=

∆ = −

∑∑ (3.7)

A manipulação acima teve por objetivo possibilitar o uso da desigualdade de Jensen:

Se 0 1j jj

eλ λ≥ =∑ , então ln ln( )j j j jj j

x xλ λ

≥ ∑ ∑ .

Como 1

( ) 1M

t nj

P j x=

=∑ podemos escrever uma desigualdade baseada em (3.7):

1 1

1 1

( ) ( )( ) ln

( ) ( )

N Mt t n

t nn j t t nn

P j p x jE P j x

P j x p x j+ +

= =

∆ ≤ −

∑∑ (3.8)

Na otimização queremos minimizar a função erro E. Isso implica em minimizar E∆ ao escolher novos parâmetros. Podemos reescrever (3.8) como :

1 1 11 1 1 1

( ) ln ( ) ( ) ( ) ln ( ) ( )N M N M

t t t n t t n t n t t nn j n j

E E P j x P j p x j P j x P j p x j+ + += = = =

≤ − + ∑∑ ∑∑ (3.9)

Note que o último termo acima não depende dos novos parâmetros em t+1 sendo, portanto, uma constante. Já o segundo termo varia com a escolha de novos parâmetros. A propriedade interessante de (3.9) é o fato de que qualquer alteração no segundo termo a direita que reduza o valor da soma dos termos automaticamente implica na redução do erro no novo passo. Chamemos o segundo termo à esquerda de Q e o terceiro de Q0 , teremos:


1 0( , , )t tE E Q P C Qµ+ ≤ + + (3.10) com

1 1 1 1 11 1

( , , ) ( ) ln ( ) ( )N M

t t t t n t t nn j

Q P C P j x P j p x jµ+ + + + += =

= ∑∑ (3.11)

O cálculo de (3.11) é denominado de passo E (Expectation) do algoritmo. Para otimizarmos o erro precisamos otimizar (3.11), em geral isso requer a utilização de um dos algoritmos de otimização que discutimos no capítulo anterior. Para o caso de GMMs é possível obter equações para os parâmetros analíticamente, bastando para isso substituir (3.2) em (3.11) e calcular as derivadas. Só é necessário tomar cuidado com a condição de normalização ao otimizar os coeficientes de mistura. Estas condições de normalização podem ser introduzidas via um multiplicador de Lagrange. A função a ser otimizada será portanto:

11

( ) 1M

tj

Q Q P jλ +=

= + −

∑! (3.12)

Calculando as derivada de (3.12) teremos:

1 1

( )0

( )

Nt n

n t

P j x

P jλ

= +

− =∑ (3.13)

Manipulando a expressão acima :

1 11 1 1 1

( )( ) ( ) 0

( )

M M Nt n

t tj j n t

P j xP j P j

P jλ + +

= = = +

− =∑ ∑ ∑ (3.14)

Assim Nλ = . Calculando todas as derivadas chegamos ao passo M (Maximization) do algoritmo :

11

1( ) ( )

N

t t nn

P j P j xN+

== ∑ (3.15)

11

1

( )( )

( )

N

n t nn

t N

t nn

x P j xj

P j xµ =

+

=

=∑

∑ (3.16)

1 1

11

1

( )( ( ))( ( ))( )

( )

NT

t n n t n tn

t N

t nn

P j x x j x jC j

P j x

µ µ+ +=

+

=

− −=

∑

∑ (3.17)


O Netlab possui uma demonstração do algoritmo EM entitulada demgmm1. Nesta demosntração dados de exemplo são gerados a partir de duas distribuições gaussianas com covariância esférica.

Um GMM com duas componentes é inicializado .

Aplica-se o passo E e registra-se a verossimilhança de cada ponto em uma escala de cores do vermelho ao azul, dependendo de qual das duas componentes tem maior contribuição.


A seguir os parâmetros são atualizados no passo M.

Os passos E e M são então alternados até que haja convergência .


Exercício

(1) Separe os dados em retornos.dat em dois grupos. O primeiro contendo 600 pontos o segundo o restante. Modele os retornos diários com GMMs com números de componentes M=1,...,10 utilizando o primeiro conjunto. Avalie a

função de log-verossimilhança 1

ln ln ( )N

nn

L p x=

= ∑ no segundo conjunto (de teste)

para cada M. Construa um gráfico da log-verossimilhança contra o número de componentes. Qual é o número de componentes mais adequado ? Sugestão: Utilize a função gmmprob no cálculo da log-verossimilhança.


Redes Neurais Camada Única

Perceptron Linear: Regressão Linear O perceptron linear implementa a seguinte família de funções:

01

( , )M

j jj

y w x w=

= +∑x w (3.1)

A representação gráfica do percéptron é como segue:

Dado um conjunto de dados 1{( , )}N

n n nD t == x , o treinamento do perceptron envolve a maximização da verossimilhança de D:

1

( ) ( )N

j jj

L p t=

=∏w x , (3.2)

onde ( )j jp t x é a densidade condicional que deve descrever o processo gerador dos dados

D. Supondo que os dados são gerados por funções na família (3.1) corrompidas por ruído teremos: ( )j j jt y ε= +x w . (3.3)

Conforme procedimento dos capítulos anteriores introduzimos uma função erro:

1

( ) ln ( )

ln ( )N

j jj

E L

p t=

= −

= −∑w w

x (3.4)

Com um modelo de ruído gaussiano teremos:

2

2

( ( ))1( ) ( ( )) exp

22

t yp t p t y

σπσ −

= − = −

x ww x w (3.5)

w

x


Substituindo (3.5) em (3.4) e ignorando os termos que não dependem dos parâmetros w teremos:

2

1

1( ) ( )

2

N

j jj

E y x t=

= − ∑w w . (3.6)

A minimização de (3.6) é conhecida como método dos mínimos quadrados. Para efetuarmos a otimização de (3.6) precisamos conhecer seu gradiente , o cálculo é simples:

,1

( )N

j j n jjn

Ey t x

w =

∂ = − ∂ ∑ w (3.7)

Se introduzirmos ( )j j jy tδ = −w teremos:

,1

N

j n jjn

Ex

wδ

=

∂ =∂ ∑ , (3.8)

onde j denota cada um dos exemplos e n cada um dos parâmetros, para o limiar 0w temos

10

N

jj

E

wδ

=

∂ =∂ ∑ . (3.9)

O gradiente pode ser avaliado em duas etapas: 1. Cáculo das contribuições ( )j j jy tδ = −w de cada dado ao erro quando os

parâmetros são w ; 2. Cálculo do gradiente conforme (3.8) e (3.9) .

Em Netlab o treinamento de um perceptron linear pode ser feito utilizando qualquer um dos métodos de otimização já vistos. Como exemplo de aplicação utilizaremos retornos do índice BOVESPA e da Companhia Vale do Rio Doce (VALE5). Suponhamos que os retornos da VALE5 possam ser representados como (CAPM): VALE IBOVR Rβ ε= + , (3.10) onde ε é um termo de ruído com média nula. Poderíamos eventualmente adicionar mais fatores ao modelo: 1 2 2 ...VALE IBOV n nR R x xβ β β ε= + + + + , (3.11) assim teríamos uma regressão linear multifatorial, ou, um perceptron linear.


Voltando ao exemplo, abaixo representamos os retornos acima.

No Netlab redes de camada única são identificadas como Generalized Linear Models (GLM). A função para criação de uma GLM é, como não poderia deixar de ser, glm . Para nosso problema exemplo é: > net=glm(1,1,'linear'); > net net = type: 'glm' nin: 1 nout: 1 nwts: 2 actfn: 'linear' w1: 0.0886 b1: 0.2034 A sintaxe de glm é net=glm (nr. entradas, nr. saídas, 'função de saída'). As funções de saída são:

1. 'linear': ( )y x x= ;

2. 'logistic':1

( )1 x

y xe−=

+;

3. softmax: j

k

x

j x

k

ey

e=

∑.


A função 'logistic' é utilizada nas regressões logísticas comuns em sistemas de aprovação automática de crédito. Já a função softmax é utilizada em classificações que envolvem várias classes diferentes (por ex.: rating de crédito).

Dada a estrutura net com parâmetro w, a função erro é avaliada pela função glmerr e o gradiente pela função glmgrad, em geral é convenção do Netlab representar o erro e o gradiente da seguinte forma: <tipo_de_rede>err(net,x,t) , para o erro ; <tipo_de_rede>grad(net,x,t), para o gradiente. Desta foram podemos usar sem maiores dificuldades a função genérica para treinamento de redes. Primeiro carregamos os dados, o arquivo beta.dat contém duas colunas , a primeira com retornos do Ibovespa e a segunda com retornos vale5 : >load('beta.dat'); >ibov=beta(:,1); >vale=beta(:,2); Então, inicializamos o otimizador e chamamos netopt > options=foptions; > [net,options]=netopt(net,options,ibov,vale,'scg'); O resultado é: >net net = type: 'glm' nin: 1 nout: 1 nwts: 2 actfn: 'linear' w1: 0.5864 b1: -9.8947e-004


Ou seja, temos que : 30,586 10VALE IBOVR R ε−= − + . A rede treinada pode ser utilizada através da função glmfwd. Assim: > plot(ibov,vale,'o'); > hold; > x=-0.08:0.001:0.08; > valemodel=glmfwd(net,x'); > plot(x,valemodel);

Para avaliarmos a qualidade do ajuste podemos recorrer à função glmerr fora do conjunto de treinamento. Dentro do conjunto de treinamento temos: > e=glmerr(net,ibov,vale) e = 0.0329 Que equivale a uma verossimilhança de >L=exp(-e) L = 0.9676

Exercício

(a) Prepare um arquivo ASCII com retornos do Ibovespa, Dow Jones, Nasdaq, R$/dólar e quaisquer outras variáveis que achar necessário. Carregue os dados em Matlab e implemente em Netlab uma regressão linear multifatorial.

(b) Separe o conjunto em treinamento (80%) e teste (20%). Calcule a verossimilhança do modelo no conjunto de teste considerando modelos que contenham: i) apenas um fator para ibovespa, ii) fatores para ibovespa e dólar, iii) todos os fatores. Qual é o melhor modelo ?


Redes Neurais Multicamada

Perceptron Multicamada: Regressão Não-Linear Redes multicamada (MLP) com uma camada escondida implementam a seguinte família de funções :

0 0 01 1

( , )M N

outm m jm j

m j

y g w w x w wx W ϕ= =

= + +

∑ ∑ (4.1)

A representação gráfica de uma MLP é como segue:

A função de transferência da camada de saída é g . Para a camada escondida as funções de transferência são 1,..., Mϕ ϕ . Note que a rede para (4.1) possui M entradas e n neurônios na camada escondida. Se escolhermos ( )g z z= e mϕ como sendo funções sigmoidais contínuas

( ( ) tanh( ) ( ) ( )z z ou z erf zϕ ϕ= = ), (4.1) pode representar uma função : Nf !! ! com precisão arbitrária ( ) ( ) ( ; )MM f y! " #x x W , sendo que ( ) 0

MM! !$%%%! 1. Assim,

se os dados observados consistirem de uma função multidimensional desconhecida corrompida por um nível moderado de ruído uma MLP com um número apropriado de unidades na camada escondida será capaz de extrair esta dependência funcional. Seja um conjunto de observações ( ) ( )

1{( , )}n n PnD tx == , suponhamos que

( ) ( )( )n nnt f !" &x . (4.2)

1 Hornik, K. (1991). Approximation capabilities of multilayer feedforward networks. Neural Networks 4 (2), 251-257.

w

x

wout


Com n! '" e 0n qn q

! !(" , onde ' é uma densidade de probabilidade arbitrária . Ao

treinarmos uma rede neural utilizando o conjunto D de dados procuramos encontrar parâmetros W que tornem y(x;W) o mais próximo de f possível dado um modelo para o ruído definido pela densidade ' . De forma equivalente, desejamos encontrar parâmetros para um modelo de densidade condicional ( ; )p t x W . Parâmetros

adequados podem ser encontrados, como procedemos anteriormente, maximizando a função verossimilhança sobre o conjunto D definida por:

( ) ( )

1

( ) ( , )P

n n

n

L p tW x W=

= ∏ . (4.3)

Para simplificarmos os cálculos, substituindo produtos por somas, introduzimos, como anteriormente, uma função erro (ou energia) :

( ) ( )

1

( ) ln ( )

ln ( , )P

n n

n

E L

p t

W W

x W=

= −

= −∑ (4.4)

Com um modelo de ruído gaussiano teremos:

2

2

1 ( ( ; ))( , ) ( ( ; )) exp

22

t y xp t x p t y x

WW W

σπσ −= − = −

(4.5)

Substituindo (4.5) em (4.4) e ignorando os termos que não dependem dos parâmetros W teremos:

2( ) ( )

1

1( ) ( ; )

2

Pn n

n

E y x tW W=

= − ∑ . (4.6)

Uma outra possibilidade é assumirmos um ruído com densidade exponencial generalizada:

( )1

( , ) exp ( ; )2 (1/ )

rrr

p t x t y xr

W Wβ β= − −

Γ, (4.7)

neste cado teremos a seguinte função erro para minimizar dado o conjunto de dados D.

( ) ( )

1

1( ) ( ; )

2

P rn n

n

E y x tW W=

= − ∑ (4.8)

Qualquer que seja o método de otimização que empregemos (Gradiente Conjugado Escalado, Quase-Newton, etc) é necessário cacular o gradiente da função erro. No caso de uma MLP, há uma maneira bastante eficiente de realizar este cálculo proposta inicialmente na década de sessenta e depois redescoberta várias vezes, esta técnica é conhecida como algoritmo Backpropagation2.

2 Amari S., Theory of adaptive pattern classifiers, IEEE Trans EC-16 299 (1967).

Criado por Renato Vicente 6

Backpropagation No caso mais simples, devemos calcular o gradiente da seguinte função erro:

2

( ) ( )0 0 0

1 1 1

1( )

2

P M Nn out n

m m jm jn m j

E w w x w w tW ϕ= = =

= + + −

∑ ∑ ∑ (4.9)

Para simplificarmos os cálculos, assumiremos, sem perda de generalidade que os limiares w0 são pesos sinápticos que recebem sinais constantes x=1. Também assumiremos que as funções de transferência da camada escondida são ( ) tanh( )z z" " Assim:

2

( ) ( )0

1 1 1

1( ) tanh

2

P M Nn n

m jm jn m j

E w w x tW= = =

= −

∑ ∑ ∑ . (4.10)

Aqui introduzimos a notação jmw para indicar conexões sinápticas unindo a entrada j

ao neurônio m da camada escondida . Agora definimos o campo pós-sináptico atuando sobre o neurônio m quando o sinal de entrada é ( )nx :

( ) ( )

1

Nn n

m jm jj

h w x"

") (4.11)

A função erro pode ser decomposta em contribuições de cada componente do conjunto D:

( )

1

( ) ( )P

n

n

E EW W=

= ∑ (4.12)

Com

2

( ) ( ) ( )0

1

1( )

2

Mn n n

m mm

E w a tW=

= − ∑ , (4.13)

onde aproveitamos a interpretação do modelo descrito por (4.1) como uma rede de neurônios para introduzimos ( ) ( )tanh( )n n

m ma h" como a saída do neurônio m da camada

escondida quando o sinal de entrada é ( )nx . Por consistência o campo pós-sináptico na

camada externa é ( ) ( )0 0

1

Mn n

m mm

h w a"

") e a saída ( ) ( )0

n ny h" . Graficamente teremos:

x(n

( )0

nh

05/08/02 4

( )nma

)

( )nmh

( )ny


O gradiente em relação aos pesos sinápticos será:

( )( )

( )1

nnPm

nnjm m jm

hE E

w h w"

** *"* * *) (4.14)

Definimos o erro ( )

( )( )

nn

m nm

E

h# *"

* e assim teremos que :

( ) ( )

1

Pn n

m mnjm

Ex

w#

"

* "* ) (4.15)

Para o neurônio de saída o cálculo de ( )0

n# é trivial resultando em:

( )

( ) ( ) ( )0 0( )

0

nn n n

n

Eh t

hδ ∂= = −

∂ (4.16)

Lembrando que 2tanh( )1 tanh ( )

d zz

dz" # , para os neurônios da camada interna teremos:

( )( )( ) ( ) ( )

0 0( ) ( )1

( ) ( ) ( )0 0 (1 )

nn Mn n n m

m m m mn nmm m

n n nm m m

daEw a t w

h dh

w a a

#

#"

+ ,* -." " # -. -. -.* / 0" #

) , (4.17)

conhecida como fórmula de retropropagação (backpropagation). Note que para o cálculo de derivadas na camada interna é necessário utilizar erros da camada mais externa. Pictorialmente o algoritmo consiste na seguinte seqüência:

1. Dada a entrada ( )nx , calculam-se os campos pós-sinápticos ( )nmh por toda a rede.

Assim ( ) ( )

1

Nn n

m jm jj

h w x"

") e ( ) ( )0 0

1

tanh( )M

n nm m

m

h w h"

") .

x(n)

( )nmh

( )0

nh


2. Calcula-se o erro na saída ( )0

n# e retropropaga-se para as camadas interiores

utilizando ( ) ( ) 2 ( )0 0 (1 tanh ( ))n n n

m m mw h# #" # .

3. Calcula-se os gradiente utilizando ( ) ( )

1

Pn n

m jnjm

Ex

w#

"

* "* ) e ( ) ( )

010

Pn n

mnm

Ea

w#

"

* "* ) .

O Backpropagation reduz o número de operações necessárias para o cálculo de gradientes em MLPs de 2( )O W para ( )O W , onde W é o número de parâmetros. Calculado o gradiente podemos utilizar qualquer um dos algoritmos de otimização conhecidos para efetuar o treinamento da rede.

Perceptron Multicamada: Classificação Uma classificação simples é uma função : { 1,1}Mf ! #! . Uma rede neural pode ser treinada a reconhecer uma função de classificação a partir de um conjunto de treinamento

( ) ( )1{ , }n n P

nD t "" x . Um perceptron de camada única definido como

01

( ; ) ( )N

j jj

y w x w""

" &)x w , (4.18)

( )nma

( )njx

( )nm#

( )0

n#


onde " é uma função sigmoidal (tanh, erf, ...) divide o espaço em duas regiões separadas

por um hiperplano definido por 0w1 "#w x . Assim qualquer vetor com 0w1 2#w x é

classificado como +1 e qualquer vetor com 0w1 3#w x é classificado como -1. Ilustrando:

A distância do hiperplano até a origem é 0w . Uma MLP com uma camada escondida pode representar qualquer região convexa no espaço. Cada neurônio da camada escondida define um hiperplano e a classificação é definida pela unidade de saída.

0 0 0 01 1

( , )M N

outm jm j

m j

y w w x w wx W ϕ ϕ= =

= + +

∑ ∑ (4.19)

Normalmente se utiliza ( ) tanh( )z z" " para a camada interna e 0

1( )

1 zz

e" #"

& para a

camada externa. A região convexa definida é mais complicada que um simples polígono devido ao uso de funções diferenciáveis. Para obtermos regiões arbitrárias é necessário utilizar uma rede com duas camadas escondidas:

1 2 33 0 2 1 0 0 0

1 1 1

( , )L M N

l ml jm jl m j

y w w w x w w wx W ϕ ϕ ϕ= = =

= + + +

∑ ∑ ∑ .

Este tipo de rede é um classificador universal do mesmo modo que uma MLP com uma camada escondida pode representar qualquer função contínua3.

3 Lipmann, R. P. (1987). Na introduction to computing with neural nets. IEEE ASSP Magazine, April, 4-22.

+

-


MLPs em Netlab O Netlab trás um conjunto de funções para a implementação de MLPs com uma camada escondida. As principais funções disponíveis são:

mlp: cria uma MLP com uma camada escondida; mlpinit: inicia os pesos com variância definida; mlpgrad: calcula o gradiente do erro; mlpfwd: calcula a sída da rede;

Outras funções podem ser obtidas entrando > help netlab; Demonstraremos agora o uso do Netlab para uma tarefa de regressão. O problema consiste na interpretação automática do resultado de doze sensores utilizados em oleodutos para a determinação da proporção de gás, óleo e água em um fluxo. Primeiro 500 medidas são efetuadas em laboratório, 400 destas medidas são então utilizadas para treinar uma MLP as outras 100 são utilizadas para teste. Os dados estão armazenados no arquivo "oleoduto.dat", as doze primeiras colunas deste arquivo são as medidas dos sensores as últimas duas colunas são a proporção de água e gás respectivamente. Começamos por carregar o conjunto de dados em uma matriz "oleoduto": > load 'oleoduto.dat' A seguir separamos os dados em quatro vetores: inteste, intreino, outteste, outtreino. >intreino=oleoduto(1:400,1:12); >inteste = oleoduto(401:500,1:12); >outtreino = oleoduto (1:400,13:14); > outteste = oleoduto (401:500, 13:14); De posse de nossos vetores de treinamento e teste, podemos agora criar uma MLP: > net = mlp(12,7,2,'linear');


A arquitetura que escolhemos tem a seguinte representação:

As unidades de saída são lineares e as unidades internas são tanh . Podemos ver a rede criada digitando: >net net = type: 'mlp' nin: 12 nhidden: 7 nout: 2 nwts: 107 actfn: 'linear' w1: [12x7 double] b1: [-0.1817 0.3313 -0.2486 0.0904 -0.1714 -0.3418 0.3177] w2: [7x2 double] b2: [0.1880 0.5289] Note que o modelo contém 107 parâmetros. Agora inicializamos o vetor de controle dos algoritmos de otimização: >options=foptions; Ajustamos o vetor de controles para que os erros sejam exibidos na tela: >options(1)=1; Ajustamos o número máximo de iterações para 500; >options(14)=500;


Agora treinamos a MLP utilizando o Gradiente Conjugado Escalado (scg): > [net,options,erro] = netopt(net,options,intreino,outtreino,'scg'); … Cycle 200 Error 0.160426 Scale 1.000000e-015 Cycle 201 Error 0.160335 Scale 1.000000e-015 Cycle 202 Error 0.160068 Scale 1.000000e-015 Cycle 203 Error 0.159740 Scale 1.000000e-015 Cycle 204 Error 0.159441 Scale 1.000000e-015 Cycle 205 Error 0.159200 Scale 1.000000e-015 Cycle 206 Error 0.159114 Scale 1.000000e-015 Cycle 207 Error 0.158751 Scale 1.000000e-015 Cycle 208 Error 0.158675 Scale 1.000000e-015 Cycle 209 Error 0.158466 Scale 1.000000e-015 Cycle 210 Error 0.158082 Scale 1.000000e-015 Cycle 211 Error 0.157837 Scale 1.000000e-015 Cycle 212 Error 0.157532 Scale 1.000000e-015 Cycle 213 Error 0.157437 Scale 1.000000e-015 Cycle 214 Error 0.157029 Scale 1.000000e-015 Cycle 215 Error 0.156953 Scale 1.000000e-015 Cycle 216 Error 0.156921 Scale 1.000000e-015 Agora plotamos a evolução do erro de treinamento com o número de iterações: > plot(err,'o-');

Agora utilizamos o modelo treinado armazenado em net para realizar prediçõe no conjunto de teste: > outmodel=mlpfwd(net,inteste);


A seguir plotamos as previsões contra os valores reais no conjunto de teste: > plot(outmodel(:,1),outteste(:,1),'o');

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.90

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

> plot(outmodel(:,2),outteste(:,2),'o');

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.80

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

Se a qualidade das predições é adequada ou não irá depender da aplicação. Podemos quantificar esta qualidade calculando a diferença percentual média entre previsões e valores experimentais definida como:

(n) (n)

(n)1

outmodel outteste1

outteste

P

nP "

#4" ) (4.20)

>deltas=abs(outmodel-outteste)./outteste; > delta=sum(deltas)./100 delta = 0.2654 0.1465 Ou seja o erro médio é de 26,5% para a primeira saída (óleo) e 14,65% para a segunda saída (água). Adcionalmente é interessante observarmos o perfil geral das previsões:


> plot(deltas(:,1),'o-'); figure; plot(outteste(:,1),'o-'); > plot(deltas(:,2),'o-'); figure; plot(outteste(:,2),'o-');

0 10 20 30 40 50 60 70 80 90 1000

2

4

6

8

10

12

14

16

18

0 10 20 30 40 50 60 70 80 90 1000

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

0 10 20 30 40 50 60 70 80 90 1000

0.5

1

1.5

2

2.5

3

3.5

4

0 10 20 30 40 50 60 70 80 90 1000

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9


Nota-se que grandes erros estão relacionados com valores pequenos das saídas. Uma forma de melhorar a qualidade das previsões é utilizar apenas valores de saída acima de um certo limiar, para isso é necessário modificar a arquitetura da rede adicionando uma terceira saída definida como outtreino(:,3)=1 - outtreino(:,1) – outtreino (:,2) , treinar novamente o modelo e apenas utilizar as duas previsões que exibirem valores acima de um limiar definido (por exemplo: >0,1). A terceira previsão pode ser obtida da condição de normalização.

Aplicações de MLPs O sucesso de uma aplicação de MLPs depende da natureza do problema. Se há uma função, mesmo que complexa, subjacente aos dados, as chances de sucesso são grandes. Há uma grande quantidade de aplicações de MLPs e outras redes descritas na Internet, para citar alguns links:

http://www.brainstorm.co.uk/NCTT/Welcome.htm http://www.emsl.pnl.gov:2080/proj/neuron/neural/products/ http://neuralnetworks.ai-depot.com/Applications.html

Exercício

1. Melhore a qualidade das previsões do modelo para composição de fluxos em oleodutos realizando as seguintes modificações :

a) Gere conjuntos de treinamento e teste com três saídas que somem um; b) Treine uma rede com 7 neurônios na camada escondida do mesmo modo

apresentado ; c) Na etapa de teste, utilize o seguinte algoritmo para efetuar previsões:

tome as duas saídas com maior valor out1 e out2, obtenha a terceira saída com out3=1-out1-out2;

d) Calcule o erro percentual médio para cada uma das saídas assim obtidas. e) Repita o treinamento para redes com 5,6,8,10 e 15 neurônios. Qual é a melhor arquitetura ?

http://www.brainstorm.co.uk/NCTT/Welcome.htm

http://www.emsl.pnl.gov:2080/proj/neuron/neural/products/

http://neuralnetworks.ai-depot.com/Applications.html

Redes Neurais para Inferência Estatísticarvicente/RNcomMatlab.pdfRedes Neurais para Inferência...

Documents

Transcript of Redes Neurais para Inferência Estatísticarvicente/RNcomMatlab.pdfRedes Neurais para Inferência...