ANÁLISE DE IMAGENS COM DEEP LEARNING - Infis-Ufu · CAIXA PRETA X REPRESENTAÇÕES SEMÂNTICAS NAS...
Transcript of ANÁLISE DE IMAGENS COM DEEP LEARNING - Infis-Ufu · CAIXA PRETA X REPRESENTAÇÕES SEMÂNTICAS NAS...
-
IBM RESEARCH BRASIL
MATHEUS VIANA
DEEP LEARNINGANÁLISE DE IMAGENS COM
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
IBM RESEARCH NO MUNDO
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
IBM RESEARCH NO MUNDOCIÊNCIA DO
COMPORTAMENTO QUÍMICACIÊNCIA DA
COMPUTAÇÃOENGENHARIA
ELÉTRICA
CIÊNCIA DOS MATERIAIS MATEMÁTICA FÍSICA
BIOLOGIA COMPUTACIONAL
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
IBM RESEARCH NO BRASILVISUAL ANALYTICS AND
COMPREHENSIONINDUSTRIAL TECHNOLOGIES
NATURAL RESOURCES SOCIAL DATA ANALYTICS
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
ROADMAP
▸ Redes neuronais
▸ Transição para deep learning
▸ Aplicação 1: encoder-decoder
▸ Aplicação 2: rede residual
▸ Aplicação 3: VGG
▸ Conclusões
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
NÃO VOU FALAR SOBRE
▸ Memória associativa
▸ Modelos de spin em redes neuronais
▸ Máquinas de Boltzman
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
1958 - PERCEPTRON DE ROSENBLATT
Frank Rosenblatt (right) and Charles W. Wightman (left)
f (x) = �
X
i
wixi
!
f (x)
x1
x2
x3
padrões linearmente separáveis
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
1958 - PERCEPTRON DE ROSENBLATT
Frank Rosenblatt (right) and Charles W. Wightman (left)
f (x) = �
X
i
wixi
!
f (x)
x1
x2
x3
padrões linearmente separáveis
AND XOR
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
1972 - MULTILAYER PERCEPTRON
MLPs com uma única camada podem aproximar qualquer função booleana
MLPs com duas camadas podem aproximar qualquer função com precisão arbitrária
COMO ENCONTRAR OS VALORES ?wi
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
1974 - PAUL WERBOS E O BACKPROPAGATIONO método de backpropagation era conhecido desde 1960 em áreas como teoria de controle e programação dinâmica.
Paul Werbos sugeriu o uso de backpropagation em redes neuronais
Senso comum: método utilizado para treinar redes neuronais
Método para atualização dos pesos da rede que trabalha em conjunto com um algoritmo de optimização.
-
(j, `� 1)wi,j,`
(i, `)
x
y
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
1974 - PAUL WERBOS E O BACKPROPAGATION
�(z) =1
1 + e�z
@z� = � (1� �)Oi,` = � (Ii,`)
Ii,` =X
j
wi,j,`Oj,`�1 E = 12
X
s
||y⇤s � ys||2
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
1974 - PAUL WERBOS E O BACKPROPAGATION
E
w1,1,2w1,2,2
�rE
wt+1 = wt � ↵rE
rE =X
i,j,`
@E@wi,j,`
ŵi,j,`
wi,j,`
(i, `)
Oi,`
@E@wi,j,`
=@E
@Oi,`@Oi,`@wi,j,`
Oi,` = � (Ii,`)@E@wi,j,` =@E
@Oi,`@Oi,`@Ii,`
@Ii,`@wi,j,`
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
1974 - PAUL WERBOS E O BACKPROPAGATION
E
w1,1,2w1,2,2
�rE
@E@wi,j,`
=@E
@Oi,`@Oi,`@Ii,`
@Ii,`@wi,j,`
Ii,` =X
j
wi,j,`Oj,`�1
Oj,`�1
Oi,` = � (Ii,`)Ii,` (1� Ii,`)
@E@wi,j,`
= Oj,`�1Ii,` (1� Ii,`) @E@Oi,`
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
1974 - PAUL WERBOS E O BACKPROPAGATION
E
w1,1,2w1,2,2
�rE
@E@wi,j,`
= Oj,`�1Ii,` (1� Ii,`) @E@Oi,`
@E@Oi,` =
X
j
@E@Ij,`+1
@Ij,`+1@Oi,`
(i, `)
Oi,` (m, `+ 1)
(n, `+ 1)
@E@Oi,` =
X
j
@E@Ij,`+1wj,i,`+1
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
1974 - PAUL WERBOS E O BACKPROPAGATION
E
w1,1,2w1,2,2
�rE
@E@Oi,` =
X
j
@E@Ij,`+1wj,i,`+1
@E@Oi,` =
X
j
@E@Oj,`+1
@Oj,`+1@Ij,`+1 wj,i,`+1
@E@Oi,` =
X
j
@E@Oj,`+1 Ij,`+1 (1� Ij,`+1)wj,i,`+1
@E@wi,j,`
= Ii,` (1� Ii,`)Oj,`�18<
:X
j
@E@Oj,`+1 Ij,`+1 (1� Ij,`+1)wj,i,`+1
9=
;
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
1974 - PAUL WERBOS E O BACKPROPAGATION
E
w1,1,2w1,2,2
�rE
(i, `)
Oi,` = y
@E@Oi,` =
X
s
(y⇤s � ys)
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
EXEMPLO: ENCODER-DECODER
E = 12
X
s
||y⇤s � ys||2
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
EXEMPLO: ENCODER-DECODER
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
EXEMPLO: ENCODER
y1y2
y1
y2
Redes neuronais artificiais são implementações de PCA não linear.
Por que redes neuronais artificiais multicamadas são poderosas?
CAIXA PRETA X
REPRESENTAÇÕES SEMÂNTICAS NAS CAMADAS
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
REPRESENTAÇÃO SEMÂNTICA EM CAMADAS
Editora
Ano
Tema
Qualidade
‣ Livros de Física da Springer
‣ Livros de Antigos de Cálculo
‣ Livros Recentes da Oxford
‣ Livros de Antigos de Cálculo da Oxford
‣ Livros Recentes de Física da Springer
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
TRANSIÇÃO PARA DEEP LEARNING▸ 2010 MIT estava prestes a remover disciplina de redes
▸ 2012 Geoffrey Hinton (Toronto): Erro 15% na Imagenet (2nd: 26%)
▸ 15M imagens anotadas em 22K categorias
▸ 60M de parâmetros
classe
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
TRANSIÇÃO PARA DEEP LEARNING▸ 2010 MIT estava prestes a remover disciplina de redes
▸ 2012 Geoffrey Hinton (Toronto): Erro 15% na Imagenet (2nd: 26%)
▸ 15M imagens anotadas em 22K categorias
▸ 60M de parâmetros
classe
Camadas de convolução
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
TRANSIÇÃO PARA DEEP LEARNING▸ 2010 MIT estava prestes a remover disciplina de redes
▸ 2012 Geoffrey Hinton (Toronto): Erro 15% na Imagenet (2nd: 26%)
▸ 15M imagens anotadas em 22K categorias
▸ 60M de parâmetros
classe
Camadas de convolução
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
TRANSIÇÃO PARA DEEP LEARNING
▸ Representação semântica no problema de reconhecimento facial:
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
TRANSIÇÃO PARA DEEP LEARNING
▸ Arquitetura da rede depende do problema:
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
DEEP LEARNING NA IBM RESEARCH BRASIL
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
APLICAÇÃO 1: DEEP ENCODER-DECODER
▸ Problema: avaliação da proliferação tumoral
▸ Avaliação baseada no número de células em processo de divisão
BIÓPSIA AVALIAÇÃO TRATAMENTODIGITALIZAÇÃO
0 1 2 3 4 5 6 7 8 9 10 11+#células em divisão:
prognóstico: BOM MÉDIO RUIM
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
▸ Problema: avaliação da proliferação tumoral
▸ Avaliação baseada no número de células em processo de divisão
BIÓPSIA AVALIAÇÃO TRATAMENTO
REGIÕES DE INTERESSE
1Gb ~ 20K x 20K pixels
DIGITALIZAÇÃO
APLICAÇÃO 1: DEEP ENCODER-DECODER
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
▸ Problema: avaliação da proliferação tumoral
▸ Avaliação baseada no número de células em processo de divisão
BIÓPSIA AVALIAÇÃO TRATAMENTODIGITALIZAÇÃO
ROI 2 ROI 3ROI 1
• Total:~178 Exames (3 ROIs)
+ + =2µm2
NÃO É UM PROBLEMA DE CLASSIFICAÇÃO
APLICAÇÃO 1: DEEP ENCODER-DECODER
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
▸ Problema: avaliação da proliferação tumoral
▸ Avaliação baseada no número de células em processo de divisão
BIÓPSIA AVALIAÇÃO TRATAMENTODIGITALIZAÇÃO
APLICAÇÃO 1: DEEP ENCODER-DECODER
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
E = 12||y⇤ � y||2
APLICAÇÃO 1: DEEP ENCODER-DECODER
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
APLICAÇÃO 1: DEEP ENCODER-DECODER
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
APLICAÇÃO 2: RESIDUAL NETWORK
▸ Problema: avaliação da proliferação tumoral
▸ Avaliação baseada no número de células em processo de divisão
BIÓPSIA AVALIAÇÃO TRATAMENTODIGITALIZAÇÃO
Normal: Em divisão:
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
APLICAÇÃO 2: RESIDUAL NETWORK
▸ Problema: avaliação da proliferação tumoral
▸ Avaliação baseada no número de células em processo de divisão
BIÓPSIA AVALIAÇÃO TRATAMENTODIGITALIZAÇÃO
classe
(probabilidade)
ACURÁCIA:94%Expansão dos dados:
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
APLICAÇÃO 2: RESIDUAL NETWORK
▸ Problema: avaliação da proliferação tumoral
▸ Avaliação baseada no número de células em processo de divisão
BIÓPSIA AVALIAÇÃO TRATAMENTODIGITALIZAÇÃO
probabilidade
probabilidade
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
APLICAÇÃO 2: RESIDUAL NETWORK
▸ Problema: avaliação da proliferação tumoral
▸ Avaliação baseada no número de células em processo de divisão
BIÓPSIA AVALIAÇÃO TRATAMENTODIGITALIZAÇÃO
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
APLICAÇÃO 3: REDE VGG
▸ Problema: detecção de nódulos pulmonaresCT PULMÃO AVALIAÇÃO TRATAMENTOCANDIDATOS
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
APLICAÇÃO 2: REDE VGG
▸ Problema: detecção de nódulos pulmonaresCT PULMÃO AVALIAÇÃO TRATAMENTOCANDIDATOS
É POSSÍVEL USAR UMA REDE NEURONAL PARA FILTRAR A LISTA DE CANDIDATOS?
~1000 CANDIDATOS
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
APLICAÇÃO 2: REDE VGG
▸ Problema: detecção de nódulos pulmonaresCT PULMÃO AVALIAÇÃO TRATAMENTOCANDIDATOS
classe
(probabilidade)
CONVOLUÇÃO 3D
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
APLICAÇÃO 2: REDE VGG
▸ Problema: detecção de nódulos pulmonaresCT PULMÃO AVALIAÇÃO TRATAMENTOCANDIDATOS
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
APLICAÇÃO 2: REDE VGG
▸ Problema: detecção de nódulos pulmonaresCT PULMÃO AVALIAÇÃO TRATAMENTOCANDIDATOS
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
APLICAÇÃO 2: REDE VGG
▸ Problema: detecção de nódulos pulmonaresCT PULMÃO AVALIAÇÃO TRATAMENTOCANDIDATOS
classe
(probabilidade)
4 CANDIDATOS POR EXAME
3D ACURÁCIA: 90% 2D: ACURÁCIA: 85%
SPEED UP: 127X
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
CONCLUSÕES▸ Deep learning é o estado da arte nas áreas de visão
computacional, reconhecimento de voz, predição de séries temporais e outras.
▸ Muito para ser feito
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
CONCLUSÕES
-
ANÁLISE DE IMAGENS COM DEEP LEARNING - MATHEUS VIANA
OBRIGADO
▸ [1] - Müller, Berndt, Joachim Reinhardt, and Michael T. Strickland. Neural networks: an introduction. Springer Science & Business Media, 2012.
▸ [2] - Jordan, Michael I., and Tom M. Mitchell. "Machine learning: Trends, perspectives, and prospects." Science 349.6245 (2015): 255-260.