Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues...

51
Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues www.fei.edu.br/~psergio

Transcript of Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues...

Page 1: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Visão ComputacionalMestrado e Doutorado em Engenharia

Elétrica

Prof. Dr. Paulo Sérgio Rodrigueswww.fei.edu.br/~psergio

Page 2: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

O que é Visão Computacional?

Estuda e desenvolve um conjunto de métodos e técnicas os quais podem tornar um sistema computacional capaz de interpretar imagens.

Page 3: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Visão Computacional

Carro de exploração

Lunar

Baixo Nível Médio Nível Alto Nível

Segmentação Reconhecimento

Page 4: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Nível Baixo

Melhoria da qualidade da imagem:◦ Remoção de ruídos da imagem◦ Melhoria do contraste da imagem◦ Remoção de borrões da câmera◦ Remoção de manchas de movimentos◦ Realce da estrutura◦ Realce das cores

Processamento de Imagem é utilizado para melhorar a aparência visual da imagem e/ou realçar as características desejadas

Page 5: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Nível Médio

Extração de Regiões que compõem partes de um objeto ou cena

Também podem ser extração de primitivas como curvas, retas, polígonos, elipses, ...

Geralmente, as regiões isoladas não fazem nenhum sentido pra quem observa.

Page 6: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Nível Alto

Técnicas para interpretação de objetos ou cenas

Regiões, em conjunto, passam a fazer sentido

Raciocínio cognitivo

Inferência de informações

Page 7: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Nível AltoRaciocínio cognitivo: Inferência do Contexto para

interpretação de objetos ou cenas

Page 8: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Técnicas de Baixo nível

Imagem original Filtro média (5x5)Filtro Gaussiano

(5x5)Filtro Mediana

(5x5)

Filtro média (5x5)Filtro Mediana

(5x5)

Page 9: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Transformada de HoughImagem binária (bordas) Retas detectadas com a Transformada de Hough

Técnicas típicas de Visão de Médio Nível: Detecção de Retas

Page 10: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Análise de Imagens com Base em informações de Cor, Forma ou Textura

Page 11: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Técnicas típicas de Visão de Alto Nível: Inferência Baseada em Contexto

Page 12: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Técnicas típicas de Visão de Alto Nível: Inferência Baseada em Contexto

Page 13: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Imagem: Janus z Konrad – Boston University Imagem: Boston University

Técnicas Típicas de Visão de Alto Nível: Inferência de Jogadores em Quadra

Page 14: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Aplicações: Biometria

Imagem: Sony ® e S. Seitz

Detecção de Faces Reconhecimento de digital

Page 15: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Aplicações: leitor de placas

imagem: S. Seitz

Page 16: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Aplicações: Inspeção de Fábrica

Page 17: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Aplicações: Veículo Autônomo

Page 18: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Sistema CAD (Computer Aided Diagnosis)

Page 19: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Extração da Lesão

Saída do Ultra-som

Page 20: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Sistema CAD com entropia Não-extensiva

Level Sets

Morfologia

Segmentação

Page 21: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Região da Lesão

Extração da lesão

• Área

• Circularidade

• Protuberâncias

• Sombra acústica

• Reforço acústico

• Homogeneidade

• RNA

• Fuzzy

• Bayes

• SVM

Classificação

Saída do Ultra-som

Extração de Características

Sistema CAD: Etapas

Maligno

Benigno

Page 22: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

TCCs na área de Visão Computacional desenvolvidos na FEI

Reconhecimento Facial com o Número de Fibonacci (Primeiro Lugar na EXPOCOM 2007)

Page 23: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

TCCs desenvolvidos na FEI

EVIP” - EXPANSÃO VISUAL DE EXIBIÇÕES EM SUPERFÍCIES PLANAS

( 3 Prêmios EXPOCOM 2008: Melhor Criatividade e Melhor trabalho Científico e Melhor Trabalho Geral)

Page 24: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Análise e Visualização de Imagens Médicas: Reconstrução Craniofacial e Previsibilidade de Resultados

LNCC • USP-SC • CENPRA • CHSC • INTO

Objetivo: Reparar anomalias de crânio e face através da construção automática de próteses

Page 25: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Reconstrução Cranio-Facial: Metodologia

Page 26: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Caso de Perda de massa óssea frontal

Page 27: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Prototipagem: Responsável: USP de São Carlos

Page 28: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

PRÓTESE CRANIANAMODELOS MÉDICOS 3D: paciente antes de depois da cirurgia

Page 29: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

PRÓTESE CRANIANAMODELOS MÉDICOS 3D: Momento da Cirurgia de implante da prótese craniana

a b

c d

Page 30: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Instantes da Prototipagem Rápida

Page 31: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

RECONSTRUÇÃO FACIAL. Caso de Câncer de Mandíbula. Paciente antes e depois. A foto do meio abaixo (o crânio com meia mandíbula) mostra a construção antes do implante. As duas fotos abaixo mostram a paciente hoje, e as duas acima, a paciente com defeito de frente e de perfil.

Page 32: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

TCCs desenvolvidos na FEI

MAART

Page 33: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Reconhecimento de Logomarcas em Jogos de

Futebol

Integrantes:Allan Martins de PaulaFelipe Gomes MagarottoLucas Martins BaiaRozivaldo Zacarias de Jesus

Orientador: Paulo Sérgio Silva Rodrigues

Page 34: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Objetivo

Automatizar um processo e assim, gerar um relatório informando quanto tempo as propagandas que estão ao redor do campo apareceram na transmissão.

Page 35: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Definição de tipos de Câmera

Câmera Principal Não-Câmera Principal

Page 36: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Setores do Campo

Page 37: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Regiões durante a transmissão

Page 38: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Metodologia

FrameDefinição de câmera Principal

Page 39: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Metodologia

Definição de câmera-principal

Detecção de Bordas

Page 40: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Metodologia

Detecção de Bordas

Detecção de Linhas

Page 41: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Metodologia

Detecção de Linhas

Definição das Regiões de Interesse (ROI)

Page 42: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

MetodologiaDefinição da ROI

Matching

Page 43: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

MetodologiaTracking e ROL

Próximo Frame

Contabiliza Tempo

Arquivo Individual

Page 44: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Visão ComputacionalGrandes Desafios Futuros

Page 45: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Telemedicina

Page 46: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Gerenciamento de Grandes Bases de Dados

Page 47: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Análise de Imagens em Vídeo

Page 48: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Ambientes Virtuais Colaborativos

Page 49: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Ambientes Virtuais Colaborativos

Page 50: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

TV-Digital

Page 51: Visão Computacional Mestrado e Doutorado em Engenharia Elétrica Prof. Dr. Paulo Sérgio Rodrigues psergio.

Bibliotecas

MATLAB e OPENCV (Intel)