Processament de Senyal, Imatge i Vídeo · • Super-Resolution • Video stabilization • High...
Transcript of Processament de Senyal, Imatge i Vídeo · • Super-Resolution • Video stabilization • High...
Processament de Senyal, Imatge i Vídeo
presentació
Felipe Lumbreras RuizDept. Ciències de la Computació / Centre de Visió per Computador
Universitat Autònoma de Barcelonawww.cvc.uab.es/shared/teach/a104346/
104346 Processament de Senyal, Imatge i Vídeo (Grau Enginyeria de Dades)
102784 Visió per computador (Grau Enginyeria Informàtica)
Assignatura d’introducció al processament del senyal, les imatges i a la visió per computador
www.cvc.uab.es/shared/teach/a104346/
caronte.uab.cat/course/view.php?id=79
Què?
Visió per computador
“The science and engineering discipline concerned with making inferences about the external world, given one or more of its images”.
font: curs J. Malik
“The goal of computer vision is to extract useful information from images. This has proved a surprisingly challenging task; it has occupied thousands of intelligent and creative minds over the last four decades, and despite this we are still far from being able to build a general-purpose ‘seeing machine’”
font: Simon J.D. Prince book
pixels
data
knowledge
Processing
Analysis
Recognition
font: flickr , autor: uayebt
font: wikimedia commonsAndrej Karpathy blog: http://karpathy.github.io/2012/10/22/state-of-computer-vision/
Elements implicats
Sistema d'il·luminació Escena
Òptica,filtres,
extensorsCàmera
Digitalització, processament i
anàlisi
Hardware i software
Visualització
Captació
Elements implicats(sistema d’inspecció)
Elements implicats
Bibliografia
• David A. Forsyth and Jean Ponce, Computer Vision: A Modern Approach (2nd Edition), Prentice Hall 2011.
• Richard Szeliski, Computer Vision: Algorithms and Applications, Springer (Texts in computer Science) 2011. (http://szeliski.org/Book/).
• Rafael C. Gonzalez and Richard E. Woods, Digital Image Processing (3rd Edition), Prentice Hall 2007.
• Simon J.D. Prince, Computer Vision: Models, Learning, and Inference, Cambridge University Press, 2012. (http://www.computervisionmodels.com/)
• Joan Serrat, Llibre d’apunts de Processament d’imatges, 2006. (llibre)
Disciplines relacionades
• Processament del senyal (Signal Processing ): adequació i tractament de diferent tipus de senyals.
• Processament d’Imatges (Image Processing ): imatges, transformacions d’imatges en imatges.
• Reconeixement de Patrons (Pattern Recognition): Reconeixement i classificació d’objectes mitjançant imatges.
• Fotogrametria (Photogrametry): obtenció de mesures sense contacte.
• Visió industrial (Machine Vision): control de processos industrials a partir d’imatges.
• ...
Àrees
• Document Analysis• Biometrics• Surveillance• Medical Imaging• Automotive Safety• 3D Reconstruction• Quality Control• ...
www.cs.ubc.ca/~lowe/vision.htmlwww.cvc.uab.es/?page_id=72
Aplicacions/tècniques
• OCR (optical character recognition)
• Signature authentication• Fingerprint identification• Face detection/recognition• Object recognition• Stereo Vision• Panoramas• Multiple View Stereo• SLAM (simultaneous localization
and mapping)• Word spotting• Shape form shading• Shape from silhouette
• Shape from texture• Color naming• Recoloring• Lane departure warning• Pedestrian detection• Inpainting• Video segmentation• Optical Flow• Super-Resolution• Video stabilization• High Dynamic Range• Compression• Slit camera• …
Història
0,4M (2015), 0,7M (2017) hores de vídeo pujats a YouTube al dia
70M (2016), 95M (2017) fotos publicades a Instagram al dia
...
ImageNet: 14M imatges(https://en.wikipedia.org/wiki/List_of_datasets_for_machine_learning_research)
font: CVPR’12 FREAK: Fast Retina KeypointAlexandre Alahi, Raphael Ortiz, Pierre Vandergheynst
font: szeliski.org/Book/
1999 2008 2011 2012
Eines
• Acadèmia– Python– MatLab (Octave)– OpenCV– Deep Learning: TensorFlow (Keras), PyTorch
• Indústria– Python: TensorFlow (Keras), PyTorch– C++ : Caffe– OpenCV– MatLab– LabView– Programes i llibreries específiques
Difusió• Conferències
– ICCV (International Conference on Computer Vision)– ECCV (European Conference on Computer Vision)– CVPR (Int. Conf. on Computer Vision and Pattern Recognition)– ICPR (International Conference on Pattern Recognition)– ...
• Revistes– IEEE Transactions on Pattern Analysis and Machine Intelligence
(PAMI)– Computer Vision and Image Understanding (CVIU)– International Journal of Computer Vision (IJCV)– Pattern Recognition (PR)– ...
• Repositoris:– Arxiv: arxiv.org, (CS) www.arxiv-sanity.com
Àrees relacionades
• Mates (moltes), Física
• Intel·ligència Artificial
• Aprenentatge (Machine Learning)
• Gràfics per Computador
Geometria
Anàlisi
Imatges
Síntesi
Kinectfusion (Siggraph2011): www.youtube.com/watch?v=quGhaggn3cQFace2Face (CVPR2016): www.youtube.com/watch?v=ohmajJTcpNkPose estimation (CVPR2017): www.youtube.com/watch?v=pW6nZXeWlGM
Per ampliar coneixementsUAB• MOOC:
– Detección de objetos: www.coursera.org/learn/deteccion-objetos– Clasificación de imágenes: ¿cómo reconocer el contenido de una imagen?:
www.coursera.org/learn/clasificacion-imagenes
• Treballs Final de Grau • Pràctiques en Empresa• Màsters: pagines.uab.cat/mcv• Doctorats
Altres llocs• MOOC:
– Image and video processing: From Mars to Hollywood with a stop at the hospital. (https://www.coursera.org/course/images)
– Fundamentos del Procesamiento de Vídeo e Imagen Digital. (https://www.coursera.org/course/digital)
– Introducción a la visión por computador: desarrollo de aplicaciones con OpenCV. (https://www.edx.org/course/introduccion-la-vision-por-computador-uc3mx-isa-1x)
– Computational Photography.(https://eu.udacity.com/course/computational-photography--ud955)
– Machine Learning. (https://es.coursera.org/learn/machine-learning)
Com?
• Teoria
dimecres 10:30-12:30h, Q5-1012
• Problemes i pràctiques
dilluns 8:30-10:30h, Aula Informàtica A
laboratori tancat (assistència obligatòria)
HorariCalendari
setmana
PROBLEMES i PRÀCTIQUES TEORIA
dilluns 08:30-10:30 h, dimecres 10:30-12:30 h,
Aula Informàtica A, Q5-1012.
10/02/2020Presentació
Formació de la imatgeIntroducció a les eines: MatLab i PythonLab0 (treball individual)
17/02/2020 Formació Processament d'imatges
24/02/2020Processat
Filtrat lineal ILab1Lab0 correcció
02/03/2020 Filtrat lineal I Filtrat lineal II
09/03/2020Filtrat lineal II
Filtrat no lineal Lab2Lab1 correcció
16/03/2020 Filtrat no lineal Transf. Geomètriques
23/03/2020Transf. Geomètriques
Repàs/DubtesLab3 Lab2 correcció
30/03/2020(*) Correcció presencial
Repàs/Dubtesproblemes Bloc 1
06/04/2020 FESTA FESTA13/04/2020 FESTA Avaluació 1r bloc
20/04/2020Correcció examen
CaracterístiquesProj1Lab3 correcció
27/04/2020 Característiques Segmentació
04/05/2020Segmentació
ClassificacióProj2 Lab3 correcció
11/05/2020 Classificació Deep learning18/05/2020 Proj3 Presentació Aplicacions
25/05/2020(*) Correcció presencial
Repàs/Dubtesproblemes Bloc 2
Teoria/Problemes
• Exàmens (teoria, problemes)Prova1_2013 (sol), Prova2_2013 (sol), Prova1_2014 (sol), Prova2_2014 (sol),Prova1_2015 (sol), Prova2_2015 (sol),Prova1_2016 (sol), Prova2_2016 (sol),Prova1_2017 (sol), Prova2_2017 (sol).
• Problemes
Lliurament/Correcció de problemes (individual, presencial):
Bloc1 (dilluns 30/3/20),
Bloc2 (dilluns 25/5/20)
Pràctiques
• Assistència obligatòria
• Grups de 2 alumnes
• Dividit en 4 labs i un projecte (3 labs)Lab 0: individual, no presencial, introducció a les eines, correcció presencial (al Lab 1).
Lab 1,2,3: en grup, laboratori tancat
Projecte 1,2,3: projecte únic, proposat pel grup, laboratori tancat
Pràctiques
• Lab 0: introducció, eines, processament
• Lab 1: eliminació del fons, filtratge
• Lab 2: filtratge, correlació
• Lab 3: geometria, homografies
• Proj 1: definició, objectius, introducció
• Proj 2: seguiment, dubtes
• Proj 3: presentació pública
• codi
• codi
• codi
• codi
• document
• codi
• codi, doc, presentació
Avaluació
Nota Teoria = 0.5*Teoria Prova 1 + 0.5*Teoria Prova 2
Nota Problemes = 0.5*Problemes Prova 1 + 0.5*Problemes Prova 2
Nota de Pràctiques = 0.15*Lab1 + 0.2*Lab2 + 0.25*Lab3 + 0.4*Projecte
NOTA FINAL = 0.3*Nota Teoria + 0.3*Nota Problemes + 0.4*Nota Pràctiques + Notes extres (teo, pro, pra)
No hi ha notes mínimes a cap de les avaluacions.
A l'examen final es podran recuperar per separat les parts: Teoria Prova 1, Teoria Prova 2, Problemes Prova 1, Problemes Part 2. No baixa nota, ens quedem amb la millor de les diferents parts.
Avaluació
Nota Final
112%
Nota Teoria 30%Teoria prova 1 15% 15%
Teoria prova 2 15% 15%
Nota Problemes
30%Problemes prova 1 15% 15%
Problemes prova 2 15% 15%
Nota Pràctiques
40%
Lab1 6% 6%
Lab2 8% 8%
Lab3 10% 10%
Proj 16%
Proj. sessió 1 2%
Proj. sessió 2 4%
Proj. sessió 3 4%
Proj. presentació 2%
Proj. aval. classe 2%
Aval. intragrup 2% 2%
Notes extres
12%
Article 1 2% 2%
Article 2 2% 2%
Prob. Bloc 1 2% 2%
Prob. Bloc 2 2% 2%
Lab0 2% 2%
Lab4 2% 2%
Qui?
Professor
• Felipe Lumbreras Ruiz
teoria/problemes/pràctiques
[email protected], [email protected]
Consultes: dijous de 9:30 a 11:30 (QC-1048)
contacteu per email abans de venir
www.cvc.uab.es/shared/teach/a104346/
caronte.uab.cat/course/view.php?id=79