Qu’apporte-t-elle de nouveau...« Votre objectif TAMRON SP 150-600mm F/5-6.3 Di VC USD vient...
Transcript of Qu’apporte-t-elle de nouveau...« Votre objectif TAMRON SP 150-600mm F/5-6.3 Di VC USD vient...
Institut Mines-Télécom
Photo numérique …
Qu’apporte-t-elle de nouveau ?
11/02/2016 INRIA_Alumni_2016 1 [email protected]
Institut Mines-Télécom
La photo numérique …
Une évolution sociétale majeure …
Ou une révolution ?
11/02/2016 INRIA_Alumni_2016 2
Institut Mines-Télécom
Une révolution sociétale
400 000 000 utilisateurs d’Instagram (2015)
6 000 000 000 images sur Flickr (2011)
100 000 000 000 images sur FaceBook (2011)
32 000 000 photo-galleries sur jAlbum (2013)
70 000 000 photos de voyages sur Panoramio
200 000 000 blogs sur Tumblr
1 000 000 000 photos par jour sur Internet
1 000 000 000 $ pour Instagram en 2012
23 % croissance annuelle d’Instagram
70 000 000 000 $ marché de la photo (et de ses . services) 2014
6 – 7 % croissance annuelle jusqu’en 2020
11/02/2016 INRIA_Alumni_2016 3
Institut Mines-Télécom
Un appareil photo, c’est :
• une lentille (ou un jeu de lentilles)
• un capteur
• un télémètre, pour déterminer la distance de mise
au point,
• un équipage mobile, pour faire la mise au point,
• une cellule photométrique, pour mesurer la lumière
incidente,
• un diaphragme, pour contrôler le flux de lumière,
• un obturateur, pour contrôler le temps d’exposition.
11/02/2016 INRIA_Alumni_2016 4
Institut Mines-Télécom
Un appareil photo numérique, c’est :
• une lentille (ou un jeu de lentilles)
• un capteur solide
• un télémètre, pour déterminer la distance de mise
au point,
• un équipage mobile, pour faire la mise au point,
• une cellule photométrique, pour mesurer la lumière
incidente,
• un diaphragme, pour contrôler le flux de lumière,
• un obturateur, pour contrôler le temps d’exposition.
+ • Unité centrale + logiciels associés = progiciel
11/02/2016 INRIA_Alumni_2016 5
Institut Mines-Télécom
1 - Le capteur
11/02/2016 INRIA_Alumni_2016 6
Institut Mines-Télécom
Diversité des tailles des capteurs
Rapport des surfaces = 1 à 200
11/02/2016 INRIA_Alumni_2016 7
Film:
24 x 36 mm
phones
compacts
hybrides
réflex
Institut Mines-Télécom
Efficacité quantique interne : un gain > 50
11/02/2016 INRIA_Alumni_2016 8
© Improving the red wavelength sensitivity of CCDs ( Proc SPIE – San Diego – june 2010)
JORDEN P. R.; DOWNING M. ; HARRIS A.; KELT A.; MISTRY P.; PATEL P.
CCD = CMOS
Institut Mines-Télécom
Des architectures puissantes et très
efficaces
Passage du montage PPS (passif) au montage
APS (actif) et de l’APS au PPD (pinned
photodiode device)
11/02/2016 INRIA_Alumni_2016 9
Institut Mines-Télécom
Des architectures puissantes et très
efficaces
Partage de l’électronique et passage aux montages rétro-éclairés (BSI)
Rejet de l’électronique sur une couche séparée : technologie VLSI en pile
11/02/2016 INRIA_Alumni_2016 10
2009
2012
Institut Mines-Télécom
Des algorithmes précis de traitement du signal :
une modélisation fidèle de la physique
Modélisation du bruit :
𝒁𝒊 𝒙, 𝒚 = 𝝋 𝒈𝒙𝒚 𝝆𝒒𝒆𝒏𝒑𝒉 +𝑫𝒕𝒉 +𝑵𝒓𝒆𝒔𝒆𝒕 𝑮𝒐𝒖𝒕 +𝑵𝒐𝒖𝒕 + 𝐊 • φ = non linéarité
• 𝑔𝑥𝑦 = gain au site (x,y)
• 𝜌𝑞𝑒 = efficacité quantique externe (dépend de (x,y))
• 𝑛𝑝ℎ = nombre de photons incidents
• 𝐷𝑡ℎ = bruit thermique à la température th
• 𝑁𝑟𝑒𝑠𝑒𝑡 = bruit de recharge + bruit de diaphonie
• 𝐺𝑜𝑢𝑡 = gain électronique (fonction de la sensibilité ISO : 𝐺𝑜𝑢𝑡 ≈ 𝛼 𝐼𝑆𝑂)
• 𝑁𝑜𝑢𝑡 = bruit de lecture
• 𝐾 = bruit de quantification
Bruit = bruit poissonnien + bruit gaussien + bruit de quantification uniforme
© C. Aguerrebere 2014
11/02/2016 INRIA_Alumni_2016 11
Institut Mines-Télécom
La détection des photons : conclusion
Excellent capteur
+
architecture électronique très élaborée
+
traitement du signal puissant
=
très bonnes images
11/02/2016 INRIA_Alumni_2016 12
Institut Mines-Télécom
Un processeur,
pourquoi faire ?
11/02/2016 INRIA_Alumni_2016 13
Institut Mines-Télécom
Le processeur comme chef d’orchestre
11/02/2016 INRIA_Alumni_2016 14
CPU
capteurs réglages
CCD / CMOS
Photodétecteur
Télémètre
Photomètre Goniomètre
GPS
Mise au point
Ouverture
Temps de pose
Sensibilité Flash
Stabilisation
Mémoire
Interface Utilisateur
Institut Mines-Télécom
Un processeur pour … (1/2)
Gestion centrale = application des programmes : « Auto », « Priorité X », « Paysages », « Portraits », …
• Sélection des capteurs : télémètres, photomètres,
• Combinaison des mesures
• Contrôle des fonctions : ouverture, diaphragme, flash, stabilisation
• Choix des paramètres de traitement
Interface utilisateur • Affichage des commandes
• Affichage et gestion des images (zoom, rotation, saturation, histogrammes, …)
Optimisation des mesures : • Mesure de la lumière = ~ 100 capteurs ~ 1 ms
• Mise au point = 10 capteurs et 20 mesures/capteur ~ 100 ms
• Stabilisation = 3 ou 5 capteurs … 500 mesures/s ~ 5 ms
• Flash = 10 capteurs ~ 1ms
11/02/2016 INRIA_Alumni_2016 15
Institut Mines-Télécom
Un processeur pour … (2/2)
Traitement des images
• Gestion des Entrées/Sorties
─ Images fixes = 20 Mpixels rafale 10 images en 1 s = 400 Moctets
─ Vidéo 4k = 10 Mpixels/image = 600 Mpixels/s
• Gestion de la couleur
─ Démosaïcage ~ 10 opérations / pixel
─ Balance des blancs / chgt d’espace (capteur vers sRGB) ~ qlq op/pixel
• Compression JPEG ou MPEG4
─ Transformation DCT 8x8 + balayage zigzag + compression ZL
─ Décomposition hiérarchique en ondelettes par bancs de filtres
─ Détection de mouvement par corrélation de bloc,
─ Prédiction et interpolation de trames
11/02/2016 INRIA_Alumni_2016 16
Institut Mines-Télécom
Le matriçage chromatique
Solution par défaut :
• Multiplexage spatial de Bayer
… mais beaucoup d’autres choix possibles
11/02/2016 INRIA_Alumni_2016 17
Matrice de Kodak
(R,V,B + panchro) Matrices de Fujifilm
(sites couplés)
Matrice Sony
4 couleurs
Institut Mines-Télécom
Démosaïcage
Sous-échantillonnage au sens de Shannon
des algorithmes puissants mais heuristiques
11/02/2016 INRIA_Alumni_2016 18
Institut Mines-Télécom
Démosaïcage (de Bayer)
Algorithmes heuristiques :
• On reconstruit le canal Vert
• Puis les canaux Bleu et Rouge sachant le Vert
•
𝐵𝑖𝑛𝑐𝑜𝑛𝑛𝑢= 1
𝑛
𝐵𝑐𝑜𝑛𝑛𝑢𝑠
𝜕𝑉𝑖4 𝑜𝑢 2 𝑣𝑜𝑖𝑠𝑖𝑛𝑠
11/02/2016 INRIA_Alumni_2016 19
Institut Mines-Télécom
Filtrage des bruits d’acquisition
(à venir)
11/02/2016 INRIA_Alumni_2016 20
Image originale native Image filtrée
Institut Mines-Télécom
Espace chromatique et Balance des blancs
11/02/2016 INRIA_Alumni_2016 21
𝐴 = 𝜋𝑟2
𝑅′𝑉′𝐵′
=
𝑎11 ⋯ 𝑎13⋮ ⋱ ⋮𝑎31 ⋯ 𝑎33
𝑅𝑉𝐵
Von Kries :
𝑎𝑖𝑗 = 0 𝑠𝑖 𝑖 ≠ 𝑗
Espaces (R, V, B ; E)
E=R+V+B
𝑅 = 𝛼 𝜑 𝜔 𝑟 𝜔 𝜎𝑅 𝜔 𝑑𝜔
𝜔1
𝜔0
• Luminance spectrale incidente
• Réflectance spectrale de l’objet
• Sensibilité spectrale du canal (Rouge)
Institut Mines-Télécom
Balance des blancs
11/02/2016 INRIA_Alumni_2016 22
avant
après monde gris
monde gris frustré
page blanche
algo. constructeur
Capteur constructeur + illuminant
Institut Mines-Télécom
Gestion du piqué (modification du spectre
de densité de puissance)
FSCS = Fonction de sensibilité au contraste spatial
11/02/2016 INRIA_Alumni_2016 23
En prenant en compte la FSCS acutance
Institut Mines-Télécom
Aberrations géométriques (1/2)
11/02/2016 INRIA_Alumni_2016 24
courbure coma
sphérique astigmatisme
Institut Mines-Télécom
Aberrations géométriques (2/2)
11/02/2016 INRIA_Alumni_2016 25
Institut Mines-Télécom
Aberrations chromatiques
11/02/2016 INRIA_Alumni_2016 26
Institut Mines-Télécom
Vignettage
11/02/2016 INRIA_Alumni_2016 27
Institut Mines-Télécom
… mais aussi … (3/2)
Détection des visages pour la mise au point
Poursuite des cibles
11/02/2016 INRIA_Alumni_2016 28
Institut Mines-Télécom
Mais aussi, … Panoramas …
11/02/2016 INRIA_Alumni_2016 29
Angle de vue = 192° = 4 photos = 17 000 pixels
Institut Mines-Télécom
Mosaïcage : projection cylindrique
Maintien des parallèles dans une direction,
préservation des dimensions d’un plan frontal
11/02/2016 INRIA_Alumni_2016 30
Institut Mines-Télécom
Mosaïcage, projection sphérique
Maintien des proportions 2D des objets
Maintien des angles
11/02/2016 INRIA_Alumni_2016 31
Institut Mines-Télécom
Mosaïcage d’une rafale à un panorama
11/02/2016 INRIA_Alumni_2016 32
Modèle de mouvement : translation / et /ou rotation
Modèle de projection : affinité / homographie
Modèle d’illumination : continuité par morceaux
Institut Mines-Télécom
Panoramas : oui, mais …
11/02/2016 INRIA_Alumni_2016 33
Institut Mines-Télécom
Panorama 2D
11/02/2016 INRIA_Alumni_2016 34
Institut Mines-Télécom
Accroissement de la profondeur de champ
11/02/2016 INRIA_Alumni_2016 35
Mise au point à 1 m
Mise au point à 100 m
+ d’autres
avant
Institut Mines-Télécom
Accroissement de la profondeur de champ
11/02/2016 INRIA_Alumni_2016 36
après
Institut Mines-Télécom
Mais aussi … Effets spéciaux : Cartoon
11/02/2016 INRIA_Alumni_2016 37
Institut Mines-Télécom
Mais aussi … Effets spéciaux : ambiance
dramatique
11/02/2016 INRIA_Alumni_2016 38
Institut Mines-Télécom
3 - Et les capacités de
télécommunications ?
Dans les téléphones mobiles surtout !
11/02/2016 INRIA_Alumni_2016 39
Institut Mines-Télécom
Quelles fonctions de communication ?
Une hiérarchie très stricte :
• Tous les appareils photos ……… un port USB
• De plus en plus … ……………… un lien WiFi
• Dans les mobiles ……………….. 3G, 4G, …
Pour :
• Mise à jour du logiciel :
─ « Votre objectif TAMRON SP 150-600mm F/5-6.3 Di VC USD
vient d’être mis à jour »
• Echange d’images
• Pilotage d’un terminal d’affichage (TV)
• Pilotage d’une imprimante couleur
• Téléopération de l’appareil photo
11/02/2016 INRIA_Alumni_2016 40
Institut Mines-Télécom
De plus en plus
Téléchargement de mises à jour des logiciels de traitement :
• Traitement de la couleur
• Mise au point
• Corrections géométriques
par le fabricant
Mais aussi, importation de logiciels de remplacement depuis des sites spécialisés, indépendants du fabricant
• Mise à jour des fonctionnalités
Développement d’officines spécialisées
2/11/2016 41 INRIA_Alumni_2016
Institut Mines-Télécom
L’appareil photo est en ligne
11/02/2016 INRIA_Alumni_2016 42
Configuration « classique »
Institut Mines-Télécom
Pour les téléphones cellulaires
11/02/2016 INRIA_Alumni_2016 43
utilisateur
Institut Mines-Télécom
Que faire dans le nuage avec un téléphone ?
Reconnaissance de l’écrit :
• Assistance aux malvoyants
• Traduction automatique
• Assistance aux usagers : magasins, touristes, services publics
Reconnaissance des formes :
• Mode, Esthétique, Coiffure
• Reconnaissance des fleurs, oiseaux, …
• Montage mécanique, dépannage, bricolage
• Enseignement technique à distance
11/02/2016 INRIA_Alumni_2016 44
Institut Mines-Télécom
Et avec un réflex ?
11/02/2016 INRIA_Alumni_2016 45
utilisateur
Institut Mines-Télécom
Aller chercher les services sur le web
Aide à la prise de vue
• Situation difficiles : réflexions, contre-jours, éclairages spéciaux
• Utilisation de bases de données
Référencement et indexation des images :
• Exploiter conjointement les données de
─ Date
─ Géo-positionnement (GPS)
─ Goniométrie
• Enrichir les métadonnées (fichier EXIF)
11/02/2016 INRIA_Alumni_2016 46
Joubarbe
Sempervivum
Rue de la Butte aux
Cailles, Misstic
Mont Quitaraju,
Pérou
Institut Mines-Télécom
Aller chercher les services sur le web
Calcul intensif sur des rafales, des séquences ou des
piles d’images :
• Reconstruction 3D
• Création d’images super-résolues
• Composition d’animations
• Aide à la composition
11/02/2016 INRIA_Alumni_2016 47
Moins de
profondeur
de champ
Plus de
profondeur
de champ
Institut Mines-Télécom
Quel marché ?
Marché « expert » très opposé à la techno :
• L’expertise c’est le photographe, pas l’appareil
• La référence historique à la photo argentique demeure la règle
• Les nouvelles technologies réclament des apprentissages et un
changement des pratiques
Marché des compacts et des « entrées de gamme », plutôt prudent
• le surcoût des outils nécessaires est prohibitif
La caméra n’a pas les moyens de franchir le pas de
l’appareil en ligne
Le téléphone mène le jeu
11/02/2016 INRIA_Alumni_2016 48
Institut Mines-Télécom
Conclusion
Que sera le futur ?
11/02/2016 INRIA_Alumni_2016 49
Institut Mines-Télécom
Peut-on freiner l’intégration du téléphone au
Nuage ?
Elle est déjà en place à petite échelle
Elle s’est développée grâce au téléphone mobile car : • C’est un marché beaucoup plus riche (rapport 100 à 1)
• C’est un marché beaucoup plus porteur (plus jeune, plus dynamique, acquis au numérique)
Elle pénètre doucement le monde de la photo, essentiellement par les outsiders et les nouveaux venus issus du monde de l’électronique ou de l’instrumentation scientifique : Sony, Olympus, Apple, Fuji, Lumix, Samsung
Les ténors freinent car : • leur clientèle de référence n’y est pas acquise
• Leur place n’y est pas assurée
11/02/2016 INRIA_Alumni_2016 50
Institut Mines-Télécom
Télécharger des programmes spécialisés
(en mode SAS)
11/02/2016 INRIA_Alumni_2016 51
utilisateur
Institut Mines-Télécom
Installer ses propres logiciels
Ouvrir les OS des appareils photos :
• Créer des plateformes programmables / interopérables
Permettre l’implantation de logiciels concurrents / différents / complémentaires :
• Balance des blancs
• Corrections et transformations géométriques
• Enchaînement de réglages
• Effets spéciaux
Exploiter toutes les performances disponibles
• Même celles non prévues
• Même celles interdites
Emergence de nouveaux acteurs, de nouveaux métiers
11/02/2016 INRIA_Alumni_2016 52