Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 1 Traitement...
-
Upload
raimund-chauvet -
Category
Documents
-
view
106 -
download
1
Transcript of Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 1 Traitement...
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 1
Traitement d'images
Hugues BENOIT-CATTIN
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 2
I. Introduction
Objectif
Compréhension des techniques de traitement d'images mise en
oeuvre dans le domaine des télécommunications
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 3
Ce n'est pas cequi nous intéresse !
HBC
Traitementd'images
Traitementd'images
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 4
• Domaines d'application
Vision industrielle
Imagerie médicale
Imagerie satellite
Microscopie
Télécommunications
Animations, Images de synthèse
....
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 5
• I. Introduction
• II. Représentations & Acquisition
• III. Pré-traitement & Amélioration
• IV. Compression
• V. Segmentation
• VI. Introduction à l'indexation
• VII. Introduction au tatouage
• VIII. Conclusion
Plan
Remerciements à A. Baskurt, C. Odet pour les parties II, III, V
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 6
Scène, objets 2D 3D...Eclairage
Image 2D,3D,...
Formation de l’image
Image numérique
Numérisation
Image numérique
RestaurationReconstruction
Corrections- radiométriques- géométriques
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 7
Image numérique Indexation
CompressionSegmentation
Tatouage
Reconnaissancede formes
BDO
Transmission
Décision
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 8
II. Représentation & Acquisition
• 1. Représentation continue
• 2. Représentation échantillonnée
• 3. Voisinage, connexité, distance
• 4. Acquisition : échantillonnage, quantification, bruit
• 5. Représentations fréquentielles
• 6. Représentations pyramidales
• 7. Représentation de la couleur
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 9
II.1 Représentation continue
Image = fonction d’au moins deux variables réelles Image : f(x,y) image 2D
Volume : f(x,y,z) «image» 3D Séquence d’image : f(x,y,t) Séquence de volumes : f(x,y,z,t) «image» 4D
Les valeurs prises par f(.) peuvent être Scalaires (intensité lumineuse)
Vectorielles (couleur (RVB, ..), imagerie multispectrale, image de paramètres...)
Réelles ou complexes
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 10
• Une image 2D f(x,y) scalaire réelle peut être vue comme une surface en 3D :
Interprétation altimétrique des images, bassin versant, détection de ligne de crêtes, dénivellation ...
• Si f(.) représente une intensité lumineuse
Cette représentation est utiliséequel que soit le paramètre représenté par f(.)( Température, pression,....)Correspondance entre niveau de gris et grandeur physique.
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 11
• Opérations sur les images continues :
Toutes opérations réalisables «sur le papier» sur les fonctions continues à variables réelles
Transformée de Fourier bidimensionnelle (2D)
Filtrage, convolution, corrélation, intégration, dérivation, traitements non linéaire...
• On utilisera souvent la notation «continue» pour
représenter et manipuler des images numériques (discrètes, échantillonnées, quantifiées)
• Le traitement numérique de l’image sera parfois une «discrétisation» d’une opération en continu
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 12
II.2 Représentation échantillonnée
• Echantillonnage d’une fonction f(x,y)
fe(x,y) = f(x,y).i j ( x - i x , y - j y )
x pas d’échantillonnage dans la direction x
y pas d’échantillonnage dans la direction y
x
xy
ijx - i x , y - j y ) Peigne de Dirac 2D
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 13
• Le poids de chaque Dirac est :
– Soit la valeur de f(x,y) en x = i x et y = j y– Soit la valeur «moyenne» de f(x,y) dans une région
entourant (i x , j y) (f(x,y) est pondérée et intégrée dans la région R)
~( , )f i x j y
Caméra CCD Caméra à tube
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 14
~( , ) ( , ) ( , , , )f i x j y f x y h x y i x j y dxdy
R
~( , ) ( , ) ( , )f i x i y f x y h i x x j y y dxdy
R
• Dans le cas général on aura (cas variant) :
• Si h(.,.) est identique en tout point (x,y), on aura (cas invariant) :
h représentera la réponse impulsionnelle du système de prise de vue. C’est une opération de convolution, donc de filtrage.
f x y f i x j y x i x y j yeji
( , )~
( , ) ( , )
• L’image échantillonnée est donc :
• Dans un ordinateur, l’image (numérique) sera représentée parune matrice (tableau 2D) : f i j f i x j y[ , ]
~( , )
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 15
• f [i,j] est appelé «valeur du PIXEL (i,j) »(Pixel: PICture ELement)
• Pour visualiser une image, on remplit une région rectangulaire (Pixel) avec un niveau de gris (ou de couleur) correspondant à la valeur du pixel. En général les niveaux de gris (ou de couleur) utilisé pour la visualisation sont compris entre 0 et 255 (code de longueur fixe sur 8 bits).
0.1 0.230.15 0.50
f [i,j]
50 11575 250
Niveau de gris Affichage
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 16
• La maille (répartition des pixels) est le plus souvent carrée (Dx=Dy) ou rectangulaire
• On utilise parfois une maille hexagonale qui possède des propriétés intéressantes pour les notions de voisinage et de distance.
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 17
II.3 Voisinage, connexité, distance
• Beaucoup de traitements font intervenir la notion de voisinage
• Un pixel possède plusieurs voisins (4 ou 8)
• On parlera de connexité 4 ou 8
La région grise forme :UN seul objet en connexité 8DEUX objets en connexité 4
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 18
Distance Euclidienne d f f i k x j l ye ( , ) ( ) ( )' 2 2 2 2
Distance City-Block d f f i k x j l yc ( , )
longueur du chemin en connexité 4
Distance de l’échiquier d f f i k x j l yb ( , ) max( , )
Distance entre deux pixels f [i,j] et f ’[k,l]
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 19
II.4 Acquisition : échantillonnage / quantification
Effets de l'échantillonnage : pixelisation
256 x 256 pixels 64 x 64 pixels 16 x 16 pixels
• Contours en marche d’escalier• Perte de netteté• Détails moins visibles/ moins précis• Perte de résolution
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 20
Effets de la quantification à l'acquisition• CAN sur les systèmes d’acquisition d’images
• Codage de la valeur de chaque pixel sur N bits (En général 8 bits)
8 bits (256 niv.) 2 bits (4 niv.)4 bits (16 niv.)
• Apparition de faux contours• Bruit de quantification• Effet visible à l’œil en dessous de 6/7 bits• Quantification sur 8 bits pour l’affichage
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 21
Bruits liés à l'acquisition
Les images sont souvent entachées de bruit, parfois non visible à l’œil, et qui perturberont les traitements
Diaphragme F/4
• Optimiser les conditions d’éclairage• Attention à l’éclairage ambiant• Mais... diaphragme ouvert = faible profondeur de champ• Mais... éclairage important = dégagement de chaleur
F/8 F/16
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 22
Correction de l'éclairage
Eclairage non uniforme !
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 23
• Flou de bougé/filé dû à un temps de pose/intégration trop long
• Effet de lignage dû au balayage entrelacé des caméras vidéo
Cet effet disparaît avec les caméras à balayage progressif non entrelacé
Cet effet est limité par l’usage d’obturateur rapide et/ou d’éclairage flash
Une bonne acquisition Des traitements facilités
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 24
II.5 Représentations fréquentielles
Notion de fréquence spatiale
Transformée de Fourier
Transformée Cosinus
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 25
Notion de fréquence spatiale Basses fréquences
Zones homogènes, continues
Hautes fréquences Détails, contours
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 26
Variation sinusoïdale rapide
(fréquence) des niveaux de gris
dans une direction donnée
f x y A f x f yx y x y( , ) sin( ) 2 2
x
y
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 27
Transformée de Fourier 2D
• Image = images sinusoïdales (A,f,)
dxdy))yfxf(j2exp()y,x(f)f,f(F yxyx
• F = image complexe (module & phase)
x
y
fx
fy
(Module deF(fx , fy)
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 28
fx
fy
Hautefréquence
Images sinusoïdales Impulsions de Dirac
fx
fy
Basse fréquence
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 29
Transformée de Fourier Discrète 2D (DFT)
F u vMN
f m n jmu
M
nv
Nn
N
m
M
( , ) [ , ]exp( ( ))
12
0
1
0
1
Image échantillonnée (M x N) pixels, la DFT est donnée par :
u
v
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 30
Propriétés de la DFT 2D
• Identiques au 1D
• Périodique en u,v (période M,N)
• F(0,0) = composante continue = moyenne des NG
• Conservation de l ’énergie |f(m,n)|² = |F(u,v)|²
• f réelle F symétrique conjuguée (mod. pair, arg. impair)
• Séparable
• Algorithme rapide (FFT) : N².log2 (N)
• Convolution circulaire = DFT
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 31
Importance de la phase
Module
DFT - DFT-1
Module
Phase
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 32
Echantillonnage & Aliasing
• Si le théorème de Shannon n’est pas respecté lors de l’échantillonnage d’une image continue, il y a repliementde spectre
• Ceci se traduit dans les images par des figures de Moiré,c’est à dire des formes fausses qui n’existaient pas dans l’image d’origine
• Les caméras matricielles types CCD induisent systématiquementdu repliement de spectre. L’image d’entrée ne devra donc pascontenir trop de hautes fréquences ( Ne passez pas à la télé avecun costume rayé ! )
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 33
Sansrepliement
RemarqueDFT périodique
EchantillonnéeContinue !
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 34
Avec repliement
EchantillonnéeContinue !
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 35
Transformée Cosinus Discrète
M2
.v)1j2(cos.
N2
.u)1i2(cos).j,i(f.
N.M
)v(c).u(c.4)v,u(C
1N
0i
1M
0j
0 u pour N1)u(c
0 u pour N2)u(c Avec
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 36
Propriétés de la DCT 2D
• Linéaire, séparable
• Coefficients réels
• C(0,0) = composante continue = moyenne des NG
• Concentration d ’énergie en basse-fréquence
• Algorithme rapide (via la FFT) : N².log2 (N)
compression d ’images
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 37
II.6 Représentations pyramidales
Pyramides Gaussiennes & Laplaciennes
Sous-Bandes / Transformée en ondelettes
Traitement multirésolution : Coarse To Fine
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 38
Pyramides Gaussiennes & Laplaciennes
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 39
• Burt & Adelsson (1983)
• Filtrage passe-bas 2D de type gaussien
Compression d ’images
Analyse et segmentation d ’images
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 40
Décomposition en sous-bandes / ondelettes
• Esteban/Galland 1977 - Woods/O ’Neil 1986 - … - Mallat (1989)
• Filtres FIR 1D, 2D
• Filtres IIR 1D, 2D
Une Décomposition
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 41
Une reconstruction
• Décomposition / Reconstruction sans pertes cascades
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 42
Pyramidale(itérée en octave)
Adaptative
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 43
• Réversible
• Concentration d ’énergie
• Spatio - fréquentiel
Analyse & Compression
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 44
II.7 Représentation de la couleur
RGB
CMY
YUV / YIQ
HSL
Palettes
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 45
0
255
255
255
Maxwell triangleR+G+B=255
black
blue
green
red
white
Rouge Vert Bleu (RGB)
• Synthèse additive de la couleur (perception d ’une source)
• Œil, Moniteur, Carte graphique …
• Images 24 bits (3*8 bits)
16 M de couleurs >> 350 000
• NG : R=G=B
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 46
Cyan Magenta Jaune (CMY)
• Synthèse soustractive de la couleur
Objet éclairé absorbant un certain nombre de fréquences
• Extension CMYK pour l ’impression en quadrichromie
Y
M
C
1
1
1
B
G
R
K
'Y
'M
'C
)Y,M,Cmin(
)Y,M,Cmin(Y
)Y,M,Cmin(M
)Y,M,Cmin(C
Y
M
C
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 47
YUV (PAL) / YIQ (NTSC)
• Y = intensité lumineuse = TV N&B
• UV / IQ = information chrominance
B
G
R
.
311.0522.0211.0
322.0274.0596.0
114.0587.0299.0
Q
I
Y
B
G
R
.
100.0515.0615.0
437.0289.0147.0
114.0587.0299.0
V
U
Y
• YUV >> RGB pour la décorrélation de l ’information
Compression d ’images couleur
• DVB YUV 4:2:0
7.1:V
3.5:U
93:Y
6.30:B
2.36:V
2.33:R
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 48
Hue Saturation Lightness (HSL)
• Le cerveau réagit à :
la longueur d ’onde dominante (teinte)
la contribution à la luminosité de l ’ensemble (saturation)
l ’intensité par unité de surface = luminance
• Y = L
• UV coordonnées polaire HS
22UV
1UV
VUS
)U/V(tanH
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 49
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Palettes de couleur
• 16 Millions de couleurs 256 couleurs = palettes (GIF, BMP)
• Image indexée = Palette (couleur sur 24 bits) + matrice d ’index
visualisation en fausses couleurs
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 50
• I. Introduction
• II. Représentations & Acquisition
• III. Pré-traitement & Amélioration
• IV. Compression
• V. Segmentation
• VI. Introduction à l'indexation
• VII. Introduction au tatouage
• VIII. Conclusion
Plan
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 51
III. Pré-traitements & Amélioration
• 1. Opérations pixel à pixel
• 2. Opérations sur un voisinage : filtrage
• 3. Transformations géométriques
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 52
• Pourquoi pré-traiter une image ? Pour corriger les effets de la chaîne d ’acquisition
• Correction radiométriques et/ou géométriques • Réduire le bruit : Restauration, Déconvolution
Améliorer la visualisation Améliorer les traitements ultérieurs (segmentation,
compression …)
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 53
• Comptage des pixels ayant un niveau de gris (NG) donné• Histogramme densité de probabilité des niveaux de gris
III.1 Opérations pixel à pixel
Histogramme des niveaux de gris
Modification d'un pixel indépendamment de ses voisins
Niveau de gris
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 54
Transformation des niveaux de gris : f
• v=f(u) avec u niv. gris de départ, v niv.gris d'arrivée
• f peut prendre une forme quelconque
Modification d ’histogramme
v
255u0
255
0 0u
v
0
255
255
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 55
v=f(u)
v
u0 255
• Recadrage linéaire des niveaux de gris
255
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 56
• Seuillage binaire
• Négatif
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 57
• Egalisation d'histogramme
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 58
– Non-linéaire, Logarithme, Extraction de plans binaires,– Ecrêtage, Compression-dilatation de dynamique,– Spécification d’histogramme,– Codage en couleur, Pseudo-couleur, ....
• Autres transformations
Segmentation basée sur les niveaux de gris (multi-seuillage)
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 59
III.2 Opérations sur un voisinage : filtrage
Modification d'un pixel en fonction des ses voisins
Filtrage linéaire• Domaine spatial : filtres FIR 2D (masque), filtres IIR• Domaine fréquentiel dans le plan de Fourier
Filtrage non-linéaire dans le domaine spatial
Image f(x,y) Filtreh(x,y)
Image filtrée g(x,y)
g(x,y) = h(x,y)*f(x,y) (convolution bidimensionnelle)G(u,v) = H(u,v) . F(u,v)
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 60
• Convolution par une réponse impulsionnelle finie appeléeMasque de Convolution
g i j h k l f i k j lk l W
( , ) ( , ) ( , )( , )
f est l’image de départh est le masque de convolutionW défini un voisinage
• Un pixel f(i,j) est remplacé par une somme pondérée de lui-même et des pixels de son voisinage
Filtrage spatial FIR 2D : masque de convolution
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 61
• Exemple : Filtre moyenneur
h k l M Nsi M k M et N l N
sinon( , ) ( )( )
1
2 1 2 10
W: voisinage 2x2 k=0,1 l=0,1 1/4 1/4
1/41/4h(k,l) = 1 /4 pout tout (k,l)
k
l
0 1
0
1
0 1 2 21 1 2 11 2 0 0
3/4 6/4 7/4 x5/4 5/4 3/4 xx x x x
0 1 1 x1 1 0 xx x x x
( En ne conservantque la valeur entière )
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 62
(zoom)
Moyenneur2x2
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 63
• Utilisation de voisinages très divers : Rectangulaires 2x2, 3x3, 4x4, 5x5, 7x7, 1x2, 2x1, 1x3, 3x1... En croix, «Circulaires»...
• Valeurs des coefficients:Constants(Moyenneur), Gaussiens…
• Effets de filtrage passe-bas : image plus «flou»:, contours moins
précis mais réduction du bruit haute fréquence
• Le principe du masque de convolution sera utilisé pour d’autrestraitements (Détection de contours)• L’utilisation d’un voisinage entourant un pixel est un principe très général en traitement de l’image
• Remarques
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 64
Filtre moyenneur 3x3 (k=-1,0,1 l=-1,0,1), Valeur constante h(k,l)=1/9
• Exemple : réduction du bruit
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 65
• Exemple : réhaussement de contours
0 -1 0-1 5 -1 0 -1 0
= Image d’origine + Laplacien 0 -1 0-1 4 -1 0 -1 0
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 66
Filtres FIR 2D et plan de Fourier
g(x,y) = h(x,y)*f(x,y) G(u,v) = H(u,v) . F(u,v)
• Filtrage : N².(L-1) + N² vs. N².Log2N + N²
• Synthèse de filtres• 1D 2D• Echantillonnage en fréquence• Fenêtre
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 67
C’est un filtre passe-bas, peu sélectif, anisotrope
Masque 3x3
h(k,l)
u
v
H(u,v)
TFD 2D
• Filtre Moyenneur
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 68
h x yx y
( , ) exp( ) 1
2 22
2 2
2 • Filtre Gaussien
- Filtre IIR version tronquée à K et échantillonnée masque FIR
h(k,l) H(u,v)
- C’est un filtre passe-bas isotrope peu sélectif.- H(u,v) est aussi une gaussienne
TFD 2D
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 69
DFT
DFT-1
Filtrage
• Fenêtrage fréquentiel
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 70
• Illustrations
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 71
• Remplacer le pixel central par la valeur médiane du voisinage
1 3 2 43 1 4 22 3 2 11 2 3 3
1 1 2 2 2 3 3 3 4
. . . .
. 2 . .
. . . .
. . . .
Filtrage non linéaire 2D : filtre Médian
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 72
• Avantage par rapport au filtrage linéaire les bords sont conservés
Filtre linéairede largeur 3
Filtre médianvoisinage 3
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 73
• Notion de causalité 2D
• Le choix du balayage est arbitraire • Le pixel présent ne dépend que des pixels du passé• Voisinage = pixels du passé entourant le pixel présent
g i j h f i j h k l g i k j lk l W
( , ) ( , ) ( , ) ( , ) ( , )( , )
0 0
Pixels du passé
Pixels du futur Pixel du présent
Exemple: balayage colonne puis ligne
Principe du filtrage IIR 2D
• Filtrage récursif
• Remarques
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 74
• Objectif Corriger les déformations dues au système de prise de vue
f(x,y) = f’(x’,y’) avec x’=h1(x,y) et y’=h2(x,y)
• Exemple : transformation affine (translation, rotation)
f
e
y
x
dc
ba
y
x
'
'
Remarque : les paramètres a,b,c,d peuvent ne pas être les mêmes pour toutesles régions d’une image
III.3 Transformations géométriques
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 75
• Problème
x,y,sont des valeurs discrètes (image échantillonnée) x=kx , y=lyet x’=h1(kx , ly) et y’=h2(kx , ly) ne seront pas nécessairement des multiples entiers de x et y
x
y
k k+1
l
l+1
x
y
m m+1
n
n+1
P1 P2
P3P4
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 76
Solution: Interpolation m
n Q
P1
P3P4
P2
f’(Q)=f’(mx,ny) = G[f(P1),f(P2),f(P3),f(P4)]avec f(P1)=f (kx, ly) f(P2)=f ((k+1)x,ly) f(P3)=f ((k+1)x,(l+1)y) f(P4)=f (kx, (l+1)y) • Plus proche voisin: f(Q)=f(Pk) , k : dk=min{d1,d2,d3,d4}• Interpolation linéaire
d4
f Qf P d
d
k kk
kk
( )( ) /
/
1
4
1
4
1
• Interpolation bilinéaire, fonctions spline, Moindre ², ....
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 77
x’= x+0.5 yy’= y
128x128
y
x x’
y’
• Warping Placage de texture animation ...
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 78
• I. Introduction
• II. Représentations & Acquisition
• III. Pré-traitement & Amélioration
• IV. Compression
• V. Segmentation
• VI. Introduction à l'indexation
• VII. Introduction au tatouage
• VIII. Conclusion
Plan
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 79
IV. Compression
• 1. Introduction
• 2. Approches directes
• 3. Approches par transformation
• 4. Compression de séquences d'images
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 80
IV.1 Introduction
Historique
Objectifs
•1952 : Codeur entropique (Huffman)
•1978 : DCT (Pratt)
•1980 : Vectoriel (Linde-Buzo-Gray)
•1986 : Sous-bandes (Woods)
•1986 : Vectoriel sur treillis (Fisher)
•1989 : JPEG•1989 : MPEG-2
•1989 : Ondelettes (Mallat, Daubechies)
•1990 : Fractales (Jacquin)
•1996 : SPIHT•1996 : MPEG-4•1997 : MPEG-7•1998 : JPEG2000
Réduction du volume occupé par les images numériques pour faciliter leur transfert et/ou leur stockage
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 81
Applications
• Imagerie médicale Télémédecine
• Imagerie spatiale
• Imagerie sous-marine
• Archivage divers (Musée, BNF, Empreintes ...)
• Vidéo conférence / visiophone (64 kb/s)
• Télésurveillance
• Video On Demand
• Télévision numérique (150 Mb/s)
...
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 82
Classification des méthodes de compression
Sans pertes / avec pertes contrôlées Sans pertes (Huffman, Quadtree)
• image originale = image comprimée TC limité (#3)
Avec pertes contrôlées
• On perd l'information qui se voit peu TC augmente
• Recherche d'un compromis Tc / Qualité
Directe / Transformation Directe Quantification & codage des pixels de l'image
Transformation Quantification & codage des coeff. transformés
image Quantification CodageTransformation bits
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 83
Evaluation d'une méthode compression Dépend de l'application
• Taux de compression (Tc)
• Qualité
compriméfichier du Volume
originale image VolumeTc
2
10)ˆ,(
12log10
XXEQMRSB
b
dB
1
0
21
0 .
ˆ)ˆ,(
M
j
ijijN
i NM
XXXXEQM
• Critère mathématique (RSB)
• Critères subjectifs- Courbes ROC (médecine)
- Notations subjectives (TV)
Ex : image (512x512x8bpp) avec Tc=10 512x512x8/10=26215 bits 0.8 bpp
Avec
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 84
• Autres critères
• Vitesse d'exécution : codeur /décodeur
• Complexité- Additions / multiplications
- Soft / Hard
• Résistance au bruit de transmission
• Intégration de post-traitements- Prise en compte du récepteur (homme / machine)
• Coût financier
• Scalability
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 85
IV.2 Approches directes
Codage Huffman Codage arithmétique Codage par longueur de plage Codage type dictionnaire
Quantification scalaire
Quantification vectorielle
Méthodes prédictives
Approche quadtree
Codage fractale
Codeurs de source(Th. Information)
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 86
Codage Huffman (1952)
- Algorithme de génération d'un codage optimal symbole parsymbole.
- Code à longueur variable codes longs pour probas faibles
Extraction des probabilités Création de l'arbre Création de la table d'Huffman Codage
Lecture de la table d'Huffman Création de l'arbre de décodage Lecture séquentielle et décodage
On transmet la table + les codes en binaire
• Algorithme
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 87
Rq : code d'échappement= Huffman + fixe
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 88
Codage Arithmétique (1976)
Huffman 1 symbole = 1 mot-code Arithmétique 1 flot de symboles = nbre en virgule flottante
m=0 ; M=1 ;Tant que !(fin de fichier)
{i = symbole suivant;soit [ai ; bi] associé à i ;s = M-m ;M = m + s.bi ;m = m + s.ai ;
}Renvoyer m, le compacté du fichier
N = nombre codé ;Faire
{trouver i / N [ai ; bi[ ;sortir i ;s = bi - ai ;
N = (N - ai) / s ;}
Tant qu'il reste un symbole à lire
Codeur Decodeur
JBIG Codage des Fax type IV
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 89
• Exemple
si pi [ai ; bi[ Huffi 0.1 [0.0 ; 0.1[ 111
A 0.1 [0.1 ; 0.2[ 110
E 0.1 [0.2 ; 0.3[ 101
I 0.1 [0.3 ; 0.4[ 100
B 0.1 [0.4; 0.5[ 0111
G 0.1 [0.5 ; 0.6[ 0110
L 0.2 [0.6 ; 0.8[ 00
S 0.1 [0.8; 0.9[ 0100
T 0.1 [0.9 ; 1.0[ 0101
0.43722077 = ?
10111010 10100100 11011001 0101111000 00011101 10110010 11010100
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 90
Arithmétique Huffman
+ de calcul Proba très élévée 1 bitPeu de symboles ()
Run Length
Codeurs statistiques
- Dépendants de la qualité de la statistique
- Statistique connue par le décodeur
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 91
Codage par longueur de plage (Run length coding)
• CCITT, Fax groupe III Huffman sur les plages de 0 précédant les 1
000001111100000000000000000 5w5b17w
000000000001111100000000000 11w5b11w
A B C C C C C C A B C A B C A B !6C A B C A B C
Coder le nombre de symboles identiques
• JPEG Huffman sur les plages de 0 précédant les coeff. DCT
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 92
Coder une extension de la source de longueur variable
1977 : LZ (Lempel & Ziv) 1984 : LZW (Welch)
Dictionnaire de symboles incrémenté dynamiquement apprentissage
Fichier codé = suite des adresses des mots du dico
! Gérer l'incrément des bits d'adresse
PKZIP, ARJ LZW + Huffman
Codage de type dictionnaire (1977)
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 93
Codeur LZW
ID = {Ci,Wi} , P=
Tant que (symboles à coder)C = symbole suivantSi PC ID
P = PCSinon
sortir WP
PC IDP=C
Fin siFin tant que
sortir WP
Décodeur LZW
ID = {Ci,Wi}cW = 1er code ; sortir s(cW)
Tant que (codes à lire)pW = cWcW = code suivantSi (s(cW) ID)
sortir s(cW)P = s(pW)C = 1er symbole de s(cW)PC ID
SinonP = s(pW)C = 1er symbole de s(pW)sortir s(PC)PC ID
Fin siFin tant queABBABABAC.. . .
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 94
Quantification scalaire
• Traitement pixel à pixel
Diminuer le nombre de niveaux de gris utilisés : Nnq < Nnp
• Problèmes- Comment choisir les seuils de quantification (si) ?- Comment choisir les niveaux de quantification (qi) ?
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 95
Quantification scalaire uniforme linéaire
• Seuils répartis de façon uniformeNnq
ssPQ ii
minmax1
• C'est un quantificateur linéaire
A
Bqp
BpAr
ˆ
.
minminmax
1minmax
1
NnqB
NnqA
• Niveaux = milieux des seuils2
1 iii
ssq
avec
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 96
Quantification scalaire uniforme optimale
• Seuils répartis de façon uniformeNnq
ssPQ ii
minmax1
• Niveaux = Barycentre (histogramme)
Quantification optimale (Loyd-Max : 1960)
• Minimise l'erreur de quantification
ij
ppMin 2)ˆ(
• Algorithme itératif très long pour des distributions inconnues
• Tables pour des dist. gaussiennes, laplaciennes, ...
• Fait le travail du codeur !
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 97
Exemple de comparaison (peppers : 512x512x8bpp)
Uni Uni o. Maxq1 32 38 30S1 63 63 52q2 95 86 75S2 127 127 121q3 159 167 157S3 191 191 180q4 223 209 205
Remarque Efficacité variable du codeur entropique !
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 98
Image originale
Q. uni. opt. : RSB 23,8 dB
Q. uni. lin. : RSB 22,5 dB
Q. Max : RSB 24,2 dB
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 99
Quantification vectorielle
• Extension de la quantification scalaire
Pixel Vecteur = bloc de pixels contigus• Vecteur de taille et forme variable
Approche optimale : Linde Buzo Gray (1980)
• Phase d'apprentissage : dictionnaire de vecteurs• Vecteur = représentant d'une région de Voronoï de taille variable• Dictionnaire connu du codeur /décodeur
Phase d'apprentissage délicate Temps de recherche dans le dictionnaire
Approche treillis
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 100
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 101
Méthodes prédictives (1974)
Exploitent la corrélation entre pixel voisin
x̂1 : 1 ordred' Prédicteur
x̂75,0
75,05,0 : 3 ordred' Prédicteur
Modulation par Impulsions Codées Différentielles (MICD)DPCM
– Propagation des erreurs– Prédicteurs non optimaux
Adaptation aux statistiques locales
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 102
IV.3 Approches par transformation
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 103
• Une Transformation Réversible (sans perte) Orthogonale (énergie conservée) Rapide
Représentation différente de l'image
Décorrélation Gain en performances
Temps de calcul supplémentaire
DCT JPEGOndelettes SPIHT, JPEG2000
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 104
Compression DCT bloc : JPEG (1989)
• DCT bloc 8x8 homogénéité locale de l'image l'erreur de quantification est localisée au bloc
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 105
• Schéma général
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 106
• Matrice de normalisation allocation des bits aux coeffs avant quantification par arrondi
9910310011298959272
10112012110387786449
921131048164553524
771031096856372218
6280875129221714
5669574024161314
5560582619141212
6151402416101116
9999999999999999
9999999999999999
9999999999999999
9999999999999999
9999999999996647
9999999999562624
9999999966262118
9999999947241817
Matrice chrominance
Matrice luminance
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 107
• Lecture zig-zag prise en compte de la répartition spatiale de l'énergie pour faire apparaître de longues plages de coeffs nuls
• Codage du coeff DC DPCM d'ordre 1 + Huffman
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 108
• Codage des coeffs AC Codage hybride : runlength + ... + Huffman
- Huffman = Code (plage de 0 + catégorie)162 codes : 10catx16lp+2(EOB+16)
Cat. Intervalle des coefficients AC
1 -1 _ 1,2 -3, .. ,-2 _ 2, .. ,33 -7, .. ,-4 _ 4, .. ,74 -15, .. ,-8 _ 8, .. ,155 -31, .. ,-16 _ 16, .. ,316 -63, .. ,-32 _ 32, .. ,637 -127, .. ,-64 _ 64, .. ,1278 -255, .. ,-128 _ 128, .. ,2559 -511, .. ,-256 _ 256, .. ,511
10 -1023, .. ,-512 _ 512, .. ,1023
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 109
AC | huffman | signe | k-1 bits |
• Exemple 0 -2 -1 02 -1 046 111001 0 0 / 00 0 / 11011 0 / 1010
• Extrait de la table d'Huffman des AC
Plage de Zéros Catégorie Code0 1 000 2 010 3 1000 4 1011. . .1 1 11001 2 1110011 3 11110011 4 111110110. . .2 1 110112 2 11111000. . .3 1 111010. . .
16 11111010EOB 1010
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 110
• Remarques
JPEG = méthode générale à adapter ...
Très performant à taux faibles (#10)
Effets de blocs à taux élevés
Tc = 10 / RSB = 30.1 dB Tc = 20 / RSB = 28.7 dB
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 111
IV.4 Compression de séquences d'images
Supprimer la redondance spatiale ou intra-image
approches 2D
Supprimer la redondance temporelle ou inter-image
utiliser le déjà vu et le mouvement
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 112
Les normes MPEG H261 (1988)
La base de la compression de séquences d'images- Block matching- DCT bloc + Run length + DPCM
MPEG 1 (1988-92)Vidéo + Audio / 1.5 Mbs CDI
MPEG 2 (1990-94)4-30 Mbs TV numérique (Digital Video Broadcasting)
MPEG 4 (1996-99)L'approche multimédia interactif
MPEG 7 (1997-01) Indexation & recherche d'information
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 113
Les bases de H261 à MPEG2
3 types d'images : 3 codages
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 114
• Images I (intra)- Codées JPEG'- Point d'accès séquence (0.5s)- Tc faible
• Images P (Prédites)- Prédites à partir de I ou P- Codage DPCM des vecteurs mvt- Codage JPEG* de l'erreur de prédiction- Tc élevé- Propagation de l'erreur
• Images B (Bidirectionnelles)- Interpolées à partir des I P- Tc le plus élevé
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 115
GOP
• 2 paramètres de réglage- N : distance inter-I (#12)- M : distance inter-P (#3)
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 116
Estimation du mouvement par block matching- Blocs 16x16- Compromis simplicité / efficacité- Rapide : algorithme logarithmique
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 117
Le codage des images P
1- Calcul des Vj entre
2- Synthèse de Ip(n) :
3- Calcul de l'erreur : E(n) = Ip(n) - I(n)
4- Codage JPEG* de E(n)4bis- Mémorisation de
5- Codage DPCM des Vj
)1(ˆ)( nI nI et
)()1(ˆ)( nInInV p
)(ˆ nI
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 118
Codeur MPEG2
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 119
Décodeur MPEG2
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 120
Codage et TVnum
• Numérisation brute : 200 Mb/s
• DVB # DVD = MPEG2 MP@ML
- 720 x 480/576 (30/25 Hz) avec IPB
- 4 Mb/s (PAL/SECAM) à 9 Mb/s (studio)
- Tc de 40 à 18
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 121
V. Introduction à la segmentation
La segmentation est un traitement bas-niveau qui consiste à créerune partition de l'image I en sous-ensembles Ri appelés régionstelles que :
i
i
jiji
ii
RI
RRji
R
0 ;
0
,
Une région est un ensemble de pixels connexes ayant despropriétés communes qui les différencient des pixels des régionsvoisines.
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 122
Le choix d'une technique est lié :
A la nature de l'image (éclairage, contours, texture ...)
Aux opérations en aval de la segmentation
- Compression- RF, interprétation- Mesure
Aux primitives à extraire (droites, régions, textures,...)
Aux contraintes d'exploitation (tps réel, mémoire ...)
Pas de norme ! Pas de méthode unique ! Pas de recette !
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 123
VI. Introduction à l ’indexation Texte écrit recherche d'info. sur le contenu (symbolique du mot)
Images Contenu d'une image texte ! Indexation manuelle dans des bases de données Augmentation exponentielle du nombre d'images
Un défi
Automatisation de l'indexation d'images par le contenu Interfaces et moteurs de recherche adaptés
Rque : Analyse d'une image = quelques sec.
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 124
Problème posé Retrouver des images semblables à celles que cherche
l'utilisateur• Que cherche l'utilisateur ? exemples, mots clés• Quelles mesures considérer sur les images ?• Quelles fonctions de ressemblance ?
Contraintes de robustesse• rotation• échelle• éclairage
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 125
VII. Introduction au tatouage
Protéger la propriété des images numériques
Objectif
Watermark = signal inséré dans l'image• Unique identifie l'image• Multiple identifie la source
• visible facile à enlever, propriétaire visible• invisible difficile à enlever, piéger les truands
2 types
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 126
• Impossible à enlever sans dégrader l'image• Résiste au scaling, cropping, coding, modif histogramme• Invisible mais extractible• En nombre suffisants
Contraintes !
• Original + watermark # original• watermark signature électronique
Remarques
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 127
• Domaine spatial (peu résistant)– flip des bits de poids faible de quelques pixels
– Modifications d'amplitude (YUV)
• Domaine fréquentiel – Modifications de coefs TFD / TCD / Sous-bandes
Quelles approches
Compromis entre (invisibilité / indélébilité)
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 128
VIII. Conclusion
Image numérique Indexation
CompressionSegmentation
Tatouage
Rec. formes
BDO
Transmission
Décision
• Image Multimédia• Des techniques complexes
et prometteuses
• Dimension affective forte• Au cœur de nouveaux
services & usages