Compensention de défaut (p. ex. flou de mise au point, bougé)
description
Transcript of Compensention de défaut (p. ex. flou de mise au point, bougé)
1
Compensention de défaut (p. ex. flou de mise au point, bougé)
Flou de mise au point : amplifier les hautes fréquences
PB : amplification du bruit : il faut un compromis
Stratégie : autoriser l’amplification dans les régions où les fluctuations sont assez importantes et modifier le moins possible les régions « lisses »
essayer de définir un critère de qualité (local) qui dépend des pixels voisins et faire des modifications qui maximisentce critère
2
3
scène = image« parfaite »inconnue
déformation(modéliséepar un filtrelinéaire
bruit additif inconnu
(convolutioninconnue H(z))
(convolution inverse 1/H(z))réponse impulsionnelle longuemodèle de filtre récursif :problème de conditions initiales d’instabilité
compensation
evaluation du bruitafin de le soustraire
nécessité de prendre en compteles caractéristiquesstatistiques de l’imagep.ex. régions lisses,zones de contours
compensation de défaut : flou, bougé, écho
imagemesurée
4
scène estimée
filtre estimé
caractéristiques du bruit
compensation de défaut : flou, bougé, écho
imagemesurée
différence
g(x,y)=f(x,y)*h(x,y)+b(x,y)imagedéforméemesurée
scènethéoriqueinconnue
convolutionpar une déformationréponse impulsionnelle hinconnue
bruit de mesure
b(x,y)
g(x,y)
h(x,y)f(x,y)
5
Compensation du bougé : Appliquer le filtre inverse
),(
),(argexp
vuH
vuH
Dans le domaine spatial : Filtre récursif bidimensionnelPB : gérer la stabilité et les conditions aux bords
Dans le domaine fréquentiel : gérer les divisions par des amplitudes petites
Apparition d’oscillations parasites
Stratégie : modifier (lissage du spectre qui est moins informatif)rechercher les régions lisses et forcer leur conservation
),( vuH
),( vuH
6A
Réponse impulsionnelle estimée du « bougé »
Module de laRéponse enfréquence
7
filtre « bougé » RIF 1. filtre compensateur RIF
),( vuH),(),( vuHvuH
),( yxh),( yxh
22),(
1
vuH
2. Filtre récursifsans déphasageApplication dansle domaine des fréquences avecatténuation desoscillations parasites
1),(
),().,(
2
vuH
vuHvuH
car
8
yx
yxhyyxxf,
)','()','(
),( yxw
),( yxg
),( yxf
convolution et addition de bruit
),(),().,(),( vuWvuHvuFvuG
dans le domaine des fréquences
9
si on a une estimation de h(H) et de W
),(.),(
),(),(
),(
),(),(),(
2vuH
vuH
vuWvuG
vuH
vuWvuGvuF
comment estimer H et W ?
yx
yxhyyxxg,
)','()','(
FIR h(-x,-y)filtre recursif non causal
10http://www.cse.cuhk.edu.hk/~leojia/projects/motion_deblurring/index.html
reconstruction de la scène par filtrage inverse
le filtre inverse n’est pas stable ; dépendance très forte des conditionsaux limites
)2().2()1().1()()( xfaxfaxfxg
exemple à une dimension
)().()( zAzFzG
)2().2()1().1()()( xfaxfaxgxf )(
)()(
zA
zGzF
défaut de bougé : filtre à réponse impulsionnelle finie
reconstruction filtrage inverse récursif
11
12
13
réponse impulsionnelle réponse en fréquence (échelle logarithmique)
14meda meda1 2 128
15
meda meda1 3 128
16
le filtre RIF « bougé » peut avoir des zéros ; le filtre inverse amplifieconsidérablement les composantes du bruit à ces fréquences
17
),(log vuH ),(log vuH
Amplification de certaines composantes fréquentielles Apparition d’artefacts
18
DéphasageQu’il fautcompenser
analyse dansle domainedes fréquences
u
v
19
trouver un filtre qui compense (de manière pertinente) les zéros de la réponse en fréquence du bougé
analyse dans le domaine des fréquences (suite)
u
v
20
cas du flou de mise au point : filtre à réponse impulsionnellesymétrique ; pas de déphasage (possibilité de saut de phase de pi) :il n’y a qu’un rehaussement sélectif de composantes fréquentielles
bougé : rotation ou translation ; pb de l’invariance spatialel’effet n’est pas tout à fait le même sur un objet lointain(cf. vision stéréo)
problèmes liés à la quantification de l’image par exemple la saturation
limitations du modèle « filtre linéaire »
21
)().()).,(()),(( ,,,,,,,, yxyxyxyxyxyxyxyx fphpfhgpgfhp
approche probabiliste fondée sur la règles de Bayes(probabilités conditionnelles et prise en compte de l’indépendance)
)(
)&()(
bp
bapbap
probabilitédu bruit sur l’imagecas le plus simplebruit blanc gaussien
probabilitéde la réponseimpulsionnelledu bougé
probabilitéde la scène photographiée
approche efficace dans de nombreux types d’applications (p. ex. Markov)
22http://www.cs.unc.edu/~lazebnik/research/fall08/lec05_deblurring.pdf
augmenter le nb de pixels oùle gradient est faible, et là où ilest fort
réduire le nombre de ceux où il estmoyen (en particulier pour renforcerle gradient dans un pixel voisin)
MAIS TENIR COMPTE DU VOISINAGE !
23
approche nécessitant une analyse locale finequels sont les pixels où on veut amincir le contour ?
quelle direction de contour faut il conserver ?
dans quelles parties de l’image faut il éviter d’augmenterles fluctuations (régions très lisses ou texturées)
24
autres éléments plus ou moins pris en compte :il y a plus de hautes fréquences, les contours étant mieux marqués
25
attention aux effets indésirables !
le fait d’augmenter les hautes fréquences à deseffets contreproductifs dans certaines régions de l’image
26
estimer la réponse impulsionnelle du filtre modélisant le bougé
on a une estimation de la scène f(x,y)
minimisation de l’écart entre les deux images
yx
yxhyyxxfyxg,
2)','()','(),(
l’imagemesurée l’image bougée prédite
27
estimer la réponse impulsionnelledu filtre modélisant la déformation« h(x,y) »
coupe
28http://www.cse.cuhk.edu.hk/~leojia/projects/motion_deblurring/index.html
High-quality Motion Deblurring from a Single ImageQi Shan, Jiaya Jia, and Aseem Agarwala
29
http://www.cse.cuhk.edu.hk/~leojia/projects/motion_deblurring/index.html
reconstruction de la scène par filtrage inverse
le filtre inverse n’est pas stable ; dépendance très forte des conditionsaux limites
« forcer » les conditions aux limites afin de limiter les défauts
dans les régions où le gradientest faible, il n’y a pas lieu de modifierl’image ; on fait l’hypothèse que le bruitprésente des caractéristiques différentesdans les deux types de régions
30
Et quand on ne connaît pas la réponse impulsionnelle du bougé ?
Partir d’une estimation de cette réponse impulsionnelle (approche interactive)Et optimiser le critère
Définir un critère dont l’optimisation conduira à l’amincissement des contours où le gradient est important sans modifier les régions lisses
31
High-quality Motion Deblurring from a Single ImageQi Shan, Jiaya Jia, and Aseem Agarwala
g(x,y)=f(x,y)*h(x,y)+b(x,y)imagedéforméemesurée
imagethéoriqueinconnue
convolutionpar une déformationréponse impulsionnelle hinconnue
bruit de mesure
32
critère à minimiser
|écarts pondérés entre les dérivées spatiales (ordre 1 et 2) de f*h et de g|
+ terme de pénalisation fonction du gradient de l’image f en chaque pixel(caractérisant le modèle de bruit sur l’image)
+ dans les régions « lisses » où h n’a pas d’effet|écarts entre les dérivées spatiales (ordre 1) de f et g|
sommation pour tous les échantillons
1
2
4
+|h| (importance du bougé)
3
cf : régularisation de Tikhonov
33
approche itérative
nouvelle estimation de f(x,y) parfiltrage inverse prenant en compteles caractéristiques statistiquesdu bruit, de la scène à reconstruireet de la réponse impulsionnelledu bougé (critère max de vraisemblance);
nouvelle estimation du filtreh(x,y) minimisant l’écartentre l’image bougée etsa prédiction
taille du filtre modélidant le bougé
domaine où il faut trouverles bonnes conditions initialespour effectuer le filtrage inverse
34http://www.cse.cuhk.edu.hk/~leojia/projects/motion_deblurring/index.html
régions d’intensité constante :lisser le plus possible
zones de contours : augmenter lecontraste
35
approche simplifiée lorsque l’image peut être modéliséeen régions d’intensité fluctuant lentementet convoluée avec la réponse impulsionnelledu bougé
36
Image floue
BlurredImage
.
Comment représenter cette image comme d’une image nettefiltrée par un bougé
SourceImage
.
Blurdecalé
.
Régions d’intensités lentement variables et au contours nets bougé
37
tenter de repérer des régions uniforme, constantes ou d’intensité variantlentement par exemple ici le fond, les touches, les signes et les marquer manuellement
On ne cherche pas un processusautomatique mais supervisé : Estimer une première
approximation du bougé
Faire une première découpe d’une estimation de l’image ‘nette’ en régions
ROUGE
38
BLEUVERT
Image nette
Un aperçu de la décompositionen régions de l’image nette
L’image floue captéeLa réponse impulsionnelleapproximative du bougé
39
Image nettemodélisée
1. Décomposition de l’image nette en régions
2. Dans chaque région l’image nette estreprésentée par un modèle paramétrique
Modélisation :
Bougé caractérisé par sa réponse impulsionnelle
Image floue
nm
nmnymxyx BougéIMNetteIMFloue,
,,,
nm
nymxnmyx BougéIMNetteIMFloue,
,,,
(commutativité de la convolution)
convolution
Dans l’image nette Comme son nom l’indiqueLes contours sont bien marqués
),(),( yxrégionyxsi k),,(, yxafonctionIMNette kyx
Modèleduparamètresdesvecteurleestak
La fonction est une fonction linéaire des composantes de ka
),(.),( ,, yxfayxf kkk
40
On dispose d’une estimation de la réponse impulsionnelle du bougéet d’un modèle paramétrique des régions de l’image nette
Modification des paramètresdes régions
Réassignation aux régions des pixels sur les frontières entre régions
Image nettemodélisée
Bougé caractérisé par sa réponse impulsionnelle
Image floue
convolution
Écart
Estimation du bougé
Estimation de l’image nette
Les modifications ont pourObjectif de réduire l’écartEntre l’image nette bougéeEt l’image floue mesurée
41
Modification of the regionsparameters
Modification of the regions contours
Source imagemodel
Blur characterized byits impulse response
Measured blurred Image
convolution
Discrepancy
Estimation of the blur
Estimation ofthe source image
The object of the different modificationIs to reduce the discrepancy betweenThe Source image convolved by The blur impulse responseAnd the measured blurred image
42
yx nmnymxnmyx BougéIMNetteIMFloueMinimiser
,
2
,,,,
yx nmnmnymxyx BougéIMNetteIMFloueMinimiser
,
2
,,,,
Réactualisation de l’image nette
Réactualisation du bougé
Modification des paramètresdes régions
Réassignation aux régions des pixels sur les frontières entre régions
Critère quadratique et modèles linéaires de l’imageNette et du Bougé
43
yx nmnymxnmyx BlurSourceIMBlurredIMMinimize
,
2
,,,,
yx nmnmnymxyx BlurSourceIMBlurredIMMinimize
,
2
,,,,
Source Image update
Blur Impulse response update
Region parameters Update Regions contours update
Blurred image prediction based on linear filtering of the source image by the blur impulse response and quadratic criterion minimization
44
1. Selection of the regions k where the intensity is to be improvedThe intensity function in region k is a linear combination of basis function
The blurred image includes the subtraction of the blurring dueto the regions that will not be modified at this stage of the procedure
2. Computation of the blur due to the basis function (convolution of by the blur
),(.),( ,, yxfayxf kkk
),( yxg
','
,, )','().','(),(yx
kk yxfyxhyxg
)','(, yxfk
)','( yxh
3. Computation of the covariance matrix yx
kkkk yxgyxgr,
',',',',, ),().,(
and of the vector yx
kk yxgyxgv,
,, ),().,(
,','
','',',, . kr
kkk var 4. Solution of
Update of the intensity of the regions
45
Update of the blur
1. Computation of the source image (including all the regions)
),(.),(),( ,, yxfayxfyxf kkk
k
2. Computation of the covariance matrix and of the vector
yx
yyxxfyyxxfyxyxs,
)','().'',''()'','',','(
The summations performed on all the pixels where the effect of the blur is taken into account
),( yx
yx
yyxxfyxgyxw,
)','().,()','(
3. Solution of
)'',''()'',''().'','',','('',''
yxwyxhyxyxsyx
46
Modification of the regions supports(under control of the supervisor)
1.Computation of the optimal intensity of one pixel in the source imageafter the subtraction in of all the blur due to the other pixels of the source image
2.1. Either Possible assignation of the pixel to the neighbouring region wherethe intensity is close to it
2.2. Or creation of a new regions with its own parameters
),( yxg),( 00 yxf
yxyx
yyxxhyxgyxfyyxxh,
0000,
002 ),(),(),(.),(
(A similar form of modification can be applied to the blur function)
47
Interdire ou (mieux … cf Shannon/Gibbs) pénaliser les pixels d’intensité négativedans la réponse impulsionnelle du flou et éventuellement dans l’image nette
Certaines régions peuvent se réduire à un seul pixel (transitions, bruit …)
Mais il faut tout de même qu’il y ait des régions faciles à modéliserpar une représentation paramétrique et limitées par des frontières nettes
Remarques
48
blur deblurdec 0.5 50
Image bougée(astronome amateur)
Estimationdu bougé
déconvolution
Compensation de bougé
49
les points vus dans le cours2. filtrage, convolution, analyse en fréquencesinusoïdes 2D, propriétés de la TF, échantillonnage
3.1. contours
transformée de houghcontours actifs
4. imagerie en biomédical tomographie irm : analyse en fréquence+ échographie propagation d’ondes, stéréovision, interférométrie
5. reconnaissance de formes statistique et structurelle reconnaissance de visages + point approfondi théorie de la décision
6. traitement d’images en télédétection
morpho math k-means
3.2.régions
7. amélioration d’imagesproblèmes de filtrage inverse nécessité de régularisation
les
base
s
surv
ol d
e qu
elqu
es
type
s d’
appl
icat
ions
champs de Markov, textures, analyse fréquentielle
omission : compression d’images (option VIM)