Laure Blanc-Féraud
DR CNRSLaboratoire I3S – CNRS-UNS –INRIA Sophia Antipolis
Approche variationnelle pour la restauration d’image
2
Problème général
En discret X=RNxN, X1=RPxP
X X1
u g = Hu + n
Espace des objets à reconstruire
Espace desobservations
2R⊂Ω
Variables continues : ( )xu
( )xux
u
→→Ω R:
niveau de gris au point x=(x1,x2). u∈L2(Ω)., ouvert borné.
( ) ( ) ( ).u.,uuji,:u
221ji, Λ∈∆∆=→
→Λlxjxi
R
Variables discrètes : ui,j
3
Exemple : la restauration d’image
Les images observées sont dégradées (flou + bruit) :
Image originale
Image observée
nuhg +∗=Bruit iid blanc, gaussien
Noyau de convolution
4
Quelles sont les normes, les bons espaces régularisant Y adaptés aux images ?
Quelle norme choisir pour le terme de données ? existence, unicité d’une solution ? Dans quel espace ? Algorithme de minimisation ? Evaluation des résultats ?
Minimisation de critère
Terme d’attache aux données
Norme ou semi-normedans un espacerégularisant
( )uJHug YXYXu
+−∩∈
2
1min
5
CONTENU Introduction aux problèmes inverses : ex. déconvolution
Problème mal posé
Régularisation L2 2
2
2
2uHug ∇+− λ
Régularisation non linéaire
Régularisation L2/L1
Régularisation par Variation Totale
Solutions dans l’espace BV (et algorithmes)
( )∫Ω
+− DuHug ϕλ2
2
Et la transformée en ondelettes ? Régularisation dans le domaine de la transformée en ondelettes
Solution dans un espace de Besov (et algorithmes)
∑−
+−kj
kj
j
uHug,
,22
2,2 ψλ
Autre norme sur le terme des données Approche de Y. Meyer : décomposition d’image
Critère et minimisation ∫Ω
+− DuugG
λ
6
Inversion
inversion
Y
Image floue
≠
nHugH 11 −− +=
Idem pour la solution des moindres carrés2
uHugmin −
©CNES
7
Régularisation l2 (Tikhonov)
≤− 22
2Hug
1u / σ
M
Chercher une solution dans un ensemble de solutions admissibles :
Choisir une solution régulière pour stabiliser le processus d’inversion : 2
2u
umin ∇
Minimisation d’un critère (pénalisation) :2
2
2
2uHug(u) ∇+−= λE
Attache aux données Terme de régularisation
( ) ( )∑∑ −− −+−=∇=∇ji
jijijijiji
jiuuuu
,
21,,
2,1,
,
2
,
2
2uu
8
∆uλHu)(gHt
u * +−=∂∂
Régularisation L2
Equation d’Euler 0=−− ∆uλg)(HuH *
0=∂∂n
ur
J(u)t
u −∇=∂∂
Schéma dynamique : u(i,j,t)
( )( )( )[ ] ( )∫∫
ΩΩΩ∈
∇+− dxxudxxHugHu
22
1min λ
9
CONTENU Introduction aux problèmes inverses : ex. déconvolution
Problèmes bien posés
Régularisation L2
Régularisation non linéaire
Régularisation L2/L1
Régularisation par Variation Totale
Solutions dans l’espace BV et algorithmes
Et la transformée en ondelettes ? Régularisation dans le domaine de la transformée en ondelettes
Solution dans un espace de Besov et algorithmes
Une nouvelle norme sur le terme des données Approche de Y. Meyer : décomposition d’image
Critère et minimisation
2
2
2
2uHug ∇+− λ
( )∫Ω
+− DuHug ϕλ2
2
∑−
+−kj
kj
j
uHug,
,22
2,2 ψλ
∫Ω
+− DuugG
λ
10
Normes l2 et l1 : un petit exemple en 1D.
Norme l1 et l2
Diminuer le poids des forts gradients dans le processus de minimisation :
remplacer la norme l2 par la norme l1.
( ) ( )2
1,,
2
,1,,,
,1
1
2
2
uuu
uHug(u)
−− −+−=∇∇=∇
∇+−=
∑ jijijijijiji
jiuuuu
E
avec
λ
||.||22=9
||.||1 =3
||.||22=5
||.||1 =3||.||2
2=3
||.||1 =3||.||2
2=11
||.||1=5
∑ −−=∇i
ii uu 11u
3
2
1
0
11
Régulariser et préserver les contours
( )∑ ∇ji
ji,
,uα
Minu
1<α 1>α
( )∑ ∇+−=ji
jiE
,,
2uHug(u) ϕλ
On cherche u qui minimise E(u) :
)0( α<
Zones homogènes régularisation 2)1( =<≈ ααϕ αt
Contours préservation 1)1( =≥≈ ααϕ αt
1=α
ϕ fonction de régularisation
12
Fonctions ϕ
ϕ non quadratique :préservationdes contours
13
Modèle explicite de contours
Minimiser en u
est équivalent à minimiser en u et b (b∈ [0,1]MxM)
( )∑ +∇+−=ji
jijijiE,
,
2
,,22* bubHugb)(u, ψλ
( )∑ ∇+−=ji
jiE
,,
2uHug(u) ϕλ
variable auxiliaire bi,j : 0 = contour → arrêt du lissage
1 = zone homogène → lissage
( ) ( ) ( )t
tbbbtt
b
ϕψϕ ′=+=
∈ min2
]1,0[min
14
Minimisations alternées en u et b
Algorithme de minimisation
u fixé minimisation de b
b fixé minimum en u quadratique (gradient conjugué par ex.).
[P.Charbonnier, L. Blanc-Féraud, G. Aubert, M. Barlaud, « Deterministic Edge-Preserving Regularization in Computed Imaging » IEEE Trans. On Image Processing, 6(2), 1997].
[ G. Aubert, L. Vese « A variational method in image recovery » SIAM Journal of Numericalanalysis, 35(4), 1997 ].
[A. Delaney, Y. Bresler « Globally convergent edge-preserving regularized reconstruction : An application to limited-angle tomography » IEEE Trans. On Image Processing, 7(2), 1998].
[J. Idier, « Convex half-quadratic criteria and interacting auxiliary variables for image restoration », IEEE Trans. Image Processing, vol. 10, no. 7, pp. 1001-1009, juil. 2001].
Initialisation u0=0 ou u0=g
convergence (en fonction de la convexité de ϕ)
( )
∇
∇
∇+−+= +++ 121*1 u
u
u')Hu(gHuu n
n
n
nnn divtϕ
λδ
15
Saturn (Hubble
telescope)
observed Wiener
edgepreserving b
16
Image originale
Image observée g Régularisation semi-quadratiqueλ=0.5, δ=10
Régularisation l2
17
Espace de minimisation ?
Un espace de minimisation contenant des fonctions qui peuvent avoir des discontinuités le long de courbes → BV
Espace des fonctions à variation totale bornée.
[Luigi Ambrosio, Nicola Fusco, Diego Pallara “Functions of bounded variation and free discontinuity problems“ Oxford ; New York : Clarendon Press, cop. 2000].
[Evans & Gariepy “MeasureTheory and Fine properties of functions” Studies in advanced mathematics, CRCPress, Berlin 1992].
Critère en variables continues :
( )dxudxHug
dxudxHug
∫∫
∫∫
ΩΩ
ΩΩ
∇+−
∇+−
λ
ϕλ2
2
ou
( )xux
u
→→⊂Ω RR2:
18
Espace BV Le gradient est considéré comme une mesure et on calcule
la variation totale de cette mesure. On la note
Exemple 1D : u définie sur [-1,1] par
alors et
( ) ∫Ω
= DuuJTV
≤<<≤−−
=101
011)(
xsi
xsixu
02δ=Du 21
1=∫− Du
1
-1
19
Exemple en 2D : χA une fonction caractéristique d’ensemble :
Espace BV
( )
)(
0
1
APerD
Axx
A
A
ΩΩ
= ∈
=
∫ χ
χ sinon
si
A
Ω
10
( ) ( )∫∫ΩΩ
∇== dxxuDuuJTV Si u régulière
en discret,
Alors…intérêt ???
( ) ∑ ∇=∇=ji
jiTVJ,
,1uuu
20
Bon espace de fonctions pour les images géométriques (cartoon)
Résultats d’existence et unicité de solution
Difficulté de minimisation de critère avec régularisation par VT En discret, la norme l1 n’est pas différentiable en 0
En continu, pas d’équation d’Euler simple pour la VT
Nouveaux algorithmes de minimisation[A. Braides “Approximation of Free-Discontinuity Problems.” Lecture Notes in Mathematics,
1694, Springer 1998]
[A. Chambolle, PL Lions “Image recovery via total variation minimization and relatedproblems.” Numerische Mathematike, 76(2), Springer, 1997]
[A. Chambolle “An Algorithm for Total Variation Minimization and Applications.” Journal of Mathematical Imaging and Vision 20 (1-2): 89-97, January - March, 2004.]
[P. Weiss, L. Blanc-Féraud, G. Aubert “Sur la complexité et la rapidité d’algorithmes pour la minimisation de la variation totale sous contraintes.” Gretsi 2007]
…
Minimisation dans BV
∫∫ΩΩ
∈+− DudxHug
BVuλ
2inf
21
Exemple
originale bruitée
régularisation régularisation
L2 L1
22
originale
régularisation L2 régularisation L1
Lignes de niveaux
23
CONTENU Introduction aux problèmes inverses : ex. déconvolution
Problèmes bien posés
Régularisation L2
Régularisation non linéaire
Régularisation L2/L1
Régularisation par Variation Totale
Solutions dans l’espace BV et algorithmes
Et la transformée en ondelettes ? Régularisation dans le domaine de la transformée en ondelettes
Solution dans un espace de Besov et algorithmes
Une nouvelle norme sur le terme des données Approche de Y. Meyer : décomposition d’image
Critère et minimisation
2
2
2
2uHug ∇+− λ
( )∫Ω
+− DuHug ϕλ2
2
∑−
+−kj
kj
j
uHug,
,22
2,2 ψλ
∫Ω
+− DuugG
λ
24
Une décomposition 2D (Haar)
25
Régularisation par ondelettes
Domaine des ondelettes : Représentation parcimonieuse du signal → bonne séparation signal/bruit
Débruitage : nug cccnug +=→+=
( )
≤>
=Tt
TtttH
T si
si
0θ seuillage dur : TT−
HTθ( )gu cc θ= Par seuillage :
Le seuillage dur préserve les forts coefficients (supérieurs à T) = contours
→ pas de lissage des contours.
Les petits coefficients (inférieurs à T) sont mis à 0 : dans les zones où les transitions de l’image sont faibles, on fait une moyenne locale des coefficients bruités.
1
2
21,
,
2
2, uHuguHug
M
jiji Ψ+−=+− ∑
=
λψλ
26
Débruitage par ondelettes
seuillage mou : ( )
≤−<+
>−=
Tt
TtTt
TtTt
tST
si
si
si
0
θTT−
STθ
Les forts coefficients sont atténués de T.
La fonction de seuillage est plus régulière (continue).
L’estimateur de seuillage est optimal (au sens risque minimax) pour le seuil , parmi les opérateurs diagonaux dans une base d’ondelettes. [D. Donoho I. Johnstone, 1994 - …]
2log2 MT σ=
27
Interprétation variationnelle du seuillagedes coefficients en ondelettes
• Domaine des ondelettes : Représentation parcimonieuse du signal→ Trouver u qui minimise
0c
2u#ug
≠+− λ
0c
2guu#cc
≠+− λ
Solution : cuopt = θλ(cg) seuillage dur.
1
u2
2
gu ccc λ+−⇔
Solution : cuopt = θλ(cg) seuillage doux
1
u2
2cgu λ+−
→ Trouver u qui minimise
28
Extension à la déconvolution,
Le gradient est
Algorithmes de « type proximal »
[Demol-Defrise-Daubechies04, Figueiredo-Nowak04, Bect-Blanc-Féraud-Aubert-Chambolle04]
[Wajs-Combettes05, Chaux-Pesquet-Combettes-Wajs07…]
Déconvolution et TO
1
2
2uHug Ψ+− λ
( )
ΨΨΨ+−
1
**
u
ugHuH
( ) ( )( )nn HugHuIuJK
n −+∏−=+ *1 ξλξ
29
La norme l1 des coefficients en ondelettes :
est la norme sur l’espace de Besov B11,1 ([0,1])
Utiliser cette norme pour le terme d’a priori correspond àun seuillage doux sur les coefficient en ondelettes pour la partie régularisation.
Espace de Besov
∑ ∑+
−∞=
−
=
−−
=1 12
0,
2 ,211,1
J
j kkj
j
B
j
uu ψ
30
Espace de Besov
L’espace de Besov Bsβ,γ ([0,1]) est l’ensemble des fonctions u∈L2([0,1]) dont les
coefficients dans une base d’ondelettes satisfont
On montre que la norme est indépendante de la base d’ondelettes ψj,m choisie, tant que les ondelettes de la base ont q>s moments nuls et sont dans Cq.
L’espace correspond typiquement à des fonctions qui ont une dérivée d’ordre s dans Lβ([0,1]). γ est un paramètre de réglage fin qui est secondaire.
Les espaces de Besov incluent des fonctions régulières par morceaux (β<2).
+∞<
= ∑ ∑
+
−∞=
−
=
−+−
γγ
βββ ψ
γβ
1
1
1
12
0,
1
2
1
,2,
J
j mmj
sj
B
j
s uu
31
On peut montrer que
C’est-à-dire que la norme BV s’encadre par deux normes de Besov
Besov et BV
[ ]( ) [ ]( ) [ ]( )1,01,01,0 1,1
11,1 +∞⊂⊂ BBVB
∫
∑ ∑
∑
+=
=
=
≤≤
+
=
−
=
−
−
=
−
+≤
−
−
+∞
+∞
Duuu
uu
uu
uBuuA
BV
J
j mmj
j
B
mmj
j
JjB
BBVB
j
j
1
1
0
12
0,
2
12
0,
2
1
,2
,2sup
11,1
1,1
11,1
1,1
ψ
ψ
32
Approximation des fonctions BV
Propriété : Soit ε[M] l’erreur d’approximation non linéaire sur une base d’ondelettes :
alors
Cette vitesse de décroissance ne peut être meilleure avec n’importe quelle autre approximation non linéaire dans une base orthogonale. En ce sens les ondelettes sont optimales pour l’approximation de fonctions à variations bornées.
(la décroissance de l’erreur ε[M] pour l’approximation linéaire en M-1)
[ ]( )[ ] 22
.
1,00−≤
∈∀>∃
MuBM
BVuB
TVε
quetel
[ ] ∑∉
=MImj
mjuM,
2
,,ψε
33
Régularisation par TO ou par TV? Pour la restauration de g=Hu+n on considère la fonctionnelle à minimiser
||.||Y est la norme de l’approximation u de g dans un espace régularisant Y :
BV, B11,1 …
( ) YLuHug λ+−
Ω
22
Pas d’espace optimal, dépend du contenu de l’image TV lisse les oscillations reconstruit bien les contours et permet interpolation et
extrapolation spectrale.
TO reconstruit bien les détails et les textures
Modèles ultérieurs pour le débruitage décomposition sur des trames, X-lets [,…]
décomposition sur un dictionnaire [Stark-Elad-Donoho05,…]
Régularisation mixte l1 , par exemple TV + TO(s)
34
CONTENU Introduction aux problèmes inverses : ex. déconvolution
Problèmes bien posés
Régularisation L2
Régularisation non linéaire
Régularisation L2/L1
Régularisation par Variation Totale
Solutions dans l’espace BV et algorithmes
Et la transformée en ondelettes ? Régularisation dans le domaine de la transformée en ondelettes
Solution dans un espace de Besov et algorithmes
Une nouvelle norme sur le terme des données Approche de Y. Meyer : décomposition d’image
Critère et minimisation
2
2
2
2uHug ∇+− λ
( )∫Ω
+− DuHug ϕλ2
2
∑−
+−kj
kj
j
uHug,
,22
2,2 ψλ
∫Ω
+− DuugG
λ
35
Décomposition d’image
vug +=
Supposons qu’on ait une image g (sans flou) que nous voulonsdécomposer en deux parties:
[Yves Meyer: Oscillating patterns in image processing and in some nonlinear evolution equation, 2001].
Géométrie Texture+Bruit
(partie BV)
36
Modèle par TV [Rudin Osher Fatemi 1992]
Débruitage d’image par TV
Ce problème est équivalent à
v = g - u reste de l’image observée moins la partie BV, doit contenir les textures et le bruit
Remarque de Y. Meyer: la norme L2 pour v n’est pas adaptée et ne peut pas capturer les oscillations dans le processus de minimisation.
( )
+− ∫Ω
Ω∈Duug
BVu
2
22
1inf
λ
( ) ( )
=++ ∫Ω
×Ω∈gvuDuv
LBVvu,
2
1inf
2
2, 2 λ
37
Le problème posé par Yves Meyer
L’espace G et la norme associée sont définis par
( )
=++∫Ω
×∈gvu,vinf
vu, GGBVDu α
( ) ( ) XXdiv
divXXXG
G×∈===
=×∈∃∈=
∞ 21 w,ww,w/vwinfv
wvw/v quetel
( ) ( )22,
21,,,
,wwwwmaxw jijijiji
ji+==
∞où
38
Exemple 1D (variables continues)
( ) [ ]( )
( ) [ ]( ) N
N
∈∀=
∈∀=
nn
nx
nnx
G
L
1sin
sin
,0
,02
π
π π
Les fonctions de G peuvent être très oscillantes avec une petite norme .G.
39
Exemple 2D (variables discrètes)
Images
texturée
géométrique
TV
1000 000
64 600
L2
9500
9500
G
360
2000
40
Calcul numérique
Calculer la norme G est difficile à cause de la norme L∞ qui est non-différentiable.
Plusieurs algorithmes ont été proposés, dont :
[Vese, Osher… 2003-] approximation de la norme G ou définition d’autres espaces, [Darbon, Sigelle 2005] approche par ensemble de niveaux et technique de graph-cut,
[Goldfarb, Yin 2005] second order cone program et technique de point intérieur.
[Aujol, Aubert, Blanc-Féraud, Chambolle 2005] une solution pour la minimisation obtenue par dualité et projection.
…
Pour une autre approche de la décomposition d’image
[Stark-Elad-Donoho05]
…
41
Décomposition de Barbara
composante u
avec la norme G avec la norme L2
composante v
42
Restauration d’image RSO
Image RSO CNES-CESBIO
λ=0.1, µ=30 λ=0.1, µ=40
43
En résumé
Quel est l’espace Z (et la norme) à utiliser à la place de L2, pour modéliser les textures et/ou le bruit dans un algorithme de restauration ?
Quel est l’espace Y (et la norme) à utiliser pour la régularisation ?
Interprétation stochastique : estimation des paramètres ? Analyse théorique du problème de minimisation ? Algorithmes de minimisation ? Évaluation, analyse des erreurs ? Et le multispectral / hyperspectral ?
( )uJAug YZ+−
44
Remerciements
Gilles Aubert, J-A Dieudonné Laboratory, University of Nice-Sophia Antipolis
Antonin Chambolle, CMAPX, Ecole Polytechnique Paris,
Jean-François Aujol, CMLA, ENS Cachan, Paris
Julien Bect, ex master student in Ariana
Pierre Charbonnier, LCPC Strasbourg
André Jalobeanu, LISTIC Strasbourg
et les autres collaborateurs …
Top Related