Chapitre 1 - Introduction.

filtrage adaptatif A. Thieltgen 2004/2005

1

Chapitre 1 - Chapitre 1 - Introduction. Introduction.


2

1.1 Filtres adaptatifs.1.1 Filtres adaptatifs.

1. Structures de filtrage adaptatif.

la plus commune : structure transversale

wN-1(n) w1(n) w0(n)

+

- y(n)

d(n)

e(n)

x(n) z-1 z-1 z-1

algorithme d'adaptation


3

sommateur linéaire (combiner)

xN-1(n)

x1(n)

wN-1(n)

w1(n)

w0(n)

+

- y(n)

d(n)

e(n)

x0(n)

algorithme d'adaptation


4

filtres RII : application limitée (instabilité) eqm d'un RII: coefficients du filtre plusieurs minimum locaux étude RIF

RIF (et combiner): eqm minimum unique

treillis meilleurs que transversaux dans certaines applications

MCM pour treillis algorithme efficace


5

2. Approche stochastique (théorie de Wiener).

adaptativité algorithmes de type LMS Wiener : optimalité des coefficients par minimisation de l'eqm (formulation statistique)LMS (least mean square) gradient stochastiqueconvergence dépendant fortement de DPS de xkentrée: signal blanc convergence rapidefréquences pas assez excitées modes convergents très lentement possible: N>plusieurs 100 ou même 1000 retards filtres coûteux algorithme de TFR (convolutions temporelles domaine fréquentiel)


6

3. Approche déterministe (méthode des MCM). MCM déterministes : algorithmes à convergence plus rapide que LMS, moins sensibles à DPS de xk

plus complexes et mauvaise stabilité numériqueformulation : estimation par bloc des MCM (codage prédictif linéaire des signaux de la parole)

préférence adaptatif actualisation itérative des coefficients


7

* algorithme RLS standardlemme d'inversion matricielleimplémentation : manipulations de matrices ( N²)

* algorithme RLS –QRD (décomposition QR)manipulation de matrices mais structures régulières (réseaux systoliques)plus robuste aux erreurs numériques

* algorithmes RLS rapidesrésolvent le problème des MCM avec des calculs N

algorithmes RLS:- treillis (actualisations d’ordres et temporelles) transversaux rapides : moins de calculs par itération mais instabilité numérique


8

4. Formes réelles et complexes. xk et dk complexes (transmission de données) bande de base : 2 composantes séparées parties réelle et imaginaire d'un signal à valeurs complexes

implémentation fréquentielle : signaux complexes, même avec signaux réels formulation en termes de variables complexes


9

5. Applications. automatique, communications, traitement de signaux radar ou sonar, annulation d'interférences et d’échos, régulation active de bruit, ingénierie médicale, etc..

actualisation de coefficients à partir de mesures: minimisation de l’écart entre sortie courante et réponse désirée


10

classes d'applications adaptatives : - modélisation (identification)- modélisation inverse (déconvolution)- prédiction linéaire - annulation d'interférences

filtrage adaptatif : nécessaire si incertitudes ou variations des caractéristiques du signal


11

1.2 Retour sur les méthodes de MCM. 1.2 Retour sur les méthodes de MCM.

1. Formulation de base.

RIF ordre N, poids w(k) (réel), entrée xk (durée infinie), sortie

actuelle yk , sortie désirée dk

yk=wtxk=w xkt, xk et dk stochastiques ek=dk-yk stochastique

critère (IP) : eqm (MSE) =E{ek2} 0 w

but : "meilleur" wopt minimisant eqm

meilleur estimé : wtxk=yk=dk k


12

2. Equations normales.

=E{ek2} =E{dk2}-2wtRe(E{dk*xk})+wtE{xkxkh}w*

D=E{dk2} :puissance moyenne de dk,

P=E{dk*xk} : vecteur d'inter corrélation entre dk et xk,

R=E{xkxkh} : matrice d'auto corrélation des entrées

D, P et R invariants: dk et xk stationnaires statistiques

d’ordres 1 et 2 invariantes


13

processus à valeurs réelles =D-2wtP+wtR woptimum wopt minimisant eqm si et seulement :

ww=wopt=0=/wj w=wopt

Hw définie positive

* point critique pour chaque composante de w * point critique: courbures dans la direction >0 wopt

minimum local pour


14

test de la dérivée seconde ZtHZ ZZ>0

w=wD-2w(wtP)+w(wtR w*)

wD=0

même approche w(wtR w)=2R w

w=-2P+2R w

1ère condition d'optimalité R wopt=P (équations normales ou

de Wiener-Hopf ou de Yule-Walker)

P)Pw(ppwww

Pw twjnn

jj

t


15

2nde condition : Hw défini positif

hij==D-2(wtP)+(wtR w*)

hij=2rij i, j Hw=2R courbure de l'eqm en wopt

w optimum :R wopt=P

R définie positiveR inversible : équations normales wopt=R-1P

R définie positive: R-1 existe et wopt unique

ijk m

mkmkji

2

j

j

j

j

r2wrwww

termeème3

0w

pet0

w

d


16

3. Significations de R et de P.

i0 et j(N-1) : (a) R matrice de Toeplitz (rij=rpqsi i-j=p-q),

(b) xk réel rj-i=ri-j : R symétrique

xk complexe R hermitienne

(c) puissance moyenne : apparaît N fois sur diagonale principale(d) dans r(): plus grand décalage utilisé pour construire R ± (N-1) fenêtre de (2N-1) points de fonction d'auto corrélation totalestationnarité de d et de x pi=E{dkxk-i}=E{dk+ixk}=ci

ci = intercorrélation moyennée entre dk et xk P : fenêtre de N points de ci


17

1.2 Propriétés de la solution.1.2 Propriétés de la solution.

1. Evaluation de l'eqm. =D-2wtP+wtR w solution R wopt=P

min=D-2 wopttP+wopt

tR wopt=D-wopttP

V=w-wopt : écart entre situations actuelle et optimale

=D-2(wopt+V)tP+(wopt+V)tR(wopt+V)= min+VtR V


18

eqm additionnel : =-min=VtR V forme quadratique de

V=w – wopt

R définie semi positive VtR V0 V0 ne dépend que de xk

pénalisation quadratique solution itérative pour aller de à min et wopt


19

2. Positivité de R. V0 sans pénalisation?

R définie positive : (a) V0 : >0 (b) R de rang plein, (c) R inversible, (d) équations normales : solution unique wopt=R-1P


20

R définie positive ? R=E{xkxk

t} VtR V=Vt[E{xkxkt}]V=E{Vtxkxk

tV} Vtxk=sk :

sortie RIF d'ordre N de RI V et entrée xk sk : sortie d'un

filtre "différence" si V=0 x(k)

Vtxk=sk=xktV VtR V=E{sk²}

sk² 0 VtR V 0

forme quadratique nulle ? sk² =0 k VtR V =0: V avec Vtxk=sk=0 xk

si xk, Vo tel que sk=0 R définie non positive sinon R définie strictement positive


21

3. Système propre de R. décomposition de R matrice modale système propre de coordonnées RI et propriétés caractéristiques des algorithmes simples

propriétés spécifiques de R : (a) entrées réelles : R symétrique (hermitienne si complexes) rij=rji* pour i, j [1, N]

(b) R semi définie positive VhR V0 si VhV0


22

valeurs propres et vecteurs propres de R :

(a) N vecteurs propres linéairement indépendants arbitraires Ui

hUi=Ui=1

(b) UihUj=0 pour ij

(c) Ui : base du N-espace de produit scalaire UihUj=ij

(d) xk réel N vecteurs propres réels construits


23

clé : matrice modale Q=[U1 .. UN]

vecteurs orthonormaux QhQ=IN et Q-1=Qh

QhR Q= et Qh Q=R ( : matrice diagonale des i)

avec Q : équations normales "modes" scalaires découplés

w=Q w' ou Qhw=w' : transformation des coordonnées du vecteur w (w' : poids découplé)Q: changement de direction mais pas longueur de w


24

R Qh Q si P'=QhP : R wo=P w’opt=P'

N équations : ij w’opt,i=p'i (w’opt,i et p'i : éléments scalaires

d'ordre i de w’opt et de P’)w’opt,i : fonction de i et de p'i

i0 : w’opt,i=p’i/i

i=0 : w‘opt,i indéterminé pas d'unicité dans w’opt


25

autre forme découplée : min=D-p’i²/i

V=w-wopt=Q V’ =-min=VhR V= i v’i² :pénalisation quadratique par rapport à chaque terme de différence découplé v'i,

i degré de pénalisationi=0: aucune modification de


26

Chapitre 2 - Algorithme LMS et algorithmes associés. Chapitre 2 - Algorithme LMS et algorithmes associés.


27

2.1 Introduction.2.1 Introduction.

but de l'algorithme LMS ("Least Mean Square") "gradient stochastique" nature intrinsèque si xk et dk accessibles à chaque pas: meilleur choix

solution wopt de R wopt=P R et P puis wopt=R-1P

wopt calculé autrement car :

(a) R pas toujours inversible pendant l’adaptation (b) R-1 calculable mais précision numérique requise dépassant les possibilités du calculateur (c) autres méthodes plus efficaces


28

2.2 Approche de recherche par gradient.2.2 Approche de recherche par gradient. R de rang plein : (a) wopt : choix unique

(b) écart entre w et wopt =-min=VtR V

(c) >0 pour V0

estimation itérative de wopt : choix initial w(0)= w0

sauf si w0=wopt : x en w0 supérieure à xmin

w1 tel que x (et donc x) diminuex0 : x amélioré mais w1wopt itérations w2, w3, etc., réduction de x à chaque pas x 0 et wn wopt

déplacement de wk à wk+1? gradient bonne méthode


29

eqm

poids w wo w(k+1) w(k)

min

)k(wdw

d

w(k+1)=w(k)-c

)k(wdw

d


30

wk : >0 wkwopt

idée d’amélioration de w(k): aller vers wopt

direction de wopt donnée par dérivée de en wk

d/dw>0 : diminue si pas dans direction négative wk+1=wk-c

d/dw w(k) (c : petite constante positive)

application répétée wk wopt et min

cas général: gradient de par rapport wj wk+1=wk-cww=w(k) (k0 et c>0 petit)


31

2.3 Approximation du gradient.2.3 Approximation du gradient. w estimé à partir de {x, d}

G(k)=w[ek²]=2ekw{wtxk}=-2ekxk

G(k) ne dépend que de e et de xk

Gk moyenné gradient de gradient ww=w(k) remplacé par celui de l'eqm Gk

algorithme LMS (Widrow) :

wk+1=wk-cGk=wk+ekxk (>0 petit)


32

wk actualisés pour chaque xk LMS complet :

yk=wtxk (sortie du filtre)

ek=dk-yk (signal d'erreur)

wk+1=wk+ekxk (actualisation du poids)

algorithme LMS : (a) critère analytique basé sur un eqm (b) gradient poids minimisant l'eqm (c) gradient approché à partir de données


33

2.4 Convergence du LMS.2.4 Convergence du LMS.

petit approximation acceptableww=w(k)=-2P+2R wk + LMS wk+1=(I-R)wk+P

wk=Q w'k, R=Q Qh, =QhR Q et P'=QhP

wk+1=(I-)w'k+P'

N équations découplées : w'i,k+1=(1-i) w'i,k+ p'i


34

1. Points de convergence. w'i,k= {0

k-1(1-i)np’i}+(1-i)kw'i,0

petit avec 1-i<1 w'i,k p’i/ i =w’i,0

2. Limites de la constante d'adaptation ..

solution compacte de w'i,k : 1-i<1 0<<max

en pratique : p /10-2 à 10-3


35

3. Constantes de temps adaptatives.

durée pour w'i,k=w'i,0/e si w'i,k={}+(1-i)

kw'i,0 et p'i=0 :

iLn(1-i)=-1

i<<1 avec 0<i<<1 -1# i(-i) : i#1/i


36

4. Temps de convergence. convergence: vitesse du mode le plus lentconstante de temps de wk : =Max{1/i}= 1/min

facteur de convergence normalisé =2/max

0<< 2/max 0<<1 =max/(2 min)


37

2.5 Effets d'une matrice R singulière.2.5 Effets d'une matrice R singulière. R non singulière wopt unique

R singulière? au moins une i=0 p'i=0

w'i,k+1=(1-i)w'i,k+ p'i=w'i,k

coefficient découplé associé non commandé et non amorti


38

i=0 infini wk non convergent

i=0 dans R associée à U (espace nul de R) R{U}=R U=0 R wopt=P ? wopt wopt+ U : équations normales encore

vérifiées wopt non unique

recherche des modes de l'espace nul inapplicable pour une (et non la) solution des équations normales

0minavec

2i

*min*

min

max


39

2.6 Algorithmes de recherche par gradient approché.2.6 Algorithmes de recherche par gradient approché.

1. Algorithme LMS complexe. xk, yk, dk wk complexes LMS complexe

gradient de ek2 par rapport à wk complexe

LMS complexe :yk=xk

twk

ek=dk-yk

wk+1=wk+ekxk*


40

2. LMS normalisé.

0<<2/max : intérêt limité autre approche : limites pour max?

<xktxk>=N max et R étant définie positive (i0)

<xktxk> max (k)=/xk

txk (0< <2)

LMS normalisé : yk=xk

twk

ek=dk-yk

wk+1=wk+ekxk/(+ xktxk)


41

3. LMS normalisé avec estimation de puissance

récursive. stabilité accrue: normalisation d'actualisation du poids par estimation de la puissance k du signal

yk=xk

twk

ek=dk-yk

k+1=(1-) k+N xk²

wk+1=wk+ ekxk/(+ k)


42

4. Algorithmes accélérés. adaptation plus directe vers min?

yk=xktwk

ek=dk-yk

wk+1=wk+ekC xk

C approximation de R-1 : temps de convergence réduit si max>>min algorithmes de type Newton mais peu

intéressants car :(a) "bon" choix de C dépend de R(b) C: matrice (N, N) N2 produits et N(N-1) additions


43

5. Algorithme de Griffith.

dk non connu? ek non défini pas de LMS

Griffith : corrélation entre dk et xk accessible

wk+1=wk+ekxk=wk-ykxk+dkxk

E[wk+1]=E[wk]-E[ykxk]+P

algorithme de Griffith ou du vecteur P: yk=xk

twk

wk+1=wk- ykxk+P

idée : substituer P au comportement moyen de dkxk


44

2.7 Versions modifiées du LMS. Bruit dans le gradient.2.7 Versions modifiées du LMS. Bruit dans le gradient.

1. LMS à erreur signée. LMS réel : 2N produits - additions réels pour le calcul de yk et

l’actualisation de wk à chaque itération

* erreur signée : yk=xk

twk

ek=sign{dk-yk}

wk+1=wk+ekxk

(réduction des calculs aux dépens des performances)


45

estimation bruitée du gradient instantané pour rechercher min

qui se reporte dans des estimations bruitées du poids optimummême qualité que LMS : inférieur

éléments signés :yk=xk

twwk

ek=dk-yk

wi,k+1=wi,k+e(k)sgn{xk-i}

signe-signe wi,k+1=wi,k+sign{ek}sgn{xk-i}


46

2. Effets d'absence de coefficients.

i nuls modes ni commandés ni amortis :

(a) pas de convergence vers solution unique(b) pas de convergence des mode découplés (c) modes découplés commandés par des termes du second ordre

coefficients découplés croissant sans limites


47

LMS avec "fuite" : wk+1=(1-)wk-^

k=(1-)wk+ ekxk

et 0 (LMS: =0) et << 1 (1-) légèrement inférieur à 1(1-) au 1er ordre: estimé de ekxk=0

wk+1=(1-)wk et wk+m=(1-)mwk, avec lim(wk+m)=0

absence de ekxk : wk tend à décroître (à "fuir") vers 0


48

w'k+1= {I-(I+)}w'k+P'

(a) modifie R avec Rnouv=I+Ranc, nouv=I+anc

et i, nouv=+ i, anc

(b) >0 : i >0 (même avec entrées nulles)

(c) i limitées convergence avec max=1/ nouv,min 1/une complexité en plus dans l'actualisation et biais:

wk=(R+I)-1P ne vérifie pas R wopt=P à la convergence


49

3. Désadaptation. eqm minimum: gradient nul et wk=wopt

gradient approché bruit du gradient Nk=-WJ

LMS: Nk=ekxk-(R wk-P)

estimé de wk : bruit supérieur proche de wopt

"cliquetis" proche de la convergenceréduction de bruit dans wk si m diminue

sk: bruit dans wk wk=wopt+Vk sortie : yk=xk

twopt+xktVk=yopt,k+sk

quantification: déréglage M inversement proportionnel à m et N

M: comparaisons de taux de convergence


50

Chapitre 3 – Algorithmes récursifs.Chapitre 3 – Algorithmes récursifs.


51

3.1 Recherche d’algorithmes récursifs.3.1 Recherche d’algorithmes récursifs. k=N-1

k-1ym-dm², (N-1)k(L-1) : reflète le nombre

d'échantillons déjà utilisés L: toutes les données de k=(N-1) à (L-1)

xm et dm reçus avant (k-1) et wo,k calculé: après que xk et dk reçus

k+1= k+yk-dk2

but : construire wopt pas à pas jusqu'à ce que les données finales

xL-1 et dL-1 reçues

wopt,L calculé poids optimum global wopt


52

3.2 Moindres carrés récursifs (RLS).3.2 Moindres carrés récursifs (RLS).

1. Formule d'actualisation. approche la plus simple : (a) actualisation de R par Rk+1=Rk+xkxk

t

(b) actualisation de P par Pk+1=Pk+dkxk

(c) inversion de Rk+1

(d) calcul de wopt,k+1 par wopt,k+1=Rk+1-1Pk+1

R et P actualisés utilisés pour calculer wopt,k+1


53

procédure directe peu économique (N3+2N2+N produits et N3 pour inverser R par actualisation)

"lemme ABCD" d'inversion matricielle (A+B C D)-1=A-1-A-1B(D A-1B+C-1)-1D A-1 avec A=Rk

B=xk C=I D=xkt

Rk+1-1=Rk

-1-(Rk-1 xk xk

t Rk

-1)/(1+ xkt Rk

-1 xk )

optimal wwopt,k+1=Rk+1-1Pk+1 obtenu en combinant

Rk+1-1=Rk

-1-(Rk-1 xk xk

t Rk

-1)/(1+ xkt Rk

-1 xk ) et Pk+1=Pk+dkxk


54

wopt,k+1=Rk-1Pk-(Rk

-1 xk xkt Rk

-1)/(1+ xkt Rk

-1 xk )Pk+ dkRk-

1xk-dk(Rk-1 xk xk

t Rk

-1)/(1+ xkt Rk

-1 xk )xk

simplification :Rk

-1Pk=wopt,k (poids optimal de rang k)

Zk=Rk-1xk (vecteur d'informations filtrées)

yopt(k)=xktwopt,k (sortie a priori)

q=xktZk (puissance d'entrée normalisée)

(RLS)carrésmoindresdesrécursifalgorithme

Zq1

ydwwoptimalpoids k

k,optkk,opt1k,opt


55

2. Interprétation des équations d'actualisation. wopt,k+1: wopt,k + terme correctif fonction de xk et de dk

trois facteurs:* erreur a priori eopt,k=dk-yopt,k

yopt,k : prédiction de la sortie du filtre optimal mais donné par

xk avec ancienne RI wk

yopt : sortie a priori et eopt,k : erreur de prédiction

* dépendance de l'actualisation de eopt,k

yopt,k=dk: pas actualisation

eopt=0 : nouvelle actualisation et si eopt0 correction dans

l'actualisation actuelle


56

* Zk (vecteur d'informations filtrées)

q : mesure de la puissance de xk normalisée par Rk-1 valeur

moyenne de q = Nq + Zk + eopt actualisation du poids

Rk définie non négative (1+q) 1


57

3. Algorithmes de descente associés.

RLS basé sur actualisation de wopt,k en utilisant juste la bonne

dose pour générer le poids wopt,k+1

wopt,k+1 : ressemblance avec algorithmes de descente

* LMS accéléréwk+1=wk+mekC xk

C : agit sur xk en modifiant direction ou longueur

RLSLMSaccéléréorithmelga

:RCetxRx1

1q1

1m 1

kk

1k

tk


58

* LMS normaliséconstante d'adaptation variable dans le temps =/(+xk

txk)

(0<<2)

: empêche la formation d'un dénominateur nul partie importante de l'actualisation


59

4. Algorithme RLS. procédure itérative d'actualisation de wopt,k :

(i) nouveaux échantillons xk et dk reçus

(ii) xk : décalage de xk dans le vecteur d'informations

(iii) calcul de la sortie a priori yopt,k=wopt,kt xk

(iv) calcul de l'erreur a priori eopt,k=dk-yopt,k

(v) calcul de Zk=Rk-1xk

(vi) calcul de q=xktZk

(vii) calcul de v=1/(1+q)(viii) calcul de Z’k=vZk

(ix) actualisation de wopt,k+1=wopt,k+eopt,kZ’k

(x) actualisation de Rk+1-1=Rk

-1-Z’kZ'kt


60

initialisation :* Rk et Pk d'après Rk+1=Rk+xkxk

t et Pk+1=Pk+dkxk jusqu'à R de rang

plein, puis calculé direct de Rk-1 ainsi que wk

optimalité à chaque pas : N3 calculs (inversion initiale) * RN-1

-1 initialisée par RN-1-1=IN ( : grande constante positive)

imprécision

simplicité et faible coût de calcul une des plus communément utilisée


61

5. Coût de l'algorithme RLS.

calculs nécessaire pour algorithme RLS:(a) O(1) [calculs requis non liés N] : (iv) et (vii) (b) O(N) [calculs proportionnels à N] : (iii), (vi), (viii) et (ix) (c) O(N2) : (v) et (x)


62

RLS pour {xk, dk} : 2N2+4N produits + autant d'additions et

une division produits totaux CRLS=(L-N+1)2N2+(L-N+1)4N

calcul de wopt : C=(L-N+1)N2+(L-N+1)N+N3+N

taille d’inversion importante si L-N+1<N, pas si L>>N: RLS plus coûteux pour O(N) et O(N2)L>>N: coût d'inversion inférieur à O(N2) méthode directe moins coûteuse en calculs que RLS


63

1<N<<L: typique en filtrage adaptatifraisons d’étude et d’utilisation du RLS :(a) meilleur comportement numérique qu’ inversion directe de R(b) RLS: estimé du poids à chaque échantillon, méthode directe: estimé du poids en fin de séquence(c) formulation récursive: voie pour techniques moins coûteuses


64

6. Algorithme RLS à pondération exponentielle. Rk=N-1

k-1k-1-mxmxmt et Pk=N-1

k-1k-1-mxmdm

: facteur d'oubli ou de moyenne, constante>0, <1 mais l=1: Rk et Pk identiques à RLS

motivation: {x, d} changent sur L points de donnéesRk et Pk définis récursivement par

kk

k

1tkk

k1k1

1k,opt

kkk

k

1Nmm

mk1k

tkk

kk

1N

tmm

mk1k

xdP

xxRPRw

:)1k(pasauoptimalpoids

xdPdxP

xxRxxR

1k


65

(a) RLS usuel: =1(b) même quantité de calculs par moyenne exponentielle (c) algorithme initialisé avec RN-1

-1=IN

qZZ

R1

R

avecRdeionactualisat:ificationmodseule

Zq

ydww

tkk1

k1

k

1k

kk,optk

k,opt1k,opt


66

3.3 Algorithmes RLS "rapides".3.3 Algorithmes RLS "rapides".

1. Approche. algorithmes "rapides": coût O(N) requis à chaque pas

plus efficace : exploitation d’une propriété spécifiquedeux observations : * xk évolue vers xk+1 par incorporation de xk+1 (propriété non

exploitée dans RLS) * Zk = Zk+1 dans RLS: actualisation de Rk

-1 et produit par x(k)

non nécessaires


67

2. Formule récursive. décalage de x(k) actualisation O(N) de Zk

Z’k: résolution de Vk=wopt,k+1-wopt,k avec Rk+1wopt,k+1=Pk+1

récursivité de Rk et Pk

{Rk+xkxkt}wopt,k+Rk+1Vk=Pk+dkxk

Rkwopt,k=Pk et yopt(k)=xktwopt,k Rk+1Vk={dk-yopt,k}xk Vk=eopt,k

Rk+1-1xk

Vk :actualisation de wopt,k dépendant directement de eopt(k) et

Z'k=Rk+1-1xk={N-1

kxmxmt}-1x(k)

calcul de Z'k: Ak et Bk (prédicteurs direct et rétrograde)


68

1k1k1k'

1k

1k,opt1k

1k,opt1kk1k

1ktk1Nk1k,opt

t1k1k

t

1k

1k1kk

1k

1k

1k,opt1kk1k

kt

1k1k1k

1k"kk1k

ktk1k1k,opt

BMZionactualisat)ix(

1

MBBionactualisat)viii(

xBx)vii(

MFpartition)vi(

eAZ

eFaugmentévecteur)v(

eeprédictiondepuissance)iv(

xAxe)iii(

eZAAdeionactualisat)ii(

xAxe)i(


69

prédiction de x(k)méthode de calcul récursif de Z'k algorithme "rapide" pour

calcul récursif de wopt,k+1

(a) calcul de yopt,k+1=xtwopt,k

(b) eopt,k+1=dk+1-yopt,k+1

(c) Z'k vers Z'k+1

(d) wopt,k+1=wopt,k+eopt,k+1Z'k+1

(c) : étapes (i) à (ix) précédentes

Z'k: majeure partie d'informations concernant xk pour

actualiser wk

Z'k+1 : transport de l'information directionnelle pour actualiser

wk


70

3. Résultats. (i) à (ix) et (a) à (d) : réduction de calculs atteinte(i), (ii), (iii), (v), (vii), (viii) et (ix) : N additions–produits à chaque pasconversion de Z'k+1 vers wopt,k+1: 2N additions–produits

9N additions–produitsrécursivités avec Cnouv=1Canc+2D et =xt(k)E

plus efficaces si 1 et/ou 2 =1

efficacité atteinte au détriment de stabilité


71

Chapitre 4 - Structures en treillis et adaptation.Chapitre 4 - Structures en treillis et adaptation.


72

4.1 Filtres adaptatifs en treillis.4.1 Filtres adaptatifs en treillis.

cN-1

bN-1(n) b1(n) b0(n)

f1(n) f0(n) x(n)

1

2

e(n) y(n)

d(n)

c0 c1

+

-

N-1


73

puissance d’erreur de prédiction minimale si coefficients du prédicteur optimumPARCOR optimum m de l’étage m d’un prédicteur en treillis :

minimisation de p,m=E[fm,n²+bm,n²]

p,m équivalent à Pmf=E[fm,n²] et Pm

b=E[bm,n²]

fonction de coût p,m utilisation des erreurs de prédiction

avant et rétrograde dans LMS écart d’ajustement plus faible obtenu


74

LMS : n+1=n-p,m(n)[^p,m(n)/m]

^p,m(n)=fm²(n)+bm²(n)

n+1=n+2 p,m(n)[fm,nbm-1,n-1+bm,nfm-1,n].

convergence rapide: p,m normalisé à la puissance du signal

d’entrée de l’étage m du prédicteurestimation: Pm-1,n=Pm-1,n-1+0,5(1-) ^

p,m(p)pas normalisé : p,m(n)= p,o/(Pm-1,n+) p,o : paramètre non normalisé commun à tous les étages

: constante positive prévenant une instabilité de l’algorithme si Pm-1,n proche de 0


75

données : 1,n, 2,n, .., N-1,n, et cn=[c0,n c1,n .. cN-1,n]

t

xn le plus récent et sortie désirée dn

bn-1=[b0,n-1 b1,n-1 .. bN-1,n-1]t

P0,n-1 P1,n-1 .. PN-1,n-1

nécessaires :

1,n+1, 2,n+1, .., N-1,n+1,

cn+1=[c0,n+1 c1,n+1 .. cN-1,n+1]t

bn=[b0,n b1,n .. bN-1,n]t

P0,n P1,n .. PN-1,n


76

partie treillis du prédicteurf0,n=b0,n=xn

P0,n=P0,n-1+0,5(1-)[f0,n²+b0,n-1²]

pour m=1 à (N-1)fm,n=fm-1,n-m,nbm-1,n-1

bm,n=bm-1,n-1-m,nfm-1,n

m,n+1=m,n+2p,o/(Pm-1,n+)[fm-1,nbm,n+bm-1,n-1fm,n]

Pm,n=Pm,n-1+0,5(1-)[fm,n²+bm,n-1²]

fin


77

partie accumulateur linéaireyn=cn

tbn

en=dn-yn

c=c,odiag[(P0,n+)-1, (P1,n+)-1, .. , (PN-1,n+)-1]

cn+1=cn+1cenbn


78

4.2 Discussion et simulations.4.2 Discussion et simulations. estimateur en treillis de processus liés: adaptation simultanée de 2 ensembles de paramètresm: ne dépend que des statistiques de xk

valeur optimale de c de l’accumulateur linéaire : dépend des m

et wopt

variation dans les m : réajustement obligatoire de c


79

- +

e 0 ( n )

e (n )

d ( n )

y ( n )

x (n )

1N

0i

ii,00 zw)z(W

s y s tè m e à id e n t i f i e r

1N

0i

ii zw)z(W

a lg o r i th m e d 'a d a p ta t io n

f i l t r e a d a p ta t i f


80


81


82

LMS transversal: M=0.1LMS en treillis: =0,02, p,o=0,001 et c,o=0,1/N=0,0033

M=0.1perturbation des PARCOR: impact significatif sur M problème sérieux, encore plus si xk non stationnaire PARCOR optimaux temporellement variables adaptation continue des PARCOR aussi bien que de c retard dans adaptation de c augmentation supplémentaire de l’eqm désadaptation supérieure


83

Chapitre 5 - Autres algorithmes et structures. Chapitre 5 - Autres algorithmes et structures.


84

5.1 Algorithme LMS/Newton.5.1 Algorithme LMS/Newton.

1. Algorithme LMS/Newton. LMS/Newton: wk+1=wk-R-1^

k (converge en une seule

itération) w1=wopt

conditions idéales : a) =1/2,b) connaissance de à chaque pasc) connaissance de R-1


85

(a) non remplie : plus d'itérations pour converger(b) non réalisée : wk+1=wk-R-1k algorithme idéal

uniquement par (c) (R-1 supposée connue exactement)ek

2 : estimé de ^k=-2ekxk wk+1=wk+2R-1ekxk

similitude avec LMS accrue: R diagonale avec mR-1=I

wk+1=wk+2mR-1ekxk (algorithme LMS-Newton)

convergence : 1/max>>0

convergence en un seul pas (sans bruit) : =1/2m


86

2. Propriétés de l'algorithme. exemple comparatif entre le LMS et le LMS/Newton conditions idéales non bruitées: LMS méthode de plus grande pente et LMS/Newton méthode de Newton


87

m : rapport géométrique de relaxation du n-ème poids :

Newton : r=1-m

plus grande pente : rn=1-2n

(équivalentes si les i toutes égales)

eqm du mode n de courbe d'apprentissage :

Newton : eqm=1/4n

plus grande pente : (eqm)n=1/4n

N=16, =0,05 et =0,01 : eqm =10 itérations pour LMS/Newton et

de l'ordre de 100 pour le LMS


88

eqm : mesure de vitesse de convergence vers min

max: mesure de capacité à rester proche de min

cov[V'k]=m-2cov[N’k]/4(1-m).

cov[V'k]=4min=mmin-1cov[N’k]/(1-m)

max=0LnE[v’

nk²]=(L+1)nmin/(1-n)

<<1/2m max ~mintr[R]


89

5.2 Algorithme de régression séquentielle (SER).5.2 Algorithme de régression séquentielle (SER). LMS wk+1=wk+2ekxk

LMS-Newton wk+1=wk+2mR-1ekxk

régression séquentielle : calcul d’un estimé de R-1 approchant LMS/Newtonestimation de R=E[xkxk

t]: plus simple qu’estimer R-1


90

x non stationnaire: mauvaise estimation de R Qk=0

k k-mxmxmt (Rk + facteur d'échelle)

=2-1/longueur de la stationnarité de x (0<<1)

x stationnaire pour tout k: 1 R^k

R^k connu recherche d’algorithme SER

k

0

tnn

^k xx

1k1

R:resstationnaiconditions

k

0m

tmm

mk1kk1k

^k xx

1

1Q

1

1Ritérationsk

algorithmel'dedépartdepoint:xdwQ

xd1

1PwR:w

k

0mmm

mkkk

k

0mmm

mk1k

^kk

^kk


91

Qkwk+1=Qk-1wk+dkxk=[Qk-xkxk

t]wk+dkxk

dk=ek+xktwk Qkwk+1=(Qkxkxk

t)wk+(ek+xktwk)xk=Qkwk+ekxk

wk+1=wk+Qk-1ekxk

)xQ(x

)xQ)(xQ(1Q

xQx

QxxQQxxQ

xQxxQxQ

QxxQQQ

xeQ12

wwR1

1Q

k1

1k

tk

11kk

11k1

kk

11k

11kk

11k1

kk1

k

k1

1kk1

kk1

1k

11kk

1k

1k

11k

kk1

kk1k1^

k1k1

k

tk

tk

tkt

k

tk

tk


92

régression séquentielle =2-1/(longueur du signal stationnaire)

Q0-1=(grande constante).I

w0=valeur de départ du poids

w1=w0+2mQ0-1e0x0

pour k≥1S=Qk-1

-1xk

=+xkt S

Qk-1={Qk-1

-1-(S St)/}/

wk+1=wk+2m(1-k+1)Qk-1ekxk/(1-)

avec 0<<1/max ou m<<1


93

5.3 Filtres adaptatifs récursifs.5.3 Filtres adaptatifs récursifs. mono-entrée yk=0

Lanxk-n+1Lbnyk-n

wk =[a0k a1k..aLk b1k..bLk]t et Uk=[xk xk-1..xk-L yk-1..yk-L]t

ek=dk-wktUk

LMS: ^k=-2ek[yk/a0k yk/aLkyk/b1k yk/bLk]

t

n,k=yk/an=xn-k+1Lbmn,k-m

n,k=yk/bn=yn-k+1Lbmn,k-m


94

^k=-2ek[0,k L,k 1k Lk] et LMS :wk+1=wk-M ^

k

matrice diagonale M=diag[ .. 1..L ]

LMS RIIyk=wkUk

n,k=xn-k+1Lbmn,k-m

0≤n≤Ln,k=yn-k+1

Lbmn,k-m

1≤n≤L^

k=-2(dk-yk)[0,k L,k 1k Lk]

wk+1=wk-M ^k

Ak(z)=0Lamkz-m et Bk(z)=1

Lbmkz-m

FT=z-n/[1-Bk(z)]


95

+_

dk

Xk

z-1

xk

L,k

1

1-Bk(z)

1

1-Bk(z)

Ak(z)

1-Bk(z)

1

1-Bk(z)

1

1-Bk(z)

z-1

0,k

1,k

L,kz-1

z-1

z-11

1-Bk(z)xk n,k


96

algorithmes HARF (hyperstable adaptative recursive filter)remplace nk et nk par xk-n et yk-n puis estimation de ^

k par

version lissée de ek (filtrage de ek)

forme la plus simple: SHARFyk=wk

tUk

ek=dk-yk

k=k+1Ncnek-n

^k=-2k[xk xk-L yk-1 yk-L]t

wk+1=wk-M ^k

c : constantes lissant ek k


97

SER (régression séquentielle) pour RII : remplacement de x par U + estimé RII du gradient

non récursif récursifek=dk-wk

txk ek=dk-wktUk

^k=-2ekxk ^

k=-2ek[0,k L,k 1k Lk]t

=E[ek2]=E[dk

2]+wtR w-2Ptw

SER: R et P non fonction de whypothèse non licite pour RII pendant la convergenceaprès convergence avec entrées stationnaires R et P constants (=0=2R wopt-2P pour w proche de wopt)


98

valeurs révisées de R et de P et si R^kwk=P^

k solution pour w

SER-RIF wk+1=wk-Mm(1-k+1)Qk

-1^k/(1-)

M : permet des convergences différentes pour bi


99

SER complet : S=Qk-1

-1xk

=+Ukt S

Qk-1={Qk-1

-1-(S St)/}/

n,k=xn-k+1Lbmn,k-m

0≤n≤Ln,k=yn-k+1

Lbmn,k-m

1≤n≤L^

k=-2(dk-yk)[0,k L,k 1k Lk]

wk+1=wk-Mm(1-k+1)Qk-1^

k/(1-)


100

bruit blanc xk

système inconnu

modèle

k+

_

1 1-1,2z-1+0,6z-2

a0 1-b1z-1-b2z-2


101

début : a0=b1=b2=0

système inconnu a0=1, b1=1,2 et b2=-0,6

entrée :bruit blanc convergence vers ces valeurs avec =E[ek

2] 0

traces de convergence typiques pour RII LMS et SER avec 800 pas pour le LMS et 600 pour le SER :


102

triangle de stabilité

W800

W0

poids b1

poid

s b 2

0-2 2

LMS


103

W0W600

triangle de stabilité

SER

0-2 2poids b1

poid

s b 2


104

stabilité : triangle bi dans cette région

paramètres de convergence :LMS : M=diag[ 0,05 0,005 0,0025 ]

SER : M=diag[ 0,5 0,1 0,05 ]

SER :début q0=1, =0,93, 10 échantillons stationnaires

LMS: plus ou moins plus grande pente, erratique au fond du bol (typique des filtres RII)SER: mauvaise approximation d'un Newton si wk non proche de

wopt

proche de wopt : plus régulier que LMS moins d'itérations

pour valeur optimale

Chapitre 1 - Introduction.

Documents

Transcript of Chapitre 1 - Introduction.