TIC - EII3 & DEA STIR - 2002-2003 1 Théorie de lInformation et Codage Organisation 1 - Notions...

TIC - EII3 & DEA STIR - 2002-2003 1

Théorie de l’Information et Codage

Organisation

1 - Notions fondamentales de théorie de l’information (7h)• Définitions de base• Application aux sources d’information discrète• Application aux sources d’information continue

2 - Codage pour le contrôle d’erreur (7h)• Codes en blocs linéaires• Codes cycliques• Codes convolutifs• Algorithme de Viterbi

• Turbo-codes

TIC - EII3 & DEA STIR - 2002-2003 2

S. Haykin, Communication Systems, Wiley & Sons, 1994.

A.J. Viterbi, K.J. Omura, Principes des communications numériques, Coll. CNET/ENST, Dunod Edt.

A. Poli, L. Huguet, Codes correcteurs, Coll. LMI, Masson.

H. P. Hsu, Communications analogiques et numériques, Série Schaum.

Références

Théorie de l’Information et Codage

TIC - EII3 & DEA STIR - 2002-2003 3

Chapitre 1Notions fondamentales de théorie de l’information

1-1 Introduction 1-2 Incertitude, Information et Entropie 1-3 Théorème du codage de source 1-4 Compression de données 1-5 Canaux discrets sans mémoire 1-6 Information mutuelle 1-7 Capacité d’un canal 1-8 Théorème du codage de canal 1-9 Extension aux signaux continus 1-10 Théorème de la capacité d’information 1-11 Distorsion de l’information 1-12 Compression d’information

TIC - EII3 & DEA STIR - 2002-2003 4

1-1 Introduction

• L’objectif d’un système de transmission est de porter une information en bande de base d’un point à un autre via un canal de communication.

• 1948 : Shannon introduit la théorie de l’information.

• Dans le contexte des communications, la théorie de l’information s’attache à la modélisation mathématique et l’analyse des systèmes de communication.

TIC - EII3 & DEA STIR - 2002-2003 5

1-1 Introduction

La théorie de l’information donne des réponses à deux questions :

• quelle est la complexité limite d’un signal ?

– notion d’entropie : nombre minimum d’e.b. par symbole pour représenter une source.

• quelle est le débit limite pour une communication fiable sur un canal bruité ?

– notion de capacité de canal : débit maximum qui peut être adopté pour un canal.

TIC - EII3 & DEA STIR - 2002-2003 6

1-2 Incertitude, Information et Entropie

Définitions– Source discrète : système émettant régulièrement des

symboles issus d’un alphabet fini.

– Alphabet : ensemble fini des symboles de la source.

– Source aléatoire : les symboles sont émis aléatoirement suivant les probabilités :

– Source sans mémoire : source aléatoire dont les symboles émis sont statistiquement indépendants.

P S sk pk ; k0,1,, K 1 avec pk

k0

K 1 1

A s0,s1,,sK 1

TIC - EII3 & DEA STIR - 2002-2003 7


Peut-on trouver une mesure de l’information produite par une source ?

La notion d’information est liée à la notion de surprise et d’incertitude :

– avant l’évènement S = sk, il existe une certaine quantité d’incertitude sur cet évènement,

– quand cet évènement se réalise, il existe une certaine quantité de “surprise”,

– après la réalisation de l’évènement, il existe un gain en quantité d’information sur cet évènement,

– cette quantité d’information correspond à la “résolution” de l’incertitude de départ.

– la quantité d’information ne doit dépendre que de la statistique de la source.

TIC - EII3 & DEA STIR - 2002-2003 8


Définition :

la quantité d’information gagnée à l’observation de l’évènement S = sk , de probabilité pk , est définie par :

I (sk) = – log pk

Propriétés :

• I (sk) = 0 pour pk = 1 ;

• I (sk) >= 0 pour 0 <= pk <= 1 ;

• I (sk) > I (si) pour pk < pi ;

• I (sk sl) = I (sk) + I (sl) si sk et sl sont statistiquement indépendants.

TIC - EII3 & DEA STIR - 2002-2003 9


Remarques :

• La base du logarithme dans cette définition est arbitraire ;

• On utilise par convention la base 2. L’unité correspondante est le bit (pour binary unit).

• Dans ces conditions :

* I (sk) = – log2 pk

* Si pk = 1/2, alors I (sk) = 1 bit.

= > Un bit est la quantité d’information gagnée quand un parmi deux évènements équiprobables apparaît.

• En fonction de la base du logarithme, on définit d’autres unités de quantité d’information :

* base 10 : hartley

* base e : neper, nat

TIC - EII3 & DEA STIR - 2002-2003 10


• La quantité d’information produite par une source dépend du symbole émis à un instant significatif donné ;

• Or la source émet une séquence aléatoire de symboles ;

• La quantité d’information à un instant donné est donc une variable aléatoire discrète, prenant les valeurs I(s0), I(s1), ... , I(sK–1) avec les probabilités p0, p1, ... , pK–1.

TIC - EII3 & DEA STIR - 2002-2003 11


Définition :

l’entropie d’une source sans mémoire, d’alphabet A, est l’espérance mathématique de la quantité d’information prise comme variable aléatoire.

Remarques :

– L’entropie est une mesure de l’information moyenne par symbole issu de la source.

– l’unité de l’entropie est le bit/symbole.

H A E I sk pk I sk

k0

K 1

H A pk log2 pkk0

K 1

TIC - EII3 & DEA STIR - 2002-2003 12


Propriétés :

Pour une source discrète sans mémoire, l’entropie est bornée :

1. H(A) = 0 ssi pk = 1 pour un k donné, les autres probabilités étant nulles.

=> aucune incertitude

2. H(A) = log2 K ssi pk = 1/K pour tout k .

=> incertitude maximale

Démonstration :

Exemples :

0 H A log2 K

TIC - EII3 & DEA STIR - 2002-2003 13

1-3 Théorème du codage de source

• Un problème important en communication est celui de la représentation efficace des données engendrées par une source discrète.

• Ce processus est appelé codage de source (source encoding), et le dispositif correspondant un codeur de source (source encoder).

• L’efficacité du codage de source repose sur la connaissance de la statistique de la source.

• Application : si quelques symboles sont plus probables que d’autres, on peut leur assigner des mots-code “courts” (code à longueur variable ; ex : code Morse).

TIC - EII3 & DEA STIR - 2002-2003 14

Problème :

Développer un codeur de source efficace satisfaisant aux contraintes suivantes :

– les mots-code sont sous la forme de données binaires ;

– les mots-code doivent être décodés de manière unique, i.e. la séquence émise par la source doit être parfaitement reconstruite à partir de la séquence des mots-code.


Sourcediscrète

sans mémoire

Codeurde source

sk bkSéquence binaire

Fig 1-1

TIC - EII3 & DEA STIR - 2002-2003 15

Définitions :

Longueur moyenne d’un code :

A chaque sk de probabilité pk —> bk de longueur lk e.b.

Alors

représente le nombre moyen d’e.b. par symbole.

Efficacité d’un code :

Si Lmin est la plus petite valeur possible de , on définit :

Un codeur est dit efficace si .


L

Lmin

L

L

1

L pk lk

k0

K 1

TIC - EII3 & DEA STIR - 2002-2003 16

Problème : Comment déterminer Lmin ?

Solution : Théorème du codage de source (premier théorème de Shannon) Soit une source discrète sans mémoire d’entropie H(A). La longueur

moyenne des mots-code pour tout codage sans perte est bornée par :

L’entropie représente donc une limite fondamentale sur le nombre d’e.b. par symbole-source nécessaire pour représenter une source sans mémoire.

L’efficacité s’écrit alors :


L

L H A

H A L

TIC - EII3 & DEA STIR - 2002-2003 17

1-4 Compression de données• Les signaux engendrés par des processus physiques contiennent généralement

une certaine quantité d’information redondante, et qui peut gaspiller les ressources de communication.

• Pour obtenir une communication efficace, il faut supprimer cette redondance avant transmission.

• Cette opération est la compression de données sans perte.• Propriétés :

– optimale au sens du nombre moyen d’e.b. par symbole,– les données originales peuvent être reconstruites sans perte d’information.

• Principe :– affecter des mots-code courts aux symboles fréquents,– affecter des mots-code longs aux symboles “rares”.

TIC - EII3 & DEA STIR - 2002-2003 18

1-4-1 Codage préfixe

1-4-2 Codage de Huffman

1-4-3 Codage de Lempel-Ziv pour sources

discrètes à mémoire

1-4 Compression de données

TIC - EII3 & DEA STIR - 2002-2003 19

1-5 Canaux discrets sans mémoire Définition : un canal discret sans mémoire est un modèle

statistique comportant une entrée X (v.a.) et une sortie Y (v.a.) qui est une version bruitée de X.

A chaque unité de temps,– la source émet un symbole issu de l’alphabet A.

– la sortie du canal discret sans mémoire est un symbole issu de l’alphabet B.

Le canal est aussi caractérisé par des probabilités de transition :

A x0,x1,,xJ 1

B y0,y1,,yK 1

p yk | x j Pr Y yk | X xj j,k

TIC - EII3 & DEA STIR - 2002-2003 21

• Chaque ligne de P correspond à une entrée fixée du canal ;

• Chaque colonne correspond à une sortie fixée du canal ;

• La somme des éléments d’une ligne vaut 1

• Supposons que les entrées suivent une distribution de probabilité (distribution a priori)

– distribution jointe

– distribution marginale

• Exemple : Canal Binaire Symétrique (CBS).

1-5 Canaux discrets sans mémoire

p yk | x j

k0

K 1 1

p x j , j 0,1, , J 1

p x j , yk p yk |xj p xj

p yk p yk |xj p xj

j0

J 1

TIC - EII3 & DEA STIR - 2002-2003 22

1-6 Information mutuelle• Problème : Y étant une version bruitée de X, et H(A) mesurant l’incertitude a

priori sur X, comment mesurer l’incertitude sur X après avoir observé Y ?• Définition : l’entropie conditionnelle (à l’observation de Y) de X, sachant

vaut :

• H(A | B) représente la quantité d’incertitude restante sur l’entrée après que la sortie a été observée.

Y yk

H A | B H A|Y yk p yk k0

K 1

p xj | yk p yk log2 p xj | yk j0

J 1

k0

K 1

p xj ,yk log2 p xj | yk j0

J 1

k0

K 1

TIC - EII3 & DEA STIR - 2002-2003 23

• H(A) est l’incertitude sur l’entrée avant l’observation de la sortie ;

• H(A | B) est l’incertitude sur l’entrée après l’observation de la sortie ;

• H(A) – H(A | B) représente l’incertitude sur l’entrée résolue par l’observation de la sortie ;

• Définition : H(A) – H(A | B) est appelée information mutuelle du canal :

1-6 Information mutuelle

I A,B H A H A|B

TIC - EII3 & DEA STIR - 2002-2003 24

Propriétés :

* symétrie

* on ne peut perdre d’information

* , avec


I A, B I B,A

I A, B 0

I A, B H A H B H A,B

H A, B p xj,yk log2 p xj ,yk

k0

K 1

j0

J 1

TIC - EII3 & DEA STIR - 2002-2003 25

Interprétation graphique - Diagramme de Venn


H(A | B) H(B | A)

I(A, B)

H(A, B)

TIC - EII3 & DEA STIR - 2002-2003 26

1-7 Capacité d’un canal

• Le calcul de l’information mutuelle I(A, B) nécessite la connaissance de la distribution a priori de X ;

• En conséquence, l’information mutuelle d’un canal dépend non seulement du canal mais également de la manière dont il est utilisé ;

• Or la distribution a priori est (évidemment) indépendante du canal ;

• On peut donc chercher à maximiser l’information mutuelle par rapport à . p x j

TIC - EII3 & DEA STIR - 2002-2003 27

Définition : la capacité d’un canal discret sans mémoire est le maximum de l’information mutuelle I(A, B) moyenne obtenu pour l’ensemble des symboles émis, la maximisation étant opérée sur toutes les distributions a priori possibles sur A..

C se mesure en bits par utilisation du canal (bits per channel use).

Remarque : le calcul de C implique la maximisation sur J variables (les probabilités d’entrée) sous deux contraintes :


p x j

C max

p xj I A, B

p x j 0 j

p xj j0

J 1 1

TIC - EII3 & DEA STIR - 2002-2003 28

Exemple : Canal Binaire Symétrique


Capacitédu canal

C

Probabilité de transition p

TIC - EII3 & DEA STIR - 2002-2003 29

1-8 Théorème du codage de canal

• La présence inévitable de bruit dans le canal cause des erreurs de transmission.

• Pour un canal très bruité, la probabilité d’erreur peut être aussi haute que 10–2 ...

• Mais il est préférable qu’elle soit plus faible que 10–6, voire 10–12 !

• Pour atteindre cet objectif, on a recours au codage de canal (Chapitre 2).

TIC - EII3 & DEA STIR - 2002-2003 30

• L’objectif du codage de canal est d’accroître la résistance d’un système de communication numérique au bruit.

• Le codage de canal consiste

– à affecter, à une séquence issue de la source, une autre séquence destinée à entrer dans le canal (mapping) ;

– à affecter, à une séquence issue du canal, une autre séquence pour utilisation (reverse mapping) ;

– de telle sorte que l’effet du bruit du canal soit minimisé.


Sourcediscrète

sans mémoire

Canaldiscret

sans mémoire

Codeurde

canal

Décodeurde

canalUtilisation

bruitEmetteur Récepteur

TIC - EII3 & DEA STIR - 2002-2003 31

• L’approche générale du codage de canal consiste à introduire de la redondance dans la séquence émise, de manière à reconstruire la séquence originale le plus précisément possible.

• codage de source —> diminution de la redondance, ...

codage de canal —> augmentation de la redondance ?!

Les deux approches sont complémentaires.

• Les grandes approches du codage de canal seront vues au Chap. 2 (codes en bloc linéaires, codes cycliques ...).


TIC - EII3 & DEA STIR - 2002-2003 32

Considérons la classe des codes en blocs :

– la séquence originale à transmettre est segmentée en blocs de k e.b.

– chaque k-bloc se voit affecter en sortie du codeur de canal un n-bloc, avec n > k.

– r = k / n mesure le rendement du code.

Problème : existe-t-il une stratégie de codage telle que

– la probabilité d’erreur soit inférieure à donné, ...

– avec un rendement pas trop faible ?

Réponse : OUI !

—> Second théorème de Shannon.


TIC - EII3 & DEA STIR - 2002-2003 33

Théorème (a) : Soit une source discrète sans mémoire, d’entropie H(A), produisant des symboles toutes les Ts

secondes.

Soit un canal discret sans mémoire de capacité C, utilisé toutes les Tc secondes.

Alors, si , il existe une stratégie de codage pour

laquelle la sortie de la source peut être transmise sur le

canal et reconstruite avec une probabilité d’erreur

arbitrairement petite.

C / Tc est appelé débit critique.


H A Ts

CTc

TIC - EII3 & DEA STIR - 2002-2003 34


Théorème (b) : Si , alors il n’est pas possible

de transmettre une information sur le canal et de la

reconstruire avec une probabilité d’erreur arbitrairement

faible.

Remarques :

– La capacité d’un canal spécifie une limite fondamentale sur le débit maximum acceptable par un canal discret sans mémoire.

– Ce théorème n’indique en aucun cas la façon de construire la stratégie de codage. Il n’est qu’une preuve d’existence d’un code optimal.

H A Ts

CTc

TIC - EII3 & DEA STIR - 2002-2003 35

Application : Canal Binaire Symétrique

Soit une source discrète sans mémoire émettant des symboles binaires (0/1) équiprobables toutes les Ts secondes. Le débit de la source vaut alors 1/Ts bits/seconde.

L’entropie de la source vaut 1 bit/symbole.

La séquence issue de la source est appliquée à un codeur de canal de rendement r.

Le codeur de canal produit un symbole toutes les Tc secondes. Le débit sur le canal est donc de 1/Tc symboles/seconde.

C est la capacité du canal discret sans mémoire et dépend de la probabilité p de transition.

La capacité du canal par unité de temps vaut donc C/Tc bits/seconde.


TIC - EII3 & DEA STIR - 2002-2003 36

Application : Canal Binaire Symétrique

(Théorème a) => Si , on peut trouver un codage de

canal donnant une probabilité d’erreur arbitrairement petite.

Or ,

et finalement la condition précédente devient :


r

Tc

Ts

r C

1

Ts

CTc

TIC - EII3 & DEA STIR - 2002-2003 37

TIC - EII3 & DEA STIR - 2002-2003 38

• Pour l’instant, nous avons traité le cas de v.a. discrètes ;

• On examine ici l’extension des principes précédents aux v.a. continues.

• Motivation : préparer le terrain pour le théorème de la capacité d’ information, qui définit une nouvelle limite fondamentale dans la théorie de l’information.

1-9 Extension aux signaux continus

TIC - EII3 & DEA STIR - 2002-2003 39

• Entropie différentielle

Soit X une v.a. continue de fonction de densité de probabilité . L’entropie différentielle de X par la quantité :

Remarques

– On utilise l’entropie différentielle car l’entropie absolue H(X) est infinie, mais également du fait que l’on manipule par la suite des différences d’entropie.

– Pour un vecteur aléatoire X = [X1 X2 ... Xn ], on définit :


fX x

h X fX x log2

fX x dx

h X fX x log2

fX x dx

TIC - EII3 & DEA STIR - 2002-2003 40

Exemples

– Distribution uniforme ;

– Distribution gaussienne ;


TIC - EII3 & DEA STIR - 2002-2003 41

TIC - EII3 & DEA STIR - 2002-2003 42

• Information mutuelle

Soient X et Y deux v.a. continues. Par analogie avec la définition dans le cas discret, on définit l’information mutuelle entre X et Y par :

où est la fonction de densité de probabilité jointe de X et Y et est la densité conditionnelle de X sachant Y = y.


I X ,Y fX,Y x,y log2

fX x fX x|y

dxdy

fX ,Y x, y fX x | y

TIC - EII3 & DEA STIR - 2002-2003 44

1-10 Théorème de la capacité d’information• On se place ici dans le cas de canaux de transmission :

– à bande limitée,– à puissance limitée,– à distribution gaussienne.

• On considère un processus aléatoire stationnaire à moyenne nulle et à spectre limité dans une bande B Hz ;

• Ce signal est échantillonné uniformément à la fréquence de Nyquist (2B échantillons / sec.) ;

• Ces échantillons sont transmis en T secondes sur un canal gaussien de moyenne nulle et de densité spectrale (bilatérale) , lui aussi limité à une bande B Hz.

• Le nombre d’échantillons est donc K = 2BT.

X t

N0 / 2

TIC - EII3 & DEA STIR - 2002-2003 45

• On pose un échantillon du signal transmis, et l’échantillon reçu ;

• On a pour k = 1, 2, ... , K, avec

• On suppose que les sont indépendants.

• On suppose l’émetteur limité en puissance :

où P est la puissance moyenne transmise.

Remarque :

Le canal gaussien limité en bande et en puissance n’est pas seulement un modèle théorique ; il est d’une grande importance dans beaucoup de structures de communication (liaisons radio, satellite ...).

1-10 Théorème de la capacité d’information

X k Yk

Yk Xk Nk N N Bk ~ ,N 0 0

Yk

E X k

2 P

TIC - EII3 & DEA STIR - 2002-2003 46

Définition La capacité d’information du canal est la quantité :

• Or

• Et est indépendant de • Or • Donc gaussiennes => gaussienne• Et finalement


C max

fXkx

I Xk,Yk :E Xk2 P

I X k ,Yk h Yk h Yk | Xk h Yk h Nk

h N k X k

h Yk max Yk ~N .,. Yk , Nk Xk

C I Xk,Yk : Xk gaussienne , E Xk

2 P

TIC - EII3 & DEA STIR - 2002-2003 47

Evaluation de C

• variance de :

• entropie différentielle :

• variance de :

• entropie différentielle :

• Et finalement

bits par transmission,


Yk

2 Nk

P 2

C

12

log2 1P

2

h N k 1

2log2 2 e 2

h Yk 1

2log2 2 e P 2

TIC - EII3 & DEA STIR - 2002-2003 48

Théorème de la capacité d’information (3ème théorème de Shannon)

La capacité d’information d’un canal continu de bande passante B Hz perturbé par un bruit blanc gaussien additif de densité spectrale de puissance et également limité à la bande passante B, est donnée par :

où P est la puissance moyenne de transmission.


N0

C Blog2 1

PN0B

bits par seconde

TIC - EII3 & DEA STIR - 2002-2003 49

Conséquences

• Pour P, B, et N0 fixés, on peut transmettre une information avec un débit de C bits par seconde avec une probabilité d’erreur arbitrairement petite, en employant un système de codage suffisamment complexe.

• Il n’est pas possible de transmettre à un débit supérieur à C bits par seconde sans entraîner une probabilité d’erreur définie.

• Le théorème de la capacité d’information définit donc une autre limite fondamentale sur le débit d’une transmission sans erreur.

• Pour approcher cette limite, toutefois, le signal transmis doit avoir des propriétés statistiques approchant celles du bruit gaussien.


TIC - EII3 & DEA STIR - 2002-2003 50

Implications du théorème

Pour avoir une idée des performances d’un système de communication, il faut définir une base de comparaison sous la forme d’un système idéal :

– Transmission de débit R = C ;

– P = Eb.C , où Eb est l’énergie transmise par e.b.

• Le système idéal est défini par la relation

• De manière équivalente

C/B efficacité en bande


C

Blog2 1

Eb

N0

CB

Eb

N0

2C /B 1C /B

TIC - EII3 & DEA STIR - 2002-2003 51

Diagramme d’efficacité en bande


0 5 10 15 20 25 30Eb/No(dB)

Rb/B

Limite de Shannon= – 1.6 dB

Région pour laquelle Rb > C

Région pour laquelle Rb < C

frontière Rb = C

TIC - EII3 & DEA STIR - 2002-2003 52


Diagramme d’efficacité en bande

Eb/No (dB)

Rb/B

Limite de Shannon= – 1.6 dB

Région pour laquelle Rb > C

Région pour laquelle Rb < C

frontière Rb = C

TIC - EII3 & DEA STIR - 2002-2003 53

Remarques• Pour une bande passante infinie, le rapport approche la

limite de Shannon :

• La frontière de capacité sépare les différentes combinaisons de paramètres du système supportant des transmissions sans erreur (R < C) de celles pour lesquelles la transmission sans erreur n’est pas possible (R > C).


Eb

N0

lim

B

Eb

N0ln20.693 1.6dB

TIC - EII3 & DEA STIR - 2002-2003 54

TIC - EII3 & DEA STIR - 2002-2003 55

Exemple : Modulation par Impulsion et Codage (MIC) M-aire


TIC - EII3 & DEA STIR - 2002-2003 56

1-11 Distorsion de l’information• Dans plusieurs situations pratiques, des contraintes forcent le

codage à être imparfait, ce qui implique de la distorsion.• Exemples :

– un débit maximum peut être spécifié, impliquant une limite pour la longueur moyenne des mots-code.

– signal de parole : nécessite une quantification pour représentation numérique.

• On parle alors de codage avec critère de fidélité, et la théorie associée est celle de la distorsion de débit.

• Application dans deux situations :– Codage de source pour les sources continues (compression

du signal),– Transmission d’information à débit supérieur à la capacité du

canal.

TIC - EII3 & DEA STIR - 2002-2003 57

• La compression d’information est une des applications de la théorie de la distorsion d’information.

• Un compresseur de signal est un dispositif fournissant des mots-code avec un minimum de symboles et sujet à une distorsion contrôlée.

• Le compresseur de signal retient le contenu informationnel pertinent, en gommant les détails fins.

• On parle alors de compression avec perte (lossy compression) : l’entropie diminue et donc l’information est perdue.

1-12 Compression d’information

TIC - EII3 & DEA STIR - 2002-2003 58

• Source discrète : l’objectif est de transmettre à des taux de codage (longueur moyenne) inférieurs à l’entropie de la source.– Exemple : codage d’images numériques fixes ou animées

(JPEG, MPEG).

• Source continue : on ne peut faire autrement pour mettre en œuvre une communication numérique– Exemple : codage de parole sur réseau téléphonique

(MICDA).

• Dans les deux cas, la distorsion du codage est mesurée en fonction :– de critères objectifs : maximisation du rapport S/N,

minimisation de la distorsion quadratique,– de critères subjectifs : qualité visuelle ou auditive.

1-12 Compression d’information

TIC - EII3 & DEA STIR - 2002-2003 1 Théorie de lInformation et Codage Organisation 1 - Notions...

Documents

Transcript of TIC - EII3 & DEA STIR - 2002-2003 1 Théorie de lInformation et Codage Organisation 1 - Notions...