Théorie de l'information/Sources d'information

Début de la boite de navigation du chapitre
Sources d'information
Icône de la faculté
Chapitre no 2
Leçon : Théorie de l'information
Chap. préc. :Introduction
Chap. suiv. :Sources et codages
fin de la boite de navigation du chapitre
En raison de limitations techniques, la typographie souhaitable du titre, « Théorie de l'information : Sources d'information
Théorie de l'information/Sources d'information
 », n'a pu être restituée correctement ci-dessus.

Mesure de l'information

modifier

Contexte

modifier

Cela consiste par l’envoi de messages par la source. Ce message se compose par une suite finie de symboles qui appartient à un ensemble fini, et déterminé à l’avance  tel que l’alphabet

Par exemple les lettres : a b c d e f g  ou par l’alphabet binaire : 0 1

Par exemple « rendez-vous » se traduirait en binaire par 01101001010110001

Tous les messages formés à partir d’un alphabet peuvent être sources de messages.

Pour le destinataire, la source et le canal ont un comportement aléatoire, qui sont décrit en termes probabilistes.

Il y a intérêt à la communication que si le contenu du message est inconnu, plus c’est un message imprévu plus il est informatif.

Un événement avec peu de probabilité représente beaucoup plus d'information.

L'information propre de x : I(x) doit être une fonction de sa probabilité : I(x) = f(1/p(x))

Pour définir la fonction de l’information f() nous admettons que l'information propre de x est une fonction décroissante de p(x) : en effet un évènement certain n'apporte aucune information, alors qu'un événement improbable en apportera beaucoup : f(1)=0 si p(x)=1

L'information propre est une grandeur additive : Si deux événements x et y sont  indépendants c'est-à-dire qu’ils n’ont pas la chance d’avoir un résultat commun alors l'information totale qu'ils peuvent fournir est la somme des informations propres, on aura donc :

I(x,y)=f(1/p(x, y)) = f(1/p(x).1/p(y)) = f(1/p(x)) + f(1/p(y))=I(x)+I(y)

On est amené à choisir les variables :

f = log

si log2 unité : bit ou Shannon (Sh)

si loge unité : nat

si log10 unité : dit ou hartley

EXEMPLE

modifier

Soit une source dont l’alphabet de sortie {a0,…,a15} avec P(ak)=1/16.

L’information propre de l’une de ces sorties ak est alors égale à (en appliquant la formule citer auparavant : I(ak)=log2(16)=4 bits

Information : choisir k dans {0,…,15} On aura donc besoin de 4 bits

Il y a deux types de mesures de l’information :

-         Les mesures quantitatives de l’information par événements

-         Les mesures quantitatives moyennes de l’information qui consiste dans l’entropie.

Mesures quantitatives moyennes de l’information : entropie

modifier

Ce terme Entropie a été énoncé  par Rudolf Clausius et est dérivé d'un mot grec signifiant « transformation ».

Il caractérise le degré de désorganisation ou de manque d'information d'un système.

La source est une variable aléatoire X qui réalise les événements xi. Elle est discrète, finie et stationnaire :

pi= P(X=xi) pour i de 1 à n et Σ pi = 1

La quantité d’information moyenne pour chaque xi est la moyenne E[.] appelé aussi l’espérance de l‘information de chaque événement X = xi :

 

H(X) constitue l’entropie de la source X 

 

Exemple d’une variable aléatoire binaire X qui prend la valeur 1 avec proba p et 0 avec la proba (1-p).

Le maximum d’entropie est atteint pour : p=0.5 en ce point là la courbe parabolique est symétrique.

La fonction de l’entropie regroupe plusieurs propriétés :

L’entropie H peut être positive ou nulle si l’un des événements est certain, mais elle n’est jamais négative : H(p1,….pn) >= 0

L’entropie H est maximale pour pi=1/n

Le remplacement de p1,…,pn par des moyennes q1,…,qn conduit à une augmentation de H.

L ’entropie dépend de l ’ensemble des probabilités associées à l ’alphabet en entier et pas que des symboles eux mêmes.