Théorie de l'information/Sources d'information
Mesure de l'information
modifierContexte
modifierCela consiste par l’envoi de messages par la source. Ce message se compose par une suite finie de symboles qui appartient à un ensemble fini, et déterminé à l’avance tel que l’alphabet
Par exemple les lettres : a b c d e f g ou par l’alphabet binaire : 0 1
Par exemple « rendez-vous » se traduirait en binaire par 01101001010110001
Tous les messages formés à partir d’un alphabet peuvent être sources de messages.
Pour le destinataire, la source et le canal ont un comportement aléatoire, qui sont décrit en termes probabilistes.
Il y a intérêt à la communication que si le contenu du message est inconnu, plus c’est un message imprévu plus il est informatif.
Un événement avec peu de probabilité représente beaucoup plus d'information.
L'information propre de x : I(x) doit être une fonction de sa probabilité : I(x) = f(1/p(x))
Pour définir la fonction de l’information f() nous admettons que l'information propre de x est une fonction décroissante de p(x) : en effet un évènement certain n'apporte aucune information, alors qu'un événement improbable en apportera beaucoup : f(1)=0 si p(x)=1
L'information propre est une grandeur additive : Si deux événements x et y sont indépendants c'est-à-dire qu’ils n’ont pas la chance d’avoir un résultat commun alors l'information totale qu'ils peuvent fournir est la somme des informations propres, on aura donc :
I(x,y)=f(1/p(x, y)) = f(1/p(x).1/p(y)) = f(1/p(x)) + f(1/p(y))=I(x)+I(y)
On est amené à choisir les variables :
f = log
si log2 unité : bit ou Shannon (Sh)
si loge unité : nat
si log10 unité : dit ou hartley
EXEMPLE
modifierSoit une source dont l’alphabet de sortie {a0,…,a15} avec P(ak)=1/16.
L’information propre de l’une de ces sorties ak est alors égale à (en appliquant la formule citer auparavant : I(ak)=log2(16)=4 bits
Information : choisir k dans {0,…,15} On aura donc besoin de 4 bits
Il y a deux types de mesures de l’information :
- Les mesures quantitatives de l’information par événements
- Les mesures quantitatives moyennes de l’information qui consiste dans l’entropie.
Mesures quantitatives moyennes de l’information : entropie
modifierCe terme Entropie a été énoncé par Rudolf Clausius et est dérivé d'un mot grec signifiant « transformation ».
Il caractérise le degré de désorganisation ou de manque d'information d'un système.
La source est une variable aléatoire X qui réalise les événements xi. Elle est discrète, finie et stationnaire :
pi= P(X=xi) pour i de 1 à n et Σ pi = 1
La quantité d’information moyenne pour chaque xi est la moyenne E[.] appelé aussi l’espérance de l‘information de chaque événement X = xi :
H(X) constitue l’entropie de la source X
Exemple d’une variable aléatoire binaire X qui prend la valeur 1 avec proba p et 0 avec la proba (1-p).
Le maximum d’entropie est atteint pour : p=0.5 en ce point là la courbe parabolique est symétrique.
La fonction de l’entropie regroupe plusieurs propriétés :
L’entropie H peut être positive ou nulle si l’un des événements est certain, mais elle n’est jamais négative : H(p1,….pn) >= 0
L’entropie H est maximale pour pi=1/n
Le remplacement de p1,…,pn par des moyennes q1,…,qn conduit à une augmentation de H.
L ’entropie dépend de l ’ensemble des probabilités associées à l ’alphabet en entier et pas que des symboles eux-mêmes.
