L\'inégalité de Kraft

Dans la théorie de codage , l'inégalité de Kraft de donne l'état nécessaire et suffisant pour l'existence d'un code uniquement decodable pour un ensemble donné de longueurs de codeword. Ses applications pour mettre en tête des codes et des arbres trouvent souvent l'utilisation dans le la théorie de l'informatique de l'information de et de .

Plus spécifiquement, l'inégalité de Kraft de limite l'ensemble de longueurs codeworded possibles à faire un code de préfixe. Elle affirme que les tâches exponentiated de longueur de codeword doivent ressembler à une fonction de masse de probabilité . L'inégalité de Kraft de peut être considérée en termes d'un budget contraint à dépenser sur des codewords, avec des codewords plus courts étant plus chers.

si l'inégalité de Kraft se tient avec l'inégalité stricte, le code a une certaine redondance.
Si l'inégalité de Kraft se tient avec l'égalité stricte, le code en question est un code complet .
Si l'inégalité de Kraft ne se tient pas, le code n'est pas le uniquement decodable.

Rapport formel

Laisser chaque source symbole de alphabet

$S=\; \backslash \; \{\backslash ,\; s\_1,\; s\_2,\; \backslash \; ldots,\; s\_n\; \backslash ,\; \backslash \}\; \backslash ,$

être codé dans un code uniquement decodable au-dessus d'un alphabet de la taille $r$ avec des longueurs de codeword , $\backslash \; ell\_1\; \backslash \; ell\_2,\; \backslash ,\; de\; ldots\; \backslash \; ell\_n\; de$

\,

Puis

$\backslash \; sum\_\; \{i=1\}\; ^\; \{n\}\; \backslash \; parti\; (\backslash \; frac\; \{1\}\; \{r\}\; \backslash \; droit)\; ^\; \{\backslash \}\; d\text{'}ell\_i\; \backslash \; leq\; 1.$

Réciproquement, parce que un ensemble donné de, le $\backslash \; ell\_1\; \backslash \; ell\_2,\; \backslash ,\; de\; ldots\; \backslash \; ell\_n\; de\; nombres\; normaux\; \backslash ,$ satisfaisant l'inégalité ci-dessus, existe là un code uniquement decodable au-dessus d'un alphabet de la taille $r$ avec ces longueurs de codeword.

Un cas spécial généralement de occurrence d'un code uniquement decodable est un code de préfixe de . L'inégalité de Kraft donc se tient également pour n'importe quel code de préfixe de .

Preuve pour des codes de préfixe

N'importe quel code donné de préfixe de peut être représenté par un arbre de $r$-ary du $de\; profondeur\; \backslash \; ell\_n$ où les branches de chaque noeud correspondent à un d'alphabets de code de $r$ et chaque codeword est représenté par le chemin à un $en\; profondeur\; de\; feuille\; \backslash \; ell\_i$. Ceci garantit qu'aucun codeword n'est un préfixe des autres. Pour chaque feuille dans un tel arbre de code, considérer l'ensemble de descendants $A\_i$ que chacun aurait le $en\; profondeur\; \backslash \; ell\_n$ dans un plein arbre de $r$-ary. Puis, $A\_i\; de$

\ bigcap A_j = \, varnothing \ quadruple i \ quantité nette de substance explosive j

et

$|A\_i|\; =\; r^\; \{\backslash \; ell\_n-\; \backslash \; ell\_i\}.$

Ainsi, étant donné que tout le nombre du $en\; profondeur\; de\; noeuds\; \backslash \; ell\_n$ est le $r^\; \{\backslash \; ell\_n\}$,

$|\backslash \; ^n\; A\_i\; du\; bigcup\_\; \{i=1\}|\; =\; \backslash \; r^\; ^n\; du\; sum\_\; \{i=1\}\; \{\backslash \; ell\_n-\; \backslash \; ell\_i\}\; \backslash \; r^\; de\; leq\; \{\backslash \; ell\_n\}$

de ce que le résultat suit.

Réciproquement, donné tout ordre commandé des nombres normaux de $n$, $de$

\ ell_1 \ leq \ ell_2 \ leq \ points \ leq \ ell_n

l'inégalité de Kraft satisfaisant, une peut construire un code de préfixe avec des longueurs de codeword égales au $\backslash \; ell\_i$ par des sous-arbres d'élagage d'un plein arbre de $r$-ary du $de\; profondeur\; \backslash \; ell\_n$. D'abord choisir n'importe quel noeud du $en\; profondeur\; de\; plein\; arbre\; \backslash \; ell\_1$ et enlever tous ses descendants. Ceci enlève la fraction de $r^\; \{-\; \backslash \; ell\_1\}$ des noeuds du plein arbre d'être considéré pour le reste des codewords restants. La prochaine itération enlève la fraction du $r^\; \{-\; \backslash \; ell\_2\}$ du plein arbre pour le total de $r^\; \{-\; \backslash \; ell\_1\}\; +r^\; \{-\; \backslash \; ell\_2\}$. Après des itérations de $m$, $de$

\ r^ ^m du sum_ {i=1} {- \ ell_i}

la fraction des pleins noeuds d'arbre sont enlevées de la considération pour tous codewords restants. Mais, par la prétention, cette somme est moins de 1 pour tout le

Preuve du cas général

Considérer la fonction se produisante dans l'inverse de $x$ pour le code $S$ $F\; de$

(x) = \ x^ ^n de sum_ {i=1} {-|s_i|} = \ p_ \ aune {maximum} ^ de sum_ {\ ell=min} \, x^ {- \ aune}

dans quel coefficient du $p\_\; \backslash \; ell$-the devant le $x^\; \{-\; \backslash \; aune\}$-is le nombre de codewords distincts du $de\; longueur\; \backslash \; ell$. Ici $min$ est la longueur du codeword le plus court dans $S$, et $max$ est la longueur du plus long codeword dans $S$.

Pour n'importe quel nombre entier de positif $m$ considèrent le produit $S^m$ de $m$-fold, ce qui se compose de tous les mots du s_ du $s\_\; de\; forme\; \{i\_1\}\; \{i\_2\}\; \backslash \; de\; s\_\; de\; points\; \{i\_m\}$, où $i\_1,\; i\_2,\; \backslash \; pointille,\; i\_m$ sont les index entre $1$ et $m$. Noter que, puisque $S$ a été assumé uniquement à decodable, si le s_ du $s\_\; \{i\_1\}\; \{i\_2\}\; \backslash \; le\; s\_\; du\; =s\_\; s\_\; de\; points\; \{i\_m\}\; \{j\_1\}\; \{j\_2\}\; \backslash \; s\_\; de\; points\; \{j\_m\}$, puis $i\_1=j\_1,\; i\_2=j\_2,\; \backslash \; pointille,\; i\_m=j\_m$. En d'autres termes, chaque mot dans $S^m$ vient d'un ordre unique des codewords dans $S$. En raison de cette propriété, on peut calculer le $G\; de\; fonction\; se\; produisante\; (x)$ pour $S^m$ du $F\; de\; fonction\; se\; produisante\; (x)$ As $G\; de$

(x) = \ est parti = de ^m (de F (x) \ droit) \ à gauche (\ le x^ ^n de sum_ {i=1} {-|s_i|} \ bon) ^m

\ ^n du sum_ {i_11} \ ^n du sum_ {i_21} \ cdots \ x^ ^n du sum_ {i_m1} {-|s_ {i_1} + s_ {i_2} \ cdots + s_ {i_m}|}

\ sum_ {\ minute d'ellm \ cdot} ^ {m \ cdot maximum} q_ \ aune \, x^ {} - \ aune \ ; .

Ici, pareillement comme avant, coefficient du $q\_\; \backslash \; ell$-the devant le $x^\; \{-\; \backslash \; aune\}$ dans le $G\; (x)$-is le nombre de mots de $de\; longueur\; \backslash \; ell$ dans $S^m$. Clairement, le $q\_\; \backslash \; ell$ ne peut pas dépasser le $r^\; \backslash \; ell$. Par conséquent pour tout $x$ positif

$\backslash \; est\; parti\; (F\; (x)\; \backslash \; droit)\; ^m\; \backslash \; le\; \backslash \; sum\_\; \{\backslash \; minute\; d\text{'}ell=m\; \backslash \; cdot\}\; ^\; \{m\; \backslash \; cdot\; maximum\}\; r^\; \backslash \; aune\; \backslash ,\; x^\; \{\}\; -\; \backslash \; aune\; \backslash \; ;\; .$

Substituant la valeur $x=r$ nous avons le $de\; \backslash \; est\; parti\; ^m\; (de\; F\; (r)\; \backslash \; droit)\; \backslash \; le\; m\; \backslash \; cdot\; (maximum-minute)\; +1$ pour tout nombre entier positif $m$. L'aile gauche de l'inégalité se développe exponentiellement dans $m$ et côté droit seulement linéairement. La seule possibilité pour que l'inégalité soit valide pour tout le $m$ est ce $F\; (r)\; \backslash \; le\; 1$. Regarder sur la définition du $F\; (x)$ nous obtenons finalement en arrière l'inégalité.

$\backslash \; r^\; ^n\; du\; sum\_\; \{i=1\}\; \{-\; \backslash \; ell\_i\}\; =\; \backslash \; r^\; ^n\; du\; sum\_\; \{i=1\}\; \{-|s\_i|\}\; =\; F\; (r)\; \backslash \; le\; 1\; \backslash \; ;\; .$

Exemples

Arbres binaires

Donné un l'arbre binaire , l'inégalité de Kraft déclare cela $de$

\ sum_ {\ aune \ dans \ mathrm {feuilles}} 2^ {- \ mathrm {profondeur} (\ aune)} \ leq 1

Ici la somme est assurée les feuilles de l'arbre, c. les noeuds de sans aucun enfant. La profondeur est la distance au noeud de racine. Dans l'arbre vers la droite, cette somme est

$\backslash \; frac\; \{1\}\; \{4\}\; +\; 4\; \backslash \; parti\; (\backslash \; frac\; \{1\}\; \{8\}\; \backslash \; droit)\; =\; \backslash \; frac\; \{3\}\; \{4\}\; \backslash \; leq\; 1.$

La constante de Chaitin

Dans la théorie algorithmique de l'information de , le constant de Chaitin de est défini As $de$

\ = d'Omega \ sum_ {p \ dans P} 2^ {-|p|}.

C'est une somme infinie qui a un summand pour chaque programme syntactiquement correct qui s'arrête. | p | stands pour la longueur de la chaîne binaire du p . Les programmes sont exigés pour être préfixe-libres dans le sens qu'aucun summand n'a un préfixe représenter un programme syntactiquement valide qui s'arrête. Par conséquent les chaînes binaires sont des codes de préfixe, et l'inégalité de Kraft donne ces $\backslash \; Omega\; \backslash \; leq\; 1$.

Random links:

Worshipful Company de Woolmen | Comté de Karlovac | Hanawa | Bataille de Wołodarka | Ross Stretton | Desigualdad_de_Kraft

© 2007-2009 encyclopediefrancaise.com; le texte de cet article est distribué sous les termes de GFDL; en.wikipedia.org