Ensemble typique

Dans la théorie de l'information de , l'ensemble typique est un ensemble d'ordres dont la probabilité est proche de deux augmentés à la puissance négative de l'entropie de leur distribution de source. Que cet ensemble a la probabilité totale de près d'un est une conséquence de la propriété asymptotique (AEP) d'equipartition de qui est un genre de loi de des grands nombres .

Ceci a la grande utilisation dans la théorie de la compression pendant qu'il fournit des moyens théoriques pour comprimer des données, nous permettant de représenter n'importe quel ordre $X^n$ using le $nH (peu de X)$ en moyenne, et, par conséquent, justifiant l'utilisation de l'entropie comme mesure d'information d'une source.

L'AEP peut également être prouvé pour une grande classe des processus ergodiques stationnaires permettant à l'ensemble typique d'être défini dans des cas plus généraux.

(Faiblement) ordres typiques

Si un X ₁ d'ordre,…, le n de _{du X est tiré d'une distribution $X$ du i.d définie au-dessus d'un $fini d'alphabet \ {X}$ mathcal, alors l'ensemble typique, le ^ de ${A_ \ epsilon} {(n)}$ est défini en tant que ces ordres qui satisfont :}

$2^ {- n (H (X)+ \ epsilon)} \ leq p (x_1, x_2,…, x_n) \ leq 2^ {- n - (de H (X) \ epsilon)}$

Là où $H (X) = - \ sum_ {y \ isin \ mathcal {X}} p (y) \ log_2 p (y)$ est l'entropie de l'information du X. La probabilité ci-dessus doit seulement être dans un facteur de $2^ {n \ epsilon}$ .

Il a les propriétés suivantes si le n est suffisamment grand, &epsilon ; peut être choisi arbitrairement petit de sorte que : La probabilité d'un ordre de $X$ étant tiré du ^ de ${A_ \ epsilon} {(n)}$ est plus grande que le

1- \ epsilon

\ est parti| {A_ \ epsilon} ^ {(n)} \ droit| \ leq 2^ {n (H (X)+ \ epsilon)}

de le

\ est parti| {A_ \ epsilon} ^ {(n)} \ droit| \ geq (1 \ epsilon) 2^ {n - (de H (X) \ epsilon)}

Pour un $général de procédé stochastique \ {X (t) \}$ avec AEP, (faiblement) l'ensemble typique peut être défini pareillement avec le $p (x_1, x_2,…, x_n)$ remplacé par le $p (x_0^ \ tau)$ (c. la probabilité de l'échantillon limité à l'intervalle de temps ), $n$ étant le degré de de liberté du processus dans l'intervalle de temps et le $H (X)$ étant le taux d'entropie de . Si le processus continu-est évalué, l'entropie différentielle est employée à la place.

Ordres fortement typiques (typicality fort)

Si un X ₁ d'ordre,…, le n de _{du X est tiré d'une certaine distribution commune spécifique, alors l'ensemble fortement typique, _{&epsilon du A ; , strong}^{( n )} est défini comme ensemble d'ordres qui satisfont

$\ est parti|\ frac {N (x^n)} {n} - p (x^n) \ droit| < \ frac {\ varepsilon} {\|\ mathcal {} de X \|}.$
Il peut montrer que les ordres fortement typiques sont également faiblement typiques (avec un &epsilon constant différent ; , et par conséquent le nom. Les deux formes, cependant, ne sont pas équivalentes. Il est souvent plus facile travailler typicality fort avec dans prouver des théorèmes pour les canaux sans mémoire. Cependant, de même que de la définition, cette forme de typicality est seulement définie pour des variables aléatoires ayant l'appui fini.

Ordres conjointement typiques
Deux ordres $x_1^n$ et $y_1^n$ sont conjointement ε-typiques si le $de paires (x_1^n, y_1^n)$ est ε-typique en ce qui concerne le $p de distribution commune (x_1^n, y_1^n)$ et $x_1^n$ et $y_1^n$ sont ε-typiques en ce qui concerne leur $p marginal de distributions (x_1^n)$ et $p (y_1^n)$ . L'ensemble de toutes telles paires de $d'ordres (x_1^n, y_1^n)$ est dénoté par le ^n de $A_ {\ epsilon} (X, Y)$ . conjointement ε-typique n - des ordres de tuple sont définis pareillement.
ect-numérique-moignon

Applications de typicality
ect-numérique-moignon Codage typique d'ensemble
Dans la communication , le codage typique d'ensemble code seulement l'ensemble typique d'une source stochastique avec des codes de bloc de longueur fixe. Asymptotiquement, il est, par l'AEP, sans perte et réalise le taux minimum égal au taux d'entropie de la source.
ect-numérique-moignon

Décodage réglé typique
Dans la communication , le décodage réglé typique est employé en même temps que le codage aléatoire pour estimer le message transmis en tant que celui avec un codeword qui est conjointement ε-typique avec l'observation. ${W} \ IFF (\ existe ! w) ((x_1^n (w), y_1^n) \ dans ^n d'A_ {\ epsilon} (X, Y))$ là où $\ chapeau {W}, x_1^n (w), y_1^n$ sont l'évaluation de message, codeword du message $w$ et l'observation respectivement. ^n de $A_ {\ epsilon} (X, Y)$ est défini en ce qui concerne le $p de distribution commune (x_1^n) p (y_1^n|x_1^n)$ où $p (y_1^n|x_1^n)$ est la probabilité de transition qui caractérise les statistiques de canal, et $p (x_1^n)$ est une certaine distribution d'entrée employée pour produire des codewords dans le codebook aléatoire.
ect-numérique-moignon

Essai universel de nul-hypothèse
ect-numérique-moignon
Code de canal universel
ect-numérique-moignon Voir également : Théorie de complexité algorithmique
Voir également

théorème de codage de source}

Random links:

Isidra Vega | Conflits dans la grammaire anglaise | Aberchirder | Homologie relative | Sistema_típico