Entropie commune

L'entropie commune est une mesure d'entropie de utilisée dans la théorie de l'information de . L'entropie commune mesure combien d'entropie est contenu dans un système commun de deux variables aléatoires . Si les variables aléatoires sont $X$ et $Y$ , l'entropie commune est écrite le $H (X, Y)$ . Comme d'autres entropies, l'entropie commune peut être mesurée dans les lentes du peu ou les hartleys selon la base du logarithme .

Fond

Donné une variable aléatoire

X

, le

H d'entropie (X)

décrit notre incertitude au sujet de la valeur de

X

. Si

X

se compose de plusieurs événements

x

, que chacun se produit avec la probabilité

p_x

, alors l'entropie de

X

est

$H (X) = - \ sum_x p_x \ log_2) (de p_x \ !$

Considérer une autre variable aléatoire $Y$ , contenant les événements $y$ de se produisant avec les probabilités $p_y$ . $Y$ a le $H d'entropie (Y)$ .

Cependant, si $X$ et $Y$ décrivent des événements relatifs, toute l'entropie du système peut ne pas être le $H (X)+H (Y)$ . Par exemple, imaginer que nous choisissons un nombre entier entre 1 et 8, avec la probabilité égale pour chaque nombre entier. Laisser $X$ représenter si le nombre entier est le même , et $Y$ représentent si le nombre entier est le principal. La moitié des nombres entiers entre 1 et 8 sont égale, et un demi- sont principal, ainsi le $H (X)=H (Y)=1$ . Cependant, si nous savons que le nombre entier est égal, il y a seulement un 1 dans la chance 4 qu'elle est également principale ; les distributions sont connexes. Toute l'entropie du système est moins de 2 bits. Nous avons besoin d'une manière de mesurer toute l'entropie des deux systèmes.

Définition

Nous résolvons ceci en considérant chaque paire

possible de résultats (x, y)

. Si chaque paire de résultats se produit avec le

p_ de probabilité {x, y}

, l'entropie commune est définie As

$H (X, Y) = - \ sum_ {x, y} p_ {x,} de y \ log_2 () de p_ {x, y} \ !$

Dans l'exemple ci-dessus nous ne considérons pas 1 comme perfection. Alors la distribution de probabilité commune devient :

=P de $P (même, perfection) (impair, pas perfection) =1/8 \ quadruple$

=P de $P (même, pas perfection) (impair, perfection) =3/8 \ quadruple$

Ainsi, l'entropie commune est

$-2 \ frac {1} {8} \ log_2 (1/8) -2 \ frac {3} {8} \ log_2 (3/8) \ approximativement 1.$

Propriétés

Plus grand que des entropies de sous-système

L'entropie commune est toujours au moins égale aux entropies du système original ; ajouter un nouveau système peut ne jamais réduire l'incertitude disponible.

H de  (X, Y) \ geq H (X)

Cette inégalité est une égalité si et seulement si $Y$ est la fonction (déterministe) d'a de $X$ .

si $Y$ est la fonction (déterministe) d'a de $X$ , nous avons également $H de (X) \ geq H (Y)$

Sous-additivité

Deux systèmes, considérés ensemble, peuvent ne jamais avoir plus d'entropie que la somme de l'entropie dans chacun de eux. C'est un exemple de la sous-additivité . $H de (X, Y) \ leq H (X) + H (Y)$

Cette inégalité est une égalité si et seulement si $X$ et $Y$ sont le statistiquement indépendant.

Limites

Comme d'autres entropies, $H (X, Y) \ geq 0$ toujours.

Relations à d'autres mesures d'entropie

L'entropie commune est employée dans les définitions de l'entropie conditionnelle : $H de (X|Y) = H (X, Y) - H (Y) \,$

et l'information réciproque : $I de (X ; Y) = H (X) + H (Y) - H (X, Y) \,$

Dans la théorie de l'information de Quantum de , l'entropie commune est généralisée dans l'entropie de quantum de joint de .

Random links:

Banlieue noire de Symmes, comté de Hamilton, Ohio | Patrologia | Synode des églises luthériennes évangéliques | Luc McCown | Entropía_común