L\'exemple de Stein

L'exemple de Stein de , parfois désigné sous le nom du phénomène de Stein de ou du paradoxe de Stein de , est un effet étonnant observé dans la théorie de la décision et la théorie d'évaluation . Simplement indiqué, l'exemple démontre que quand trois paramètres ou plus sont estimés simultanément, leur estimateur combiné est plus précis que n'importe quelle méthode qui manipule les paramètres séparément. C'est étonnant puisque les paramètres et les mesures pourraient être totalement indépendants. Le phénomène est baptisé du nom de son découvreur, Charles Stein .

Rapport formel

Laisser le ${\ boldsymbol \ thêta}$ soit des paramètres inconnus se composants du $n de vecteur \ GE un 3$ . Pour estimer ces paramètres, une mesure simple $X_i$ est effectuée pour chaque $de paramètre \ theta_i$ , ayant pour résultat un $de vecteur {\ mathbf X}$ de la longueur $n$ . Supposent que mesure sont indépendant , identiquement distribué, gaussien aléatoire variable avec moyen ${\ boldsymbol \ thêta}$ et désaccord 1, c.,

${\} de mathbf X \ sim N ({\ boldsymbol \ thêta}, I).$ Ainsi, chaque paramètre est estimé using une mesure bruyante simple, et chaque mesure est également imprécise.

Dans de telles conditions, c'est le plus intuitif (et plus terrain communal) pour employer chaque mesure comme évaluation de son paramètre correspondant. Ce soi-disant " ; ordinary" ; la règle de décision peut être écrite en tant que $de {\ chapeau \ boldsymbol \ thêta} = {\ mathbf X}.$

La qualité d'un tel estimateur est mesurée par sa fonction de risque de . Une fonction utilisée généralement de risque est l'erreur de la moyenne carrée , définie en tant que $E de \ est partie \ {\| {\ boldsymbol \ thêta} - {\} de chapeau \ boldsymbol \ thêta \|^2 \ droit \}.$ Étonnant, il s'avère que le " ; ordinary" ; l'estimateur proposé ci-dessus est suboptimal en termes d'erreur de la moyenne carrée. En d'autres termes, dans l'arrangement discuté ici, là existent les estimateurs alternatifs que le toujours réalisent l'erreur de la moyenne carrée inférieure, n'importe ce que la valeur du ${\ boldsymbol \ thêta}$ est.

Plus exactement, un $\ boldsymbol \ thêta} _1$ est dit au dominent un autre $d'estimateur {\ chapeau \ boldsymbol \ thêta} _2$ si, pour toutes les valeurs du ${\ boldsymbol \ thêta}$ , le risque du ${\ chapeau \ boldsymbol \ thêta} _1$ est inférieur que, ou une égale à, le risque du ${\ chapeau \ boldsymbol \ thêta} _2$ , et si l'inégalité est le strict pour un certain ${\ boldsymbol \ thêta}$ . Un estimateur serait le admissible si aucun autre estimateur ne le domine, autrement c'est le inadmissible. Ainsi, l'exemple de Stein peut être simplement énoncé comme suit : Le la règle de décision ordinaire pour estimer le moyen d'une distribution gaussienne multivariable est inadmissible sous le risque de la moyenne carrée d'erreur.

Beaucoup d'estimateurs simples et pratiques réalisent une meilleure exécution que l'estimateur ordinaire. L'exemple le plus connu est l'estimateur de James-Stein de .

Pour un croquis de la preuve de ce résultat, voir la preuve de de l'exemple de Stein.

Implications

L'exemple de Stein est étonnant, depuis le " ; ordinary" ; la règle de décision est intuitive et utilisée généralement. En fait, nombreuses méthodes pour la construction d'estimateur, y compris l'estimation avec maximum de vraisemblance , l'évaluation impartiale linéaire mieux, l'évaluation des moindres carrés du et l'évaluation optimale , tout le résultat d'Equivariant de dans le " ; ordinary" ; estimateur. Cependant, comme discuté ci-dessus, cet estimateur est suboptimal.

Pour démontrer la nature unintuitive de l'exemple de Stein, considérer l'exemple réel suivant. Supposer que nous devons estimer trois paramètres indépendants, tels que le rendement de blé des USA pour 1993, le nombre de spectateurs au tournoi de tennis de Wimbledon en 2001, et le poids d'une barre de sucrerie aléatoirement choisie du supermarché. Supposer que nous avons des mesures gaussiennes indépendantes de chacune de ces quantités. L'exemple de Stein nous indique maintenant que nous obtiendrons une meilleure évaluation pour les trois paramètres par simultanément using les trois mesures indépendantes.

À la première vue (ou au lecteur de naïve) il s'avère que de façon ou d'autre nous obtenons une meilleure évaluation pour le rendement de blé des USA en mesurant quelques autres statistiques indépendantes telles que le nombre de spectateurs chez Wimbeldon et le poids d'une barre de sucrerie. C'est naturellement absurde ; nous n'avons pas obtenu une meilleure évaluation pour seul le rendement de blé des USA, mais nous avons produit une évaluation pour les moyens du tout le des variables aléatoires, qui a un risque réduit du total de . Ainsi le coût d'une mauvaise évaluation dans un composant peut être compensé par une meilleure évaluation dans un autre composant.

Résolution du " ; paradox" ;

On peut demander comment la mesure simultanée de plusieurs paramètres réduit toute l'erreur des paramètres. Ceci provient du fait que quelques propriétés d'une distribution peuvent être estimées plus exactement quand les observations multiples sont présentes, même si ces observations sont statistiquement indépendant. Par exemple, considérer la norme carrée du vecteur de paramètre, $\|{\} de boldsymbol \ thêta \|^2$ . L'on a pourrait envisager d'estimer cette valeur using le $\|{\} de mathbf X \|^2$ . Cependant, l'espérance de cette évaluation peut s'avérer $E de \ {\|{\} de mathbf X \|^2 \} = \|{\} de boldsymbol \ thêta \|^2 + n,$ de sorte que $\|{\} de mathbf X \|^2$ tend à être une sur-estimation de $\|{\} de boldsymbol \ thêta \|^2$ . En outre, $\|{\} de boldsymbol \ thêta \|^2$ peut être estimé plus exactement quand plus de paramètres sont présents.

Il découle de l'équation ci-dessus qui le " ; ordinary" ; l'évaluation tend à surestimer la norme des paramètres. Ceci peut être corrigé en rétrécissant l'estimateur ordinaire, using, par exemple, l'estimateur de James-Stein de .

Random links: