U04.1 – Erwartungstreue und Produkträume

Produkträume

Sei $ \left( {E,\mathcal{E},\mathcal{W}_X } \right) $ ein statistischer Raum und sei n eine natürliche Zahl.

Dabei sei $ \mathcal{W}_X = \left\{ {p_\vartheta |\vartheta \in \Theta } \right\} $ die Menge der möglichen Verteilungen einer E-wertigen Zufallsvariablen X in parametrisierter Form.

Setze $ \Psi = E^n ,\quad \mathcal{G} = \mathcal{E}^{ \otimes n} ,\quad \mathcal{W}_Z = \mathcal{W}_X ^{ \otimes n} : = \left\{ {p_\vartheta ^{ \otimes n} |\vartheta \in \Theta } \right\} $ .

$ \left( {\Psi ,\mathcal{G},\mathcal{W}_z } \right) $ heißt dann n-facher Produktraum von $ \left( {E,\mathcal{E},\mathcal{W}_X } \right) $

Erklärung:

Man betrachtet nun eine „einfache X-Stichprobe $ Z = \left( {X_1 , \ldots ,X_n } \right) $ vom Umfang n“ d.h. $ X_1 , \ldots ,X_n $ sind unabhängig und identisch verteilte Zufallsvariablen.

Der n-fache Produktraum ist dann „der zur X-Stichprobe vom Umfang n gehörige statistische Raum“.

Bemerkungen:

Ist $ \left( {E,\mathcal{E},\mathcal{W}_X } \right) $ parametrisch oder ein Standardraum, so ist dies auch $ \left( {E^n ,\mathcal{E}^{ \otimes n} ,\mathcal{W}_X ^{ \otimes n} } \right) $

Genauer gilt für $ \vartheta \in \Theta $ :

Hat $ p_\vartheta \in \mathcal{W}_X $ die Likelihood $ \rho _\vartheta $

so hat $ w_\vartheta = p_\vartheta ^{ \otimes n} \in \mathcal{W}_X ^{ \otimes n} $ die Likelihood $ f_\vartheta \left( {x_1 , \ldots ,x_n } \right) = \rho _\vartheta \left( {x_1 } \right) \cdot \ldots \cdot \rho _\vartheta \left( {x_n } \right)\quad ,\quad \forall x_n \in E^n $

Erwartungstreue

Sei X eine Zufallsvariable, für deren Menge von Verteilungsfunktionen $ \mathcal{W}_Z $ gilt $ \vartheta \in \Theta $ .

Sei 
g(X) ein Schätzer.

Die Funktion $ \Theta \mathrel\backepsilon \vartheta \to E_\vartheta \left( g \right)-\gamma \left( \vartheta \right) $ heißt Verzerrung oder Bias von g.

Ein Schätzer 
g(X) heißt erwartungstreu für ein Funktional $ \gamma (\vartheta ) $ , wenn gilt:

$ E_\vartheta [g(X)] = \gamma (\vartheta )\quad \forall \vartheta \in \Theta $

Beispiele:

Sei $ Z = \left( {X_1 , \ldots ,X_n } \right) $ eine einfache reellwertige Stichprobe.

$ \mathcal{W}_X $ sei die Menge der für 
X: = X_1 in Frage kommenden Verteilungen auf $ \left( {\mathbb{R},\mathcal{B}} \right) $

$ \left( {\Psi ,\mathcal{G}} \right) = \left( {\mathbb{R}^n ,\mathcal{B}^n } \right),\quad \mathcal{W}_Z = \mathcal{W}_X ^{ \otimes n} = \left\{ {p^{ \otimes n} |p \in \mathcal{W}_X } \right\} $

Seien $ g\left( z \right) = M,\:h\left( z \right) = S^2 $

g wäre z.B. ein erwartungstreuer Schätzer für $ \gamma _1 (p) = E_p \left( {X_1 } \right) $ da gilt:

$ E_p [g\left( z \right)] = E_p \left( M \right) = \mu = E_p \left( X \right) = \gamma (p)\quad ,\quad X: = X_1 $

h wäre ein erwartungstreuer Schätzer für $ \gamma _Z \left( p \right) = \operatorname{var} _p \left( {X_1 } \right) $ da gilt:

$ E_p [g\left( z \right)] = E_p \left( {S^2 } \right) = \sigma _p ^2 \left( {X_1 } \right) = \operatorname{var} _p \left( {X_1 } \right) = \gamma _Z \left( p \right) $
Für beliebige $ x \in \mathbb{R} $ sei

$ g\left( {x,Z} \right) = g\left( {x,X_1 , \ldots ,X_n } \right) = F_n \left( x \right) = \frac{1} {n} \cdot \left( {Anzahl\:der\:k\:mit\:X_k \leq x} \right) $

$ g\left( {x,Z} \right) $ ist eine erwartungstreue Schätzfunktion für $ \gamma \left( p \right) = F_p \left( x \right)\quad ;\quad p \in \mathcal{W}_X $

(wobei die zu p gehörige Verteilungsfunktion ist) da gilt:

$ E_p [g\left( {x,Z} \right)] = E_p \left( {F_n \left( x \right)} \right) = F_p \left( x \right) = \gamma \left( p \right) $

wegen:

$ F_n \left( x \right) = \frac{1} {n} \cdot \left( {Anzahl\:der\:k\:mit\:X_k \leq x} \right) $

Aufgabe

Sei $ \left( {\Psi ,\mathcal{G},\mathcal{W}_z } \right) $ der zu einer einfachen Stichprobe $ Z = \left( {X_1 , \ldots ,X_n } \right) $ vom Umfang n aus einer Bernoulli-Verteilung mit unbekanntem Parameter $ \vartheta $ gehörige statistische Raum.
Gibt es eine erwartungstreue Schätzfunktion für die Standardabweichung von X₁, also für
$ \gamma \left( \vartheta \right) = \left[ {\vartheta \left( {1-\vartheta } \right)} \right]^{1/2} \quad ;\quad \vartheta \in \left[ {0,1} \right] = \Theta $ ?

Hinweis: Zeigen Sie, dass für jede Schätzfunktion g $ \vartheta \to E_\vartheta \left( g \right) $ ein Polynom in $ \vartheta $ ist.

Lösung

Für eine Bernoulliverteilung (vom Umfang n) gilt:

$ \Psi = \left\{ {0,1} \right\}^n $

$ \mathcal{W}_z = \left\{ {B\left( {1,\vartheta } \right)^{ \otimes n} |\vartheta \in \left[ {0,1} \right]} \right\} $

Einschub:

Für $ B\left( {n,p} \right) = B\left( {1,\vartheta } \right) $ würde die W-Funktion lauten:

$ \rho _\vartheta = \vartheta ^x \left( {1-\vartheta } \right)^{1-x} \quad ;\quad x \in E\:,\:\vartheta \in \Theta $
Demnach wäre also

$ f_\vartheta \left( {x_1 , \ldots ,x_n } \right) = \rho _\vartheta \left( {x_1 } \right) \cdot \ldots \cdot \rho _\vartheta \left( {x_n } \right) = \vartheta ^{x_1 } \left( {1-\vartheta } \right)^{1-x_1 } \cdot \ldots \cdot \vartheta ^{x_n } \left( {1-\vartheta } \right)^{1-x_n } = $

$ = \vartheta ^{x_1 + \ldots +x_n } \left( {1-\vartheta } \right)^{\left( {1-x_1 } \right)+ \ldots +\left( {1-x_n } \right)} = \vartheta ^s \left( {1-\vartheta } \right)^{n-s} \quad ,\quad \left( {x_1 , \ldots ,x_n } \right) \in \Psi ,\quad s = x_1 + \ldots +x_n $

$ f_\vartheta = \vartheta ^{S\left( z \right)} \left( {1-\vartheta } \right)^{n-S\left( z \right)} $ mit $ S\left( z \right): = x_1 + \ldots +x_n $

$ \gamma \left( z \right) = \sqrt {\vartheta \left( {1-\vartheta } \right)} \quad ,\quad \vartheta \in \left[ {0,1} \right] = \Theta $

Für eine erwartungstreue Schätzfunktion müsste gelten: $ E_\vartheta [g(X)] = \gamma (\vartheta )\quad \forall \vartheta \in \Theta $

Erinnerung:

Für den Erwartungswert im diskreten Fall gilt: $ E\left( {g\left( x \right)} \right) = \sum\limits_{x \in T} {g\left( x \right)f\left( x \right)} $

Für eine diskrete reelle Zufallsvariable X wäre $ E\left( X \right) = \sum\limits_{x \in T} {x\:f\left( x \right)} $

Sei $ g:\Psi \to \mathbb{R} $ irgendeine Schätzfunktion

$ E_\vartheta \left( g \right) = \sum\limits_{z \in \Psi } {g\left( z \right)f_\vartheta } = \sum\limits_{z \in \Psi } {g\left( z \right)\vartheta ^{S\left( z \right)} \left( {1-\vartheta } \right)^{n-S\left( z \right)} } $

$ = \sum\limits_{k = 0}^n {\left( {\sum\limits_{z \in \Psi \:,\:S\left( z \right) = k} {g\left( z \right)} } \right)\vartheta ^k \left( {1-\vartheta } \right)^{n-k} } $

$ = \sum\limits_{k = 0}^n {g_k \:\vartheta ^k \left( {1-\vartheta } \right)^{n-k} } \quad ,\quad wobei\:g_k : = \sum\limits_{z \in \Psi \:,\:S\left( z \right) = k} {g\left( z \right)} $