U04.1 – Erwartungstreue und Produkträume

Produkträume

Sei $\left( {E,\mathcal{E},\mathcal{W}_X } \right)$ ein statistischer Raum und sei n eine natürliche Zahl.

Dabei sei $\mathcal{W}_X = \left\{ {p_\vartheta |\vartheta \in \Theta } \right\}$ die Menge der möglichen Verteilungen einer E-wertigen Zufallsvariablen X in parametrisierter Form.

Setze $\Psi = E^n ,\quad \mathcal{G} = \mathcal{E}^{ \otimes n} ,\quad \mathcal{W}_Z = \mathcal{W}_X ^{ \otimes n} : = \left\{ {p_\vartheta ^{ \otimes n} |\vartheta \in \Theta } \right\}$ .

$\left( {\Psi ,\mathcal{G},\mathcal{W}_z } \right)$ heißt dann n-facher Produktraum von $\left( {E,\mathcal{E},\mathcal{W}_X } \right)$

Erklärung:

Man betrachtet nun eine „einfache X-Stichprobe $Z = \left( {X_1 , \ldots ,X_n } \right)$ vom Umfang n“ d.h. $X_1 , \ldots ,X_n$ sind unabhängig und identisch verteilte Zufallsvariablen.

Der n-fache Produktraum ist dann „der zur X-Stichprobe vom Umfang n gehörige statistische Raum“.

Bemerkungen:

Ist $\left( {E,\mathcal{E},\mathcal{W}_X } \right)$ parametrisch oder ein Standardraum, so ist dies auch $\left( {E^n ,\mathcal{E}^{ \otimes n} ,\mathcal{W}_X ^{ \otimes n} } \right)$

Genauer gilt für $\vartheta \in \Theta$ :

Hat $p_\vartheta \in \mathcal{W}_X$ die Likelihood $\rho _\vartheta$

so hat $w_\vartheta = p_\vartheta ^{ \otimes n} \in \mathcal{W}_X ^{ \otimes n}$ die Likelihood $f_\vartheta \left( {x_1 , \ldots ,x_n } \right) = \rho _\vartheta \left( {x_1 } \right) \cdot \ldots \cdot \rho _\vartheta \left( {x_n } \right)\quad ,\quad \forall x_n \in E^n$

Erwartungstreue

Sei X eine Zufallsvariable, für deren Menge von Verteilungsfunktionen $\mathcal{W}_Z$ gilt $\vartheta \in \Theta$ .

Sei $g(X)$ ein Schätzer.

Die Funktion $\Theta \mathrel\backepsilon \vartheta \to E_\vartheta \left( g \right)-\gamma \left( \vartheta \right)$ heißt Verzerrung oder Bias von g.

Ein Schätzer $g(X)$ heißt erwartungstreu für ein Funktional $\gamma (\vartheta )$ , wenn gilt:

$E_\vartheta [g(X)] = \gamma (\vartheta )\quad \forall \vartheta \in \Theta$

Beispiele:

Sei $Z = \left( {X_1 , \ldots ,X_n } \right)$ eine einfache reellwertige Stichprobe.

$\mathcal{W}_X$ sei die Menge der für $X: = X_1$ in Frage kommenden Verteilungen auf $\left( {\mathbb{R},\mathcal{B}} \right)$

$\left( {\Psi ,\mathcal{G}} \right) = \left( {\mathbb{R}^n ,\mathcal{B}^n } \right),\quad \mathcal{W}_Z = \mathcal{W}_X ^{ \otimes n} = \left\{ {p^{ \otimes n} |p \in \mathcal{W}_X } \right\}$

Seien $g\left( z \right) = M,\:h\left( z \right) = S^2$

g wäre z.B. ein erwartungstreuer Schätzer für $\gamma _1 (p) = E_p \left( {X_1 } \right)$ da gilt:

$E_p [g\left( z \right)] = E_p \left( M \right) = \mu = E_p \left( X \right) = \gamma (p)\quad ,\quad X: = X_1$

h wäre ein erwartungstreuer Schätzer für $\gamma _Z \left( p \right) = \operatorname{var} _p \left( {X_1 } \right)$ da gilt:

$E_p [g\left( z \right)] = E_p \left( {S^2 } \right) = \sigma _p ^2 \left( {X_1 } \right) = \operatorname{var} _p \left( {X_1 } \right) = \gamma _Z \left( p \right)$
Für beliebige $x \in \mathbb{R}$ sei

$g\left( {x,Z} \right) = g\left( {x,X_1 , \ldots ,X_n } \right) = F_n \left( x \right) = \frac{1} {n} \cdot \left( {Anzahl\:der\:k\:mit\:X_k \leq x} \right)$

$g\left( {x,Z} \right)$ ist eine erwartungstreue Schätzfunktion für $\gamma \left( p \right) = F_p \left( x \right)\quad ;\quad p \in \mathcal{W}_X$

(wobei $F_p$ die zu p gehörige Verteilungsfunktion ist) da gilt:

$E_p [g\left( {x,Z} \right)] = E_p \left( {F_n \left( x \right)} \right) = F_p \left( x \right) = \gamma \left( p \right)$

wegen:

$F_n \left( x \right) = \frac{1} {n} \cdot \left( {Anzahl\:der\:k\:mit\:X_k \leq x} \right)$

Aufgabe

Sei $\left( {\Psi ,\mathcal{G},\mathcal{W}_z } \right)$ der zu einer einfachen Stichprobe $Z = \left( {X_1 , \ldots ,X_n } \right)$ vom Umfang n aus einer Bernoulli-Verteilung mit unbekanntem Parameter $\vartheta$ gehörige statistische Raum.
Gibt es eine erwartungstreue Schätzfunktion für die Standardabweichung von X₁, also für
$\gamma \left( \vartheta \right) = \left[ {\vartheta \left( {1-\vartheta } \right)} \right]^{1/2} \quad ;\quad \vartheta \in \left[ {0,1} \right] = \Theta$ ?

Hinweis: Zeigen Sie, dass für jede Schätzfunktion g $\vartheta \to E_\vartheta \left( g \right)$ ein Polynom in $\vartheta$ ist.

Lösung

Für eine Bernoulliverteilung (vom Umfang n) gilt:

$\Psi = \left\{ {0,1} \right\}^n$

$\mathcal{W}_z = \left\{ {B\left( {1,\vartheta } \right)^{ \otimes n} |\vartheta \in \left[ {0,1} \right]} \right\}$

Einschub:

Für $B\left( {n,p} \right) = B\left( {1,\vartheta } \right)$ würde die W-Funktion lauten:

$\rho _\vartheta = \vartheta ^x \left( {1-\vartheta } \right)^{1-x} \quad ;\quad x \in E\:,\:\vartheta \in \Theta$
Demnach wäre also

$f_\vartheta \left( {x_1 , \ldots ,x_n } \right) = \rho _\vartheta \left( {x_1 } \right) \cdot \ldots \cdot \rho _\vartheta \left( {x_n } \right) = \vartheta ^{x_1 } \left( {1-\vartheta } \right)^{1-x_1 } \cdot \ldots \cdot \vartheta ^{x_n } \left( {1-\vartheta } \right)^{1-x_n } =$

$= \vartheta ^{x_1 + \ldots +x_n } \left( {1-\vartheta } \right)^{\left( {1-x_1 } \right)+ \ldots +\left( {1-x_n } \right)} = \vartheta ^s \left( {1-\vartheta } \right)^{n-s} \quad ,\quad \left( {x_1 , \ldots ,x_n } \right) \in \Psi ,\quad s = x_1 + \ldots +x_n$

$f_\vartheta = \vartheta ^{S\left( z \right)} \left( {1-\vartheta } \right)^{n-S\left( z \right)}$ mit $S\left( z \right): = x_1 + \ldots +x_n$

$\gamma \left( z \right) = \sqrt {\vartheta \left( {1-\vartheta } \right)} \quad ,\quad \vartheta \in \left[ {0,1} \right] = \Theta$

Für eine erwartungstreue Schätzfunktion müsste gelten: $E_\vartheta [g(X)] = \gamma (\vartheta )\quad \forall \vartheta \in \Theta$

Erinnerung:

Für den Erwartungswert im diskreten Fall gilt: $E\left( {g\left( x \right)} \right) = \sum\limits_{x \in T} {g\left( x \right)f\left( x \right)}$

Für eine diskrete reelle Zufallsvariable X wäre $E\left( X \right) = \sum\limits_{x \in T} {x\:f\left( x \right)}$

Sei $g:\Psi \to \mathbb{R}$ irgendeine Schätzfunktion

$E_\vartheta \left( g \right) = \sum\limits_{z \in \Psi } {g\left( z \right)f_\vartheta } = \sum\limits_{z \in \Psi } {g\left( z \right)\vartheta ^{S\left( z \right)} \left( {1-\vartheta } \right)^{n-S\left( z \right)} }$

$= \sum\limits_{k = 0}^n {\left( {\sum\limits_{z \in \Psi \:,\:S\left( z \right) = k} {g\left( z \right)} } \right)\vartheta ^k \left( {1-\vartheta } \right)^{n-k} }$

$= \sum\limits_{k = 0}^n {g_k \:\vartheta ^k \left( {1-\vartheta } \right)^{n-k} } \quad ,\quad wobei\:g_k : = \sum\limits_{z \in \Psi \:,\:S\left( z \right) = k} {g\left( z \right)}$