U04.1 – Erwartungstreue und Produkträume

 

Produkträume

Sei \left( {E,\mathcal{E},\mathcal{W}_X } \right) ein statistischer Raum und sei n eine natürliche Zahl.

Dabei sei \mathcal{W}_X  = \left\{ {p_\vartheta  |\vartheta  \in \Theta } \right\}die Menge der möglichen Verteilungen einer E-wertigen Zufallsvariablen X in parametrisierter Form.

Setze \Psi  = E^n ,\quad \mathcal{G} = \mathcal{E}^{ \otimes n} ,\quad \mathcal{W}_Z  = \mathcal{W}_X ^{ \otimes n} : = \left\{ {p_\vartheta  ^{ \otimes n} |\vartheta  \in \Theta } \right\}.

\left( {\Psi ,\mathcal{G},\mathcal{W}_z } \right) heißt dann n-facher Produktraum von \left( {E,\mathcal{E},\mathcal{W}_X } \right)

Erklärung:

Man betrachtet nun eine „einfache X-Stichprobe Z = \left( {X_1 , \ldots ,X_n } \right) vom Umfang n“ d.h. X_1 , \ldots ,X_n sind unabhängig und identisch verteilte Zufallsvariablen.

Der n-fache Produktraum ist dann „der zur X-Stichprobe vom Umfang n gehörige statistische Raum“.

Bemerkungen:

Ist \left( {E,\mathcal{E},\mathcal{W}_X } \right) parametrisch oder ein Standardraum, so ist dies auch \left( {E^n ,\mathcal{E}^{ \otimes n} ,\mathcal{W}_X ^{ \otimes n} } \right)

Genauer gilt für \vartheta  \in \Theta:

Hat p_\vartheta   \in \mathcal{W}_X die Likelihood \rho _\vartheta

so hat w_\vartheta   = p_\vartheta  ^{ \otimes n}  \in \mathcal{W}_X ^{ \otimes n} die Likelihood f_\vartheta  \left( {x_1 , \ldots ,x_n } \right) = \rho _\vartheta  \left( {x_1 } \right) \cdot   \ldots  \cdot  \rho _\vartheta  \left( {x_n } \right)\quad ,\quad \forall x_n  \in E^n

Erwartungstreue

Sei X eine Zufallsvariable, für deren Menge von Verteilungsfunktionen \mathcal{W}_Z gilt \vartheta  \in \Theta.

Sei g(X) ein Schätzer.

Die Funktion \Theta  \mathrel\backepsilon  \vartheta  \to E_\vartheta  \left( g \right)-\gamma \left( \vartheta  \right) heißt Verzerrung oder Bias von g.

Ein Schätzer g(X) heißt erwartungstreu für ein Funktional \gamma (\vartheta ), wenn gilt:

E_\vartheta  [g(X)] = \gamma (\vartheta )\quad \forall \vartheta  \in \Theta

Beispiele:

Sei Z = \left( {X_1 , \ldots ,X_n } \right) eine einfache reellwertige Stichprobe.

\mathcal{W}_X sei die Menge der für X: = X_1 in Frage kommenden Verteilungen auf \left( {\mathbb{R},\mathcal{B}} \right)

\left( {\Psi ,\mathcal{G}} \right) = \left( {\mathbb{R}^n ,\mathcal{B}^n } \right),\quad \mathcal{W}_Z  = \mathcal{W}_X ^{ \otimes n}  = \left\{ {p^{ \otimes n} |p \in \mathcal{W}_X } \right\}

  • Seien g\left( z \right) = M,\:h\left( z \right) = S^2

    g wäre z.B. ein erwartungstreuer Schätzer für \gamma _1 (p) = E_p \left( {X_1 } \right)da gilt:

    E_p [g\left( z \right)] = E_p \left( M \right) = \mu  = E_p \left( X \right) = \gamma (p)\quad ,\quad X: = X_1

    h wäre ein erwartungstreuer Schätzer für \gamma _Z \left( p \right) = \operatorname{var} _p \left( {X_1 } \right) da gilt:

    E_p [h\left( z \right)] = E_p \left( {S^2 } \right) = \sigma _p ^2 \left( {X_1 } \right) = \operatorname{var} _p \left( {X_1 } \right) = \gamma _Z \left( p \right)

  • Für beliebige x \in \mathbb{R} sei

    g\left( {x,Z} \right) = g\left( {x,X_1 , \ldots ,X_n } \right) = F_n \left( x \right) = \frac{1} {n} \cdot  \left( {Anzahl\:der\:k\:mit\:X_k  \leq x} \right)

    g\left( {x,Z} \right) ist eine erwartungstreue Schätzfunktion für \gamma \left( p \right) = F_p \left( x \right)\quad ;\quad p \in \mathcal{W}_X

    (wobei F_p die zu p gehörige Verteilungsfunktion ist) da gilt:

    E_p [g\left( {x,Z} \right)] = E_p \left( {F_n \left( x \right)} \right) = F_p \left( x \right) = \gamma \left( p \right)

    wegen:

    F_n \left( x \right) = \frac{1} {n} \cdot  \left( {Anzahl\:der\:k\:mit\:X_k  \leq x} \right)

Aufgabe

Sei \left( {\Psi ,\mathcal{G},\mathcal{W}_z } \right) der zu einer einfachen Stichprobe Z = \left( {X_1 , \ldots ,X_n } \right) vom Umfang n aus einer Bernoulli-Verteilung mit unbekanntem Parameter \vartheta gehörige statistische Raum.
Gibt es eine erwartungstreue Schätzfunktion für die Standardabweichung von X1, also für
\gamma \left( \vartheta  \right) = \left[ {\vartheta \left( {1-\vartheta } \right)} \right]^{1/2} \quad ;\quad \vartheta  \in \left[ {0,1} \right] = \Theta ?

Hinweis: Zeigen Sie, dass für jede Schätzfunktion g \vartheta  \to E_\vartheta  \left( g \right) ein Polynom in \vartheta ist.

Lösung

Für eine Bernoulliverteilung (vom Umfang n) gilt:

\Psi  = \left\{ {0,1} \right\}^n

\mathcal{W}_z  = \left\{ {B\left( {1,\vartheta } \right)^{ \otimes n} |\vartheta  \in \left[ {0,1} \right]} \right\}

Einschub:

Für B\left( {n,p} \right) = B\left( {1,\vartheta } \right) würde die W-Funktion lauten:

\rho _\vartheta   = \vartheta ^x \left( {1-\vartheta } \right)^{1-x} \quad ;\quad x \in E\:,\:\vartheta  \in \Theta
Demnach wäre also

f_\vartheta  \left( {x_1 , \ldots ,x_n } \right) = \rho _\vartheta  \left( {x_1 } \right) \cdot   \ldots  \cdot  \rho _\vartheta  \left( {x_n } \right) = \vartheta ^{x_1 } \left( {1-\vartheta } \right)^{1-x_1 }  \cdot   \ldots  \cdot  \vartheta ^{x_n } \left( {1-\vartheta } \right)^{1-x_n }  =

= \vartheta ^{x_1 + \ldots +x_n } \left( {1-\vartheta } \right)^{\left( {1-x_1 } \right)+ \ldots +\left( {1-x_n } \right)}  = \vartheta ^s \left( {1-\vartheta } \right)^{n-s} \quad ,\quad \left( {x_1 , \ldots ,x_n } \right) \in \Psi ,\quad s = x_1 + \ldots +x_n

f_\vartheta   = \vartheta ^{S\left( z \right)} \left( {1-\vartheta } \right)^{n-S\left( z \right)} mit S\left( z \right): = x_1 + \ldots +x_n

\gamma \left( z \right) = \sqrt {\vartheta \left( {1-\vartheta } \right)} \quad ,\quad \vartheta  \in \left[ {0,1} \right] = \Theta

Für eine erwartungstreue Schätzfunktion müsste gelten: E_\vartheta  [g(X)] = \gamma (\vartheta )\quad \forall \vartheta  \in \Theta

Erinnerung:

Für den Erwartungswert im diskreten Fall gilt: E\left( {g\left( x \right)} \right) = \sum\limits_{x \in T} {g\left( x \right)f\left( x \right)}

Für eine diskrete reelle Zufallsvariable X wäre E\left( X \right) = \sum\limits_{x \in T} {x\:f\left( x \right)}

Sei g:\Psi  \to \mathbb{R} irgendeine Schätzfunktion

E_\vartheta  \left( g \right) = \sum\limits_{z \in \Psi } {g\left( z \right)f_\vartheta  }  = \sum\limits_{z \in \Psi } {g\left( z \right)\vartheta ^{S\left( z \right)} \left( {1-\vartheta } \right)^{n-S\left( z \right)} }

= \sum\limits_{k = 0}^n {\left( {\sum\limits_{z \in \Psi \:,\:S\left( z \right) = k} {g\left( z \right)} } \right)\vartheta ^k \left( {1-\vartheta } \right)^{n-k} }

= \sum\limits_{k = 0}^n {g_k \:\vartheta ^k \left( {1-\vartheta } \right)^{n-k} } \quad ,\quad wobei\:g_k : = \sum\limits_{z \in \Psi \:,\:S\left( z \right) = k} {g\left( z \right)}

\Rightarrow \quad \vartheta  \mapsto E_\vartheta  \left( g \right) ist ein Polynom in \vartheta vom (Grad \leq n)

\gamma ist aber kein Polynom \Rightarrow Es gibt keine erwartungstreue Schätzfunktion.

\mathcal{J}\mathcal{K}