U04.2 – MSE, Stichprobenmittel, Erwartungswert, Varianz, Schätzer

Wie in Aufgabe 4.1 sei $\left( {\Psi ,\mathcal{G},\mathcal{W}_z } \right)$ der zu einer einfachen Stichprobe $Z = \left( {X_1 , \ldots ,X_n } \right)$ vom Umfang n aus einer Bernoulli-Verteilung mit unbekanntem Parameter $\vartheta$ gehörige statistische
Raum. $M: = \frac{1} {n}\left( {X_1 + \ldots +X_n } \right)$ bezeichne das Stichprobenmittel (= relative Erfolgshäufigkeit).
Für $\gamma \left( \vartheta \right) = \vartheta ,\quad \vartheta \in \left[ {0,1} \right] = \Theta$ betrachten wir die Schätzer T:= M sowie U:= (nM+1)/(n+2).

a) Berechnen Sie MSE( $\vartheta$ ,U) und MSE( $\vartheta$ ,T) für beliebige $\vartheta \in \left[ {0,1} \right]$ .

b) Zeigen Sie, dass für alle $\vartheta$ mit $\left| {\vartheta -\frac{1} {2}} \right| \leq 2^{-\frac{3} {2}}$ gilt: MSE( $\vartheta$ ,U) < MSE( $\vartheta$ ,T).

c) Welcher der beiden Schätzer ist der effizientere?

Hinweis zu c): Verwenden Sie das Ergebnis von b) und betrachten Sie MSE( $\vartheta$ ,U) und
MSE( $\vartheta$ ,T) für $\vartheta = 0$ oder für $\vartheta = 1$ .

Lösung

MSE-Funktion (mean square error function, mittlerer quadratischer Fehler)

$MSE\left( {\: \cdot \:,g} \right):\Theta \to \mathbb{R}_+$

$MSE\left( {\vartheta ,g} \right): = E_\vartheta \left[ {\left( {g\left( Z \right)-\gamma \left( \vartheta \right)} \right)^2 } \right]$

$: = \operatorname{var} _\vartheta \left( g \right)+\left[ {E_\vartheta \left( g \right)-\gamma \left( \vartheta \right)} \right]^2 \quad ,\quad \forall \vartheta \in \Theta$

Ist g erwartungstreu für γ, so gilt: $MSE\left( {\vartheta ,g} \right) = \operatorname{var} _\vartheta \left( g \right)\quad ,\quad \forall \vartheta \in \Theta$

a)

Wir benötigen also für die MSE-Funktion die Varianz und den Erwartungswert bezüglich ϑ.

Es gilt:

$E_\vartheta \left( M \right) = \vartheta$

Erklärung:

(Nachweis, dass M Maximum-Likelihood-Schätzer für ϑ ist)

Für eine Bernoulli-Stichprobe vom Umfang n gilt:

$\Psi = \left\{ {0,1} \right\}^n ,\quad \Theta = \left\langle {0,1} \right\rangle$
mit der Wahrscheinlichkeitsfunktion: $f_\vartheta \left( s \right) = \left( {\begin{array}{*{20}c} n \\ s \\ \end{array} } \right)\vartheta ^s \left( {1-\vartheta } \right)^{n-s}$
wobei $z = \left( {x_1 , \ldots ,x_n } \right)$ und $s = x_1 + \ldots +x_n$

Siehe hierzu auch Einschub in diesem Artikel.

Wir suchen nun den Wert ϑ, für den die Funktion maximal wird, also für den die Likelihood den maximalen Wert annimmt. Alle anderen Werte seien konstant, womit wir den Vorfaktor $\left( {\begin{array}{*{20}c} n \\ s \\ \end{array} } \right)$ weglassen können:

$L\left( {z,\vartheta } \right) = \vartheta ^s \left( {1-\vartheta } \right)^{n-s}$

Mit Definition des Stichprobenmittels:

$M: = \frac{1} {n}\left( {X_1 + \ldots +X_n } \right)\quad \Leftrightarrow \quad nM = \left( {X_1 + \ldots +X_n } \right) = s$

folgt daraus:

$L\left( {z,\vartheta } \right) = \vartheta ^{nM} \left( {1-\vartheta } \right)^{n-nM}$

Zur Vereinfachung der Berechnung des Maximums bilden wir nun die Log-Likelihood, leiten diese ab und setzen sie = 0:

$\Rightarrow \quad \mathcal{L}\left( {z,\vartheta } \right) = \ln \left[ {\vartheta ^{nM} \left( {1-\vartheta } \right)^{n-nM} } \right] = \ln \vartheta ^{nM} +\ln \left( {1-\vartheta } \right)^{n-nM}$

$= nM\ln \vartheta +\left( {n-nM} \right)\ln \left( {1-\vartheta } \right) = n\left( {M\ln \vartheta +\left( {1-M} \right)\ln \left( {1-\vartheta } \right)} \right)$

$\Rightarrow \quad 0 = \mathcal{L}\:^\prime \left( {z,\vartheta } \right) = n\left( {\frac{M} {\vartheta }-\frac{{\left( {1-M} \right)}} {{\left( {1-\vartheta } \right)}}} \right) = \frac{n} {{\vartheta \left( {1-\vartheta } \right)}}\left( {M\left( {1-\vartheta } \right)-\left( {1-M} \right)\vartheta } \right)$

$= \frac{n} {{\vartheta \left( {1-\vartheta } \right)}}\left( {M-\vartheta } \right) = 0$

$\Rightarrow \quad n\left( {M-\vartheta } \right) = 0\quad \Rightarrow \quad nM = n\vartheta \quad \Rightarrow \quad \underline{\underline {M = \vartheta }}$

Somit ist das Stichprobenmittel M also der Maximum-Likelihood-Schätzer für ϑ.

Im Übrigen ist M auch noch erwartungstreu für ϑ.

Wegen der Erwartungstreue gilt:

$MSE\left( {\vartheta ,M} \right) = \operatorname{var} _\vartheta \left( M \right): = \frac{{\operatorname{var} _\vartheta \left( X \right)}} {n} = \frac{{E\left( {X^2 } \right)-\left( {E\left( X \right)} \right)^2 }} {n} = \frac{{\vartheta -\vartheta ^2 }} {n} = \frac{{\vartheta \left( {1-\vartheta } \right)}} {n}$

Da es sich um einen Bernoulliversuch handelt mit $X \in \left\{ {0,1} \right\}$ ist $E\left( {X^2 } \right) = E\left( X \right)$ .

Nun wollen wir den Erwartungswert von U bestimmen.

Rechenregel zum Erwartungswert:

Da der Erwartungswert linear ist (was daraus folgt, dass das Integral ein linearer Operator ist) gilt:

$\operatorname{E} (kX+d) = k\operatorname{E} (X)+d\quad ,\quad k,d \in \mathbb{R}$

Daher gilt:

$E_\vartheta \left( U \right) = E_\vartheta \left( {\frac{{nM+1}} {{n+2}}} \right) = E_\vartheta \left( {\underbrace {\frac{n} {{n+2}}}_kM+\underbrace {\frac{1} {{n+2}}}_d} \right) = \underline{\underline {\frac{{n\vartheta +1}} {{n+2}}}}$

Rechenregel zur Varianz: $\operatorname{Var} (aX+b) = a^2 \operatorname{Var} (X)$

Damit folgt:

$\operatorname{var} _\vartheta \left( U \right) = \operatorname{var} _\vartheta \left( {\frac{{nM+1}} {{n+2}}} \right) = \operatorname{var} _\vartheta \left( {\frac{n} {{n+2}}M+\frac{1} {{n+2}}} \right) = \operatorname{var} _\vartheta \left( {\frac{n} {{n+2}}M} \right)$

$= \frac{{n^2 }} {{\left( {n+2} \right)^2 }} \cdot \operatorname{var} _\vartheta \left( M \right) = \frac{{n^2 }} {{\left( {n+2} \right)^2 }} \cdot \frac{{\vartheta \left( {1-\vartheta } \right)}} {n} = \underline{\underline {\frac{{n\vartheta \left( {1-\vartheta } \right)}} {{\left( {n+2} \right)^2 }}}}$

Da U nicht erwartungstreu ist, gilt für die MSE:

$MSE\left( {\vartheta ,g} \right): = E_\vartheta \left[ {\left( {g\left( Z \right)-\gamma \left( \vartheta \right)} \right)^2 } \right]$

$: = \operatorname{var} _\vartheta \left( g \right)+\left[ {E_\vartheta \left( g \right)-\gamma \left( \vartheta \right)} \right]^2 \quad ,\quad \forall \vartheta \in \Theta$

$\Rightarrow \quad MSE\left( {\vartheta ,U} \right) = \operatorname{var} _\vartheta \left( U \right)+\left[ {E_\vartheta \left( U \right)-\vartheta } \right]^2$

$= \frac{{n\vartheta \left( {1-\vartheta } \right)}} {{\left( {n+2} \right)^2 }}+\left( {\frac{{n\vartheta +1}} {{n+2}}-\vartheta } \right)^2 = \frac{{n\vartheta \left( {1-\vartheta } \right)}} {{\left( {n+2} \right)^2 }}+\left( {\frac{{n\vartheta +1-\vartheta \left( {n+2} \right)}} {{n+2}}} \right)^2$

$= \frac{{n\vartheta \left( {1-\vartheta } \right)}} {{\left( {n+2} \right)^2 }}+\left( {\frac{{1-2\vartheta }} {{n+2}}} \right)^2 = \underline{\underline {\frac{{n\vartheta \left( {1-\vartheta } \right)+\left( {1-2\vartheta } \right)^2 }} {{\left( {n+2} \right)^2 }}}}$

b)

Es soll für alle $\vartheta$ mit $\left| {\vartheta -\frac{1} {2}} \right| \leq 2^{-\frac{3} {2}}$ gelten: MSE( $\vartheta$ ,U) < MSE( $\vartheta$ ,T).

Sei also $MSE\left( {\vartheta ,U} \right) < MSE\left( {\vartheta ,M} \right)$

Dann folgt daraus:

$MSE\left( {\vartheta ,U} \right) < MSE\left( {\vartheta ,M} \right)$

$\Rightarrow \quad \frac{{n\vartheta \left( {1-\vartheta } \right)+\left( {1-2\vartheta } \right)^2 }} {{\left( {n+2} \right)^2 }} < \frac{{\vartheta \left( {1-\vartheta } \right)}} {n}$

$\Rightarrow \quad \frac{{n\vartheta \left( {1-\vartheta } \right)}} {{\left( {n+2} \right)^2 }}+\frac{{\left( {1-2\vartheta } \right)^2 }} {{\left( {n+2} \right)^2 }} < \frac{{\vartheta \left( {1-\vartheta } \right)}} {n}$

$\Rightarrow \quad \left( {1-2\vartheta } \right)^2 < \frac{{\vartheta \left( {1-\vartheta } \right)\left( {n+2} \right)^2 }} {n}-n\vartheta \left( {1-\vartheta } \right)$

$\Rightarrow \quad \left( {1-2\vartheta } \right)^2 < \vartheta \left( {1-\vartheta } \right)\left[ {\frac{{\left( {n+2} \right)^2 }} {n}-n} \right]$

$\Rightarrow \quad \left( {1-2\vartheta } \right)^2 < \vartheta \left( {1-\vartheta } \right)\left[ {\frac{{4n+4}} {n}} \right]$

$\Rightarrow \quad \left( {\frac{1} {2}-\vartheta } \right)^2 < \vartheta \left( {1-\vartheta } \right)\left[ {\frac{{n+1}} {n}} \right]$

$\Rightarrow \quad \left( {\vartheta -\frac{1} {2}} \right)^2 < \vartheta \left( {1-\vartheta } \right)\left[ {1+\frac{1} {n}} \right]$

Da n Variabel ist und die Gleichung für jedes n gelten soll, folgt:

$\Rightarrow \quad \left( {\vartheta -\frac{1} {2}} \right)^2 < \vartheta \left( {1-\vartheta } \right) = \frac{1} {4}-\left( {\vartheta -\frac{1} {2}} \right)^2$

$\Rightarrow \quad 2\left( {\vartheta -\frac{1} {2}} \right)^2 < \frac{1} {4}$

$\Rightarrow \quad \left| {\vartheta -\frac{1} {2}} \right| < \frac{1} {{\sqrt 8 }}$

$\Rightarrow \quad \underline{\underline {\left| {\vartheta -\frac{1} {2}} \right| \leq 2^{-\frac{3} {2}} }} \quad q.e.d.$

Das würde also Bedeuten $MSE\left( {\vartheta ,U} \right) < MSE\left( {\vartheta ,M} \right)$ für $0.146 < \vartheta < 0.854$

c)

Die Antwort auf die Frage, welcher der beiden Schätzer der effizientere ist lautet: keiner von beiden.
Es gilt zwar $MSE\left( {\vartheta ,U} \right) < MSE\left( {\vartheta ,M} \right)$ für $0.146 < \vartheta < 0.854$ , aber es gilt:

$MSE\left( {\vartheta ,M} \right) = 0$ für $\vartheta \in \left\{ {0,1} \right\}$