U04.2 – MSE, Stichprobenmittel, Erwartungswert, Varianz, Schätzer

 

Wie in Aufgabe 4.1 sei \left( {\Psi ,\mathcal{G},\mathcal{W}_z } \right) der zu einer einfachen Stichprobe Z = \left( {X_1 , \ldots ,X_n } \right) vom Umfang n aus einer Bernoulli-Verteilung mit unbekanntem Parameter \vartheta gehörige statistische
Raum. M: = \frac{1} {n}\left( {X_1 + \ldots +X_n } \right) bezeichne das Stichprobenmittel (= relative Erfolgshäufigkeit).
Für \gamma \left( \vartheta  \right) = \vartheta ,\quad \vartheta  \in \left[ {0,1} \right] = \Theta betrachten wir die Schätzer T:= M sowie U:= (nM+1)/(n+2).

a) Berechnen Sie MSE(\vartheta,U) und MSE(\vartheta,T) für beliebige \vartheta  \in \left[ {0,1} \right].

b) Zeigen Sie, dass für alle \vartheta mit \left| {\vartheta -\frac{1} {2}} \right| \leq 2^{-\frac{3} {2}} gilt: MSE(\vartheta,U) < MSE(\vartheta,T).

c) Welcher der beiden Schätzer ist der effizientere?

Hinweis zu c): Verwenden Sie das Ergebnis von b) und betrachten Sie MSE(\vartheta,U) und
MSE(\vartheta,T) für \vartheta  = 0 oder für \vartheta  = 1.

Lösung

MSE-Funktion (mean square error function, mittlerer quadratischer Fehler)

MSE\left( {\: \cdot  \:,g} \right):\Theta  \to \mathbb{R}_+

MSE\left( {\vartheta ,g} \right): = E_\vartheta  \left[ {\left( {g\left( Z \right)-\gamma \left( \vartheta  \right)} \right)^2 } \right]

: = \operatorname{var} _\vartheta  \left( g \right)+\left[ {E_\vartheta  \left( g \right)-\gamma \left( \vartheta  \right)} \right]^2 \quad ,\quad \forall \vartheta  \in \Theta

Ist g erwartungstreu für γ, so gilt: MSE\left( {\vartheta ,g} \right) = \operatorname{var} _\vartheta  \left( g \right)\quad ,\quad \forall \vartheta  \in \Theta

a)

Wir benötigen also für die MSE-Funktion die Varianz und den Erwartungswert bezüglich ϑ.

Es gilt:

E_\vartheta  \left( M \right) = \vartheta

Erklärung:

(Nachweis, dass M Maximum-Likelihood-Schätzer für ϑ ist)

Für eine Bernoulli-Stichprobe vom Umfang n gilt:

\Psi  = \left\{ {0,1} \right\}^n ,\quad \Theta  = \left\langle {0,1} \right\rangle
mit der Wahrscheinlichkeitsfunktion: f_\vartheta  \left( s \right) = \left( {\begin{array}{*{20}c}    n  \\    s  \\   \end{array} } \right)\vartheta ^s \left( {1-\vartheta } \right)^{n-s}
wobei z = \left( {x_1 , \ldots ,x_n } \right) und s = x_1 + \ldots +x_n

Siehe hierzu auch Einschub in diesem Artikel.

Wir suchen nun den Wert ϑ, für den die Funktion maximal wird, also für den die Likelihood den maximalen Wert annimmt. Alle anderen Werte seien konstant, womit wir den Vorfaktor \left( {\begin{array}{*{20}c}    n  \\    s  \\   \end{array} } \right) weglassen können:

L\left( {z,\vartheta } \right) = \vartheta ^s \left( {1-\vartheta } \right)^{n-s}

Mit Definition des Stichprobenmittels:

M: = \frac{1} {n}\left( {X_1 + \ldots +X_n } \right)\quad  \Leftrightarrow \quad nM = \left( {X_1 + \ldots +X_n } \right) = s

folgt daraus:

L\left( {z,\vartheta } \right) = \vartheta ^{nM} \left( {1-\vartheta } \right)^{n-nM}

Zur Vereinfachung der Berechnung des Maximums bilden wir nun die Log-Likelihood, leiten diese ab und setzen sie = 0:

\Rightarrow \quad \mathcal{L}\left( {z,\vartheta } \right) = \ln \left[ {\vartheta ^{nM} \left( {1-\vartheta } \right)^{n-nM} } \right] = \ln \vartheta ^{nM} +\ln \left( {1-\vartheta } \right)^{n-nM}

= nM\ln \vartheta +\left( {n-nM} \right)\ln \left( {1-\vartheta } \right)     = n\left( {M\ln \vartheta +\left( {1-M} \right)\ln \left( {1-\vartheta } \right)} \right)

\Rightarrow \quad 0 = \mathcal{L}\:^\prime  \left( {z,\vartheta } \right) = n\left( {\frac{M} {\vartheta }-\frac{{\left( {1-M} \right)}} {{\left( {1-\vartheta } \right)}}} \right) = \frac{n} {{\vartheta \left( {1-\vartheta } \right)}}\left( {M\left( {1-\vartheta } \right)-\left( {1-M} \right)\vartheta } \right)

= \frac{n} {{\vartheta \left( {1-\vartheta } \right)}}\left( {M-\vartheta } \right) = 0

\Rightarrow \quad n\left( {M-\vartheta } \right) = 0\quad  \Rightarrow \quad nM = n\vartheta \quad  \Rightarrow \quad \underline{\underline {M = \vartheta }}

Somit ist das Stichprobenmittel M also der Maximum-Likelihood-Schätzer für ϑ.

Im Übrigen ist M auch noch erwartungstreu für ϑ.

Wegen der Erwartungstreue gilt:

MSE\left( {\vartheta ,M} \right) = \operatorname{var} _\vartheta  \left( M \right): = \frac{{\operatorname{var} _\vartheta  \left( X \right)}} {n} = \frac{{E\left( {X^2 } \right)-\left( {E\left( X \right)} \right)^2 }} {n} = \frac{{\vartheta -\vartheta ^2 }} {n} = \frac{{\vartheta \left( {1-\vartheta } \right)}} {n}

Da es sich um einen Bernoulliversuch handelt mitX \in \left\{ {0,1} \right\} ist E\left( {X^2 } \right) = E\left( X \right).

Nun wollen wir den Erwartungswert von U bestimmen.

Rechenregel zum Erwartungswert:

Da der Erwartungswert linear ist (was daraus folgt, dass das Integral ein linearer Operator ist) gilt:

\operatorname{E} (kX+d) = k\operatorname{E} (X)+d\quad ,\quad k,d \in \mathbb{R}

Daher gilt:

E_\vartheta  \left( U \right) = E_\vartheta  \left( {\frac{{nM+1}} {{n+2}}} \right) = E_\vartheta  \left( {\underbrace {\frac{n} {{n+2}}}_kM+\underbrace {\frac{1} {{n+2}}}_d} \right) = \underline{\underline {\frac{{n\vartheta +1}} {{n+2}}}}

Rechenregel zur Varianz: \operatorname{Var} (aX+b) = a^2 \operatorname{Var} (X)

Damit folgt:

\operatorname{var} _\vartheta  \left( U \right) = \operatorname{var} _\vartheta  \left( {\frac{{nM+1}} {{n+2}}} \right) = \operatorname{var} _\vartheta  \left( {\frac{n} {{n+2}}M+\frac{1} {{n+2}}} \right) = \operatorname{var} _\vartheta  \left( {\frac{n} {{n+2}}M} \right)

= \frac{{n^2 }} {{\left( {n+2} \right)^2 }} \cdot  \operatorname{var} _\vartheta  \left( M \right) = \frac{{n^2 }} {{\left( {n+2} \right)^2 }} \cdot  \frac{{\vartheta \left( {1-\vartheta } \right)}} {n} = \underline{\underline {\frac{{n\vartheta \left( {1-\vartheta } \right)}} {{\left( {n+2} \right)^2 }}}}

Da U nicht erwartungstreu ist, gilt für die MSE:

MSE\left( {\vartheta ,g} \right): = E_\vartheta  \left[ {\left( {g\left( Z \right)-\gamma \left( \vartheta  \right)} \right)^2 } \right]

: = \operatorname{var} _\vartheta  \left( g \right)+\left[ {E_\vartheta  \left( g \right)-\gamma \left( \vartheta  \right)} \right]^2 \quad ,\quad \forall \vartheta  \in \Theta

\Rightarrow \quad MSE\left( {\vartheta ,U} \right) = \operatorname{var} _\vartheta  \left( U \right)+\left[ {E_\vartheta  \left( U \right)-\vartheta } \right]^2

= \frac{{n\vartheta \left( {1-\vartheta } \right)}} {{\left( {n+2} \right)^2 }}+\left( {\frac{{n\vartheta +1}} {{n+2}}-\vartheta } \right)^2  = \frac{{n\vartheta \left( {1-\vartheta } \right)}} {{\left( {n+2} \right)^2 }}+\left( {\frac{{n\vartheta +1-\vartheta \left( {n+2} \right)}} {{n+2}}} \right)^2

= \frac{{n\vartheta \left( {1-\vartheta } \right)}} {{\left( {n+2} \right)^2 }}+\left( {\frac{{1-2\vartheta }} {{n+2}}} \right)^2  = \underline{\underline {\frac{{n\vartheta \left( {1-\vartheta } \right)+\left( {1-2\vartheta } \right)^2 }} {{\left( {n+2} \right)^2 }}}}

b)

Es soll für alle \vartheta mit \left| {\vartheta -\frac{1} {2}} \right| \leq 2^{-\frac{3} {2}} gelten: MSE(\vartheta,U) < MSE(\vartheta,T).

Sei also MSE\left( {\vartheta ,U} \right) < MSE\left( {\vartheta ,M} \right)

Dann folgt daraus:

MSE\left( {\vartheta ,U} \right) < MSE\left( {\vartheta ,M} \right)

\Rightarrow \quad \frac{{n\vartheta \left( {1-\vartheta } \right)+\left( {1-2\vartheta } \right)^2 }} {{\left( {n+2} \right)^2 }} < \frac{{\vartheta \left( {1-\vartheta } \right)}} {n}

\Rightarrow \quad \frac{{n\vartheta \left( {1-\vartheta } \right)}} {{\left( {n+2} \right)^2 }}+\frac{{\left( {1-2\vartheta } \right)^2 }} {{\left( {n+2} \right)^2 }} < \frac{{\vartheta \left( {1-\vartheta } \right)}} {n}

\Rightarrow \quad \left( {1-2\vartheta } \right)^2  < \frac{{\vartheta \left( {1-\vartheta } \right)\left( {n+2} \right)^2 }} {n}-n\vartheta \left( {1-\vartheta } \right)

\Rightarrow \quad \left( {1-2\vartheta } \right)^2  < \vartheta \left( {1-\vartheta } \right)\left[ {\frac{{\left( {n+2} \right)^2 }} {n}-n} \right]

\Rightarrow \quad \left( {1-2\vartheta } \right)^2  < \vartheta \left( {1-\vartheta } \right)\left[ {\frac{{4n+4}} {n}} \right]

\Rightarrow \quad \left( {\frac{1} {2}-\vartheta } \right)^2  < \vartheta \left( {1-\vartheta } \right)\left[ {\frac{{n+1}} {n}} \right]

\Rightarrow \quad \left( {\vartheta -\frac{1} {2}} \right)^2  < \vartheta \left( {1-\vartheta } \right)\left[ {1+\frac{1} {n}} \right]

Da n Variabel ist und die Gleichung für jedes n gelten soll, folgt:

\Rightarrow \quad \left( {\vartheta -\frac{1} {2}} \right)^2  < \vartheta \left( {1-\vartheta } \right) = \frac{1} {4}-\left( {\vartheta -\frac{1} {2}} \right)^2

\Rightarrow \quad 2\left( {\vartheta -\frac{1} {2}} \right)^2  < \frac{1} {4}

\Rightarrow \quad \left| {\vartheta -\frac{1} {2}} \right| < \frac{1} {{\sqrt 8 }}

\Rightarrow \quad \underline{\underline {\left| {\vartheta -\frac{1} {2}} \right| \leq 2^{-\frac{3} {2}} }} \quad q.e.d.

Das würde also Bedeuten MSE\left( {\vartheta ,U} \right) < MSE\left( {\vartheta ,M} \right) für 0.146 < \vartheta  < 0.854

c)

Die Antwort auf die Frage, welcher der beiden Schätzer der effizientere ist lautet: keiner von beiden.
Es gilt zwar MSE\left( {\vartheta ,U} \right) < MSE\left( {\vartheta ,M} \right) für 0.146 < \vartheta  < 0.854, aber es gilt:

MSE\left( {\vartheta ,M} \right) = 0 für \vartheta  \in \left\{ {0,1} \right\}

MSE\left( {\vartheta ,U} \right) = \frac{1} {{\left( {n+2} \right)^2 }} für \vartheta  \in \left\{ {0,1} \right\}

und somit gilt MSE\left( {\vartheta ,U} \right) > MSE\left( {\vartheta ,M} \right) bei 0 und 1.

\mathcal{J}\mathcal{K}