U06.1 – Exponentialfamilie, Fisher-Information, UMVUE

 

Gegeben ist eine einfache Stichprobe vom Umfang n aus einer normalverteilten Grundgesamtheit mit unbekannter Varianz v > 0 und bekanntem Erwartungswert m0, also Z = (X1,…,Xn) mit X1, …, Xn i.i.d. ~ N(m0,v), v \in \Theta : = \left\langle {0,\infty } \right\rangle.
Sei T(Z) := T(X1,…,Xn) := (1/n)[(X1- m0)²+...+(Xn-m0)²].

a) Zeigen Sie, dass eine Exponentialfamilie bezüglich T vorliegt.

b) Berechnen Sie \gamma \left( v \right): = E_v \left( T \right) und die Fisher-Information I(v) für alle v \in \Theta.

c) Zeigen Sie, dass T(Z) UMVUE für v ist.

Hinweis: a) 2.14, insbesondere Bemerkung 2; b) 2.15.1 und 2.15.4; c) 2.16.

Lösung

Normalverteilung:
Für die Dichte der Standardnormalverteilung gilt: \varphi \left( x \right) = \frac{1} {{\sqrt {2\pi } }}\operatorname{e} ^{-\frac{{x^2 }} {2}}

Für die Dichte der allgemeinen Normalverteilung gilt:

f\left( x \right) = \frac{1} {\sigma }\varphi \left( {\frac{{x-\mu }} {\sigma }} \right) = \frac{1} {{\sqrt {2\pi } }}\frac{1} {\sigma }\operatorname{e} ^{-\frac{1} {2}\left( {\frac{{x-\mu }} {\sigma }} \right)^2 }

Angegeben wird die Normalverteilung als N\left( {\mu ,\sigma ^2 } \right)

.

Exponentialfamilie:
Die Menge von Verteilungen \mathcal{W}_Z = \left\{ {w_\vartheta :\vartheta \in \Theta } \right\} heißt (einparametrige) Exponentialfamilie bezüglich einer Statistik T:\Psi \to \mathbb{R}, falls sich die Likelihood schreiben lässt als:

L\left( {z,\vartheta } \right) = h\left( z \right)\exp \left\{ {a\left( \vartheta \right)T\left( z \right)-b\left( \vartheta \right)} \right\}\quad ,\quad \forall \vartheta \in \Theta

wobei:

h:\Psi \to \left\langle {0,\infty } \right\rangle

a:\Theta \to \mathbb{R}\:\quad stetig\:differenzierbar\:und\:stets\:a^\prime \ne 0

b:\Theta \to \mathbb{R}

Bemerkung: Bei der Likelihood aus Übung 4.2 handelte es sich übrigens auch um eine Exponentialfamilie.

Für den statistischen Raum gilt:

E = \mathbb{R},\quad \mathcal{G} = \mathcal{B},\quad \mathcal{W}_X = \left\{ {N\left( {m_0 ,v} \right)|v > 0} \right\},\quad \Theta = \left\langle {0,\infty } \right\rangle

a)

Bevor wir zeigen, dass eine Exponentialfamilie bezüglich T vorliegt, zeigen für zunächst, dass eine Exponentialfamilie bezüglich T0 vorliegt. Dazu müssen wir die Likelihood entsprechend umformen:

N\left( {m_0 ,v} \right)\quad \Rightarrow \quad L\left( {x,v} \right) = \frac{1} {{\sqrt {2\pi v} }}\exp \left\{ {-\frac{1} {{2v}}\left( {x-m_0 } \right)^2 } \right\}

= \frac{1} {{\sqrt {2\pi } }}\exp \left\{ {-\frac{1} {{2v}}\left( {x-m_0 } \right)^2 -\frac{1} {2}\ln v} \right\}

= h_0 \left( x \right)\exp \left( {a\left( v \right)T_0 \left( x \right)-b\left( v \right)} \right)

wobei h_0 \left( x \right) = \frac{1} {{\sqrt {2\pi } }},\quad a\left( v \right) = -\frac{1} {{2v}},\quad T_0 \left( x \right) = \left( {x-m_0 } \right)^2 ,\quad b\left( v \right) = \frac{1} {2}\ln v

Somit liegt also schonmal eine Exponentialfamilie bezüglich T0 vor.

Damit gilt aber für das Produktmodell \left( {\Psi ,\mathcal{G},\mathcal{W}_Z } \right) = \left( {\mathbb{R}^n ,\mathcal{B}^n ,\mathcal{W}_X^{ \otimes n} } \right), dass \mathcal{W}_Z = \mathcal{W}_X^{ \otimes n} ebenfalls eine Exponentialfamilie ist, bezüglich der Statistik:

T\left( Z \right) = T\left( {X_1 , \ldots ,X_n } \right) = \frac{1} {n}\sum\limits_{i = 1}^n {T_0 \left( {X_i } \right)} = \frac{1} {n}\sum\limits_{i = 1}^n {\left( {X_i -m_0 } \right)^2 }

wobei h\left( z \right) = \frac{1} {{\sqrt {2\pi } ^n }},\quad a\left( v \right) = -\frac{n} {{2v}},\quad b\left( v \right) = \frac{n} {2}\ln v

Rechenregeln:

h_n \left( z \right) = h\left( {x_1 } \right) \cdot \ldots \cdot {\text{h}}\left( {x_n } \right)

a_n \left( \vartheta \right) = na\left( \vartheta \right)

b_n \left( \vartheta \right) = nb\left( \vartheta \right)

f\ddot ur\:\vartheta \in \Theta ,\quad z = \left( {x_1 , \ldots ,x_n } \right)

b)

\gamma \left( x \right): = E_v \left( T \right)

Es gilt: b^\prime \left( v \right) = a^\prime \left( v \right)\gamma \left( v \right)\quad \Rightarrow \quad \gamma \left( v \right) = \frac{{b^\prime \left( v \right)}} {{a^\prime \left( v \right)}} = \frac{{\frac{n} {{2v}}}} {{\frac{n} {{2v^2 }}}} = v

Für die Fisher-Information gilt:

I\left( v \right) = a^\prime \left( v \right) \cdot \gamma ^\prime \left( v \right) = \frac{n} {{2v^2 }} \cdot 1 = \frac{n} {{2v^2 }}

c)

folgt aus b) denn:

Wenn \left( {\Psi ,\mathcal{G},\mathcal{W}_Z } \right) ein Standardraum mit Exponentialfamilie \mathcal{W}_Z = \left\{ {w_\vartheta :\vartheta \in \Theta } \right\} bezüglich der Statistik T ist, dann ist T höchsteffizient in der Klasse der für \gamma \left( \vartheta \right) = E_\vartheta \left( T \right) erwartungstreuen Schätzfunktionen (UMVUE)
(UMVUE = uniformly minimum variance unbiased estimator)

\mathcal{J}\mathcal{K}