Table of contents

• 1. 平均の2乗の不偏推定量 / Unbiased Estimator of $\mu^2$
  • 1.1. $X^2$の期待値を$\sigma$を用いて表すと
  • 1.2. $\sigma^2$の不偏推定量(不偏分散)は
  • 1.3. RSSの期待値を計算
  • 1.4. $E\left(\bar{X^2}\right)$を$\mu$と$\sigma$を用いて表す事を考える
  • 1.5. 平均の2乗の不偏推定量を考える

Contents.

1. 平均の2乗の不偏推定量 / Unbiased Estimator of $\mu^2$

確率件数$X_1, X_2, …X_n$が平均$\mu$、分散$\sigma^2$に独立に従うとき、$\mu^2$の不偏推定量（不偏分散）は以下の式になることを証明。

1.1. $X^2$の期待値を$\sigma$を用いて表すと

\begin{align} V\left( X\right) &= E\left(X^2\right) - \bigl(E(X)\bigr)^2 \nonumber \\\
E\left( X^2\right) &= V\left( X\right) + \bigl(E(X)\bigr)^2 \nonumber \\\
\label{form1} &= \sigma^2 + \mu^2 \end{align}

1.2. $\sigma^2$の不偏推定量(不偏分散)は

この式の証明は別途。

\begin{aligned} \hat{\sigma}^2 = \frac{1}{n-1} \sum{ \left(X-\bar{X}\right)^2} \end{aligned}

つまり

1.3. RSSの期待値を計算

\begin{aligned} E\bigl( \sum\left( X_i-\bar{X} \right)^2 \bigr) &= E\bigl( \sum\left(X_i^2 -2\bar{X}X_i + \bar{X}^2 \right)\bigr) \\\
&= E\bigl( \sum\left(X_i^2\right) - 2\bar{X}\sum X_i + n\bar{X}^2 \bigr) \\\
&= E\bigl( \sum\left(X_i^2\right) - 2\bar{X} \cdot n \cdot\frac{\sum X_i}{n} + n\bar{X}^2 \bigr) \\\
&= E\bigl( \sum\left(X_i^2\right) - 2\bar{X} \cdot n \cdot \bar{X} + n\bar{X}^2 \bigr) \\\
&= E\bigl( \sum\left(X_i^2\right) - 2n\bar{X}^2 + n\bar{X}^2 \bigr) \\\
&= E\bigl( \sum\left(X_i^2\right) - n\bar{X}^2\bigr) \\\
&= \sum{E\left(X_i^2\right)} - nE\left(\bar{X^2}\right) \end{aligned}

よって

1.4. $E\left(\bar{X^2}\right)$を$\mu$と$\sigma$を用いて表す事を考える

ここで、$\left( \ref{form1} \right)$と$\left( \ref{form2} \right)$を用いて$\left( \ref{form3} \right)$を書き換えると

\begin{aligned} E\left(\bar{X^2}\right) &= \frac{1}{n} \biggl( \sum{\left(\sigma^2 + \mu^2\right)} - E\bigl( \left( n-1 \right) \hat{\sigma}^2 \bigr) \biggr) \\\
&= \frac{1}{n} \biggl( n\left(\sigma^2 + \mu^2\right) - \left( n-1 \right) E\left(\hat{\sigma}^2 \right) \biggr) \\\
&= \left(\sigma^2 + \mu^2\right) - \frac{n-1}{n} E\left(\hat{\sigma}^2 \right) \\\
\end{aligned}

$\hat{\sigma}^2$は不偏分散なので$E\left(\hat{\sigma}^2\right) = \hat{\sigma}^2 = \sigma^2$とできる。つまり平均の期待値は、以下で表すことが出来る。

\begin{aligned} E\left(\bar{X^2}\right) = \left(\sigma^2 + \mu^2\right) - \frac{n-1}{n}\sigma^2 \\\
= \frac{n\sigma^2}{n} + \mu^2 - \frac{n\sigma^2-\sigma^2}{n} \\\
= \mu^2 + \frac{n\sigma^2 - n\sigma^2 + \sigma^2}{n} \\\
= \mu^2 + \frac{\sigma^2}{n} \end{aligned}

1.5. 平均の2乗の不偏推定量を考える

この$\mu^2 + \frac{\sigma^2}{n}$が$\mu^2$に等しくなるような不偏推定量を求めることになる。ある定数$k$を用いて$\bar{X}^2$と$\hat{\sigma}^2$の和の期待値を作ると。(なぜ$\hat{\sigma}^2$?)

\begin{aligned} E\left( \bar{X}^2 + k\hat{\sigma}^2 \right) = \mu^2 + \frac{\sigma^2}{n} + k\sigma^2 \end{aligned}

これが、$\mu^2$と等しくなるような$k$の値を求めると

\begin{aligned} \frac{\sigma^2}{n} + \mu^2 + k\sigma^2 &= \mu^2 \\\
k &= -\frac{1}{n} \end{aligned}