統計的仮説検定

Takami Torao
  • このエントリーをはてなブックマークに追加

概要

観測値の背景にある構造を仮定し、観測値の統計からその仮定が受け入れられるか、さもなくば拒否されるかを判断する統計的手法を統計的仮説検定 (statistical hypothesis testing) と呼ぶ。このとき仮定した構造のことを仮説 (hypothesis) と呼ぶ。

多くの検定では結果の解釈を定量化し、帰無仮説を棄却するために使用できる \(p\) 値または危険率と呼ばれる数量を使用する。例えば正規分布に従うことが期待される観測値が正規分布から逸脱しているとき、帰無仮説を棄却できない可能性が高いことを示すため \(p\) 値は高い値をとる。これは有意水準 (confidence level) \(\alpha=1-p\) として表すこともできる。

パラメトリック検定 (parametric test)特定の分布に従っていることが想定される観測値に対して行う。実験やシミュレーション、または機械学習などから得られたデータの分布が想定したモデルと一致している (または一致していない) ことを主張するときの定量的な根拠として必要とされる。

一方、ノンパラメトリック検定 (non-parametric test)前提となる分布を仮定せず、どのような分布に由来する観測値であっても適用可能である。各観測値の順位 (rank; 大小関係) を利用する。

Z 検定

Z 検定 (z-test) は正規分布に従うことが想定されるモデルの期待値とのズレを評価するための検定。t 検定の \(k=1\) であるとも言える。

\(t\) 検定

\(t\) 検定 (もしくはスチューデントの t) は正規分布に従う 2 つの分布を比較するときに利用する。

一標本 \(t\) 検定

一標本 \(t\) 検定 (one-sample t-test; 一群 \(t\) 検定) は観測値の分布が特定の平均値 \(\mu_0\) に等しいことを検定する (つまり既知の分布や理論値との一致を検定する)。 \[ t = \frac{\mbox{distance of means}}{\mbox{distance of SD}} = \frac{\bar{x} - \mu_0}{\frac{s_x}{\sqrt{n}}} \]

例: 一様乱数

\((0,1]\) 区間の一様乱数から \(n\) 個を取得したとき、その平均 \(r=\frac{\sum_i x_i}{n}\) は平均 \(\mu=\frac{1}{2}\)、分散 \(\frac{1}{12n}\) の正規分布に近似した分布に従う乱数となる。つまり \(R=\{x_1,\frac{x_1+x_2}{2},\ldots,\frac{\sum_i x_i}{n}\}\) は正規分布に近似した分布に従う乱数の集合となる。

同じ分散を持つが平均が異なると考えられる 2 つの分布 \(A\) と \(B\) の差異の有意性を算出する。「プールされた分散」から平均の差 \(S_D\) の標準偏差を推定する。\[ \begin{equation} S_D = \sqrt{ \frac{ \sum_{i \in A} (x_i - \bar{x}_A)^2 + \sum_{i \in B} (x_i - \bar{x}_B)^2 }{N_A + N_B - 2} \left( \frac{1}{N_A} + \frac{1}{N_B} \right) } \end{equation} \] \[ \begin{equation} t = \frac{\bar{x}_A - \bar{x}_B}{S_D} \end{equation} \]

\(\chi^2\) 検定

\(\chi^2\) 検定 (chi-squared test; カイ二乗検定) はピアソンによって 1900 年に導入された適合度検定。標本から得られた観測度数を \(O\)、対応するモデルにおける期待度数を \(E\) としたとき、検定統計量 \(\chi^2\) は以下のように定義される。\[ \chi^2 = \sum r^2 = \sum \frac{(O-E)^2}{E} \] \(r=\frac{O-E}{\sqrt{E}}\) をピアソン残差と呼ぶ。この比較は度数によって表されるもので、比率ではないことに注意。

カイ二乗分布

標準正規分布に従う \(n\) 個の独立な確率変数 \(Z_1,\ldots,Z_n\) の平方和 \(X=Z_1^2+\cdots+Z_n^2\) の分布を、自由度 \(n\) のカイ二乗分布と呼ぶ。密度関数は \[ f_n(x) = \frac{1}{2^{\frac{n}{2}} \ \Gamma\left(\frac{n}{2}\right)} x^{-1+\frac{1}{2}} e^{-\frac{x}{2}} \] 平均は \(n\)、分散は \(2n\) である。

参考文献

  1. Tokio YASUDA (2004) 大規模サンプルに対する一般化 \(\chi^2\) 適合度検定