判別分析

判別分析（はんべつぶんせき、英: discriminant analysis）は、事前に与えられているデータが異なるグループに分かれる場合、新しいデータが得られた際に、どちらのグループに入るのかを判別するための基準（判別関数^{[注釈 1]}）を得るための正規分布を前提とした分類の手法。英語では線形判別分析^{[注釈 2]}をLDA、二次判別分析^{[注釈 3]}をQDA、混合判別分析^{[注釈 4]}をMDAと略す。1936年にロナルド・フィッシャーが線形判別分析を発表し^[1][2]、1996年に Trevor Hastie, Robert Tibshirani が混合判別分析を発表した^[3]。

3つ以上のグループの判別は重判別分析^{[注釈 5]}や正準判別分析と呼ばれる。

判別関数の種類

判別関数には以下の物などがある。

線形判別関数^{[注釈 6]}

超平面・直線による判別。線形判別分析は等分散性が必要。

二次判別関数^{[注釈 7]}

楕円など二次関数による判別。二次判別分析は等分散性が不要。

非線形判別関数^{[注釈 8]}

超曲面・曲線などの非線形判別関数。

前提条件

線形判別分析は、以下の前提条件が成立する必要がある。

• 各グループは多変量正規分布^{[注釈 9]}している
• 全てのグループが同じ共分散行列を持つ（等分散性）

その上で、マハラノビス汎距離^{[注釈 10]}が等距離の所に直線を引く。これらの前提条件が成立しないとおかしな結果になる。

各グループの平均が異なる以上、分散が異なることは多々ある。等分散性の仮定を外した物が二次判別分析である。それぞれのグループで異なる共分散行列を使用してマハラノビス距離を計算して、等距離になる場所を判別曲面とする方法である。この方法は二次関数となり、正規分布が成立している場合は正しい結果になる。

線形判別分析において、グループ間の確率のロジットは線形関数となるが、ここで線形関数という仮定を残したまま、正規分布や等分散性の仮定を外すとロジスティック回帰や単純パーセプトロンになる^[4]。

さらに別な方法としては、線形判別関数を使用したい場合は、線形サポートベクターマシンで線形判別関数を求めるという方法もある。

線形判別分析

線形判別関数は以下の通り。これの正負で判断。${\displaystyle x}$ は入力、${\displaystyle \mu }$ は平均、${\displaystyle \mathbf {\Sigma } }$ は共分散行列^{[注釈 11]}。この式は多変量正規分布の式より導出できる。

${\displaystyle \left(x-{\frac {\mu _{\rm {first}}+\mu _{\rm {second}}}{2}}\right)^{T}\mathbf {\Sigma } ^{-1}(\mu _{\rm {first}}-\mu _{\rm {second}})}$

より細かく、線形判別関数 (${\displaystyle y=\sum _{i=1}^{n}a_{i}x_{i}+a_{0}}$) の求め方を以下に示す。

1. 第一群、第二群についてそれぞれ積和を求める(N はサンプル数)。

   ${\displaystyle W_{ij}=\sum _{k=1}^{N}(x_{i}^{(k)}-{\overline {x}}_{i})(x_{j}^{(k)}-{\overline {x}}_{j})}$

2. 第一群と第二群の平方和・積和を、同じ2変数について足し、自由度 ${\displaystyle N_{\rm {first}}+N_{\rm {second}}-2}$ で除す。

   ${\displaystyle S_{ij}={\frac {W_{ij}{\rm {(first)}}+W_{ij}{\rm {(second)}}}{N_{\rm {first}}+N_{\rm {second}}-2}}}$

3. ${\displaystyle S_{ij}}$ を、その ${\displaystyle i}$行${\displaystyle j}$列に対応させて分散共分散行列${\displaystyle {\mathbf {S} }}$とし、各変数にかかる係数を${\displaystyle n}$行${\displaystyle 1}$列に並べた行列を${\displaystyle {\mathbf {A} }}$、第一群の各変数の平均値から第二群の各変数を引いた数 ${\displaystyle x_{i}{\rm {(first)}}-x_{i}{\rm {(second)}}}$を${\displaystyle n}$行${\displaystyle 1}$列に並べた行列を${\displaystyle {\mathbf {X} }}$とすると以下の式が成り立つ。

   ${\displaystyle {\mathbf {S} }{\mathbf {A} }={\mathbf {X} }}$ ゆえに ${\displaystyle {\mathbf {A} }={\mathbf {S} }^{-1}{\mathbf {X} }}$

4. これにより各変数にかかる係数を求めることができる。

   定数項は、${\displaystyle a_{0}=-{\frac {1}{2}}\sum _{i=1}^{n}a_{i}\left\{x_{i}{\rm {(firstaverage)}}+x_{i}{\rm {(secondaverage)}}\right\}}$

5. 判別得点${\displaystyle y}$が正のとき第一群、負のとき第二群と判別される。

   変数が標準化されていれば、係数の大きさは、そのままその変数が判別に与える影響の大きさである。

   変数が定性的な場合は、ダミー変数を用いる。

   ${\displaystyle y=\sum _{i=1}^{n}\left(a_{i}{\rm {(first)}}x_{i}{\rm {(first)}}+a_{i}{\rm {(second)}}x_{i}{\rm {(second)}}\right)+a_{0}}$

   ここに、${\displaystyle x_{ij}}$: ${\displaystyle x_{i}}$の${\displaystyle j}$番目のカテゴリーに反応するとき${\displaystyle 1}$、しないとき${\displaystyle 0}$。

二次判別分析

グループの平均を中心に回転・軸方向のスケーリングを行い共分散行列を揃え、線形判別分析を行えば良い。

混合判別分析

単一の正規分布ではなく、混合正規分布で表現した物を混合判別分析という。その場合でも共分散行列は共通の物を使う。混合正規分布を使うことにより複雑な分布も扱えるようになる。混合正規分布はEMアルゴリズムなどで求める。

注釈

出典

1. ^ FISHER, R. A. (September 1936). “The use of multiple measurements in taxonomic problems”. Annals of Eugenics 7 (2): 179–188. doi:10.1111/j.1469-1809.1936.tb02137.x. 
2. ^ Cohen et al. Applied Multiple Regression/Correlation Analysis for the Behavioural Sciences 3rd ed. (2003). Taylor & Francis Group.
3. ^ Trevor Hastie; Robert Tibshirani (1996). “Discriminant Analysis by Gaussian Mixtures”. Journal of the Royal Statistical Society, Series B 58 (1): 155-176. 
4. ^ Trevor Hastie, Robert Tibshirani, Jerome Friedman『統計的学習の基礎 ―データマイニング・推論・予測―』共立出版、2014年6月25日。ISBN 978-4320123625。 

関連項目

• 固有顔
• 線形分類器

表 話 編 歴 統計学
標本調査	標本 母集団 無作為抽出 層化抽出法
要約統計量	連続確率分布 位置 平均 算術 幾何 調和 中央値 分位数 順序統計量 最頻値 階級値 分散 範囲 偏差 偏差値 標準偏差 標準誤差 変動係数 決定係数 相関係数 自己相関 共分散 自己共分散 分散共分散行列 百分率 統計的ばらつき モーメント 分散 歪度 尖度 カテゴリデータ 頻度 分割表
推計統計学	仮説検定 パラメトリック t検定 ウェルチのt検定 F検定 Z検定 二項検定 ジャック-ベラ検定 シャピロ–ウィルク検定 分散分析 共分散分析 ノンパラメトリック ウィルコクソンの符号順位検定 マン・ホイットニーのU検定 カイ二乗検定 イェイツのカイ二乗検定 累積カイ二乗検定 フィッシャーの正確確率検定 尤度比検定 G検定 アンダーソン–ダーリング検定 コルモゴロフ–スミルノフ検定 カイパー検定 マンテル検定 コクラン・マンテル・ヘンツェルの統計量 その他 帰無仮説 対立仮説 有意 棄却 区間推定 信頼区間 予測区間 モデル選択基準 AIC BIC WAIC MDL その他 偏り 偏りと分散 過剰適合 推定量 点推定 最尤推定 尤度関数 尤度方程式 最小距離推定 メタアナリシス ブートストラップ法
ベイズ統計学	確率 主観確率 ベイズ確率 事前確率 事後確率 最大事後確率 その他 ベイズ推定 ベイズ因子
相関	交絡 ピアソンの積率相関係数 順位相関（スピアマンの順位相関係数 ・ケンドールの順位相関係数 ）
モデル	一般線形モデル 一般化線形モデル 混合モデル 一般化線形混合モデル
回帰	線形 リッジ回帰 ラッソ回帰 エラスティックネット 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン 射影追跡回帰 時系列 自己回帰モデル 自己回帰移動平均モデル ARCHモデル 対移動平均比率法 トレンド定常 傾向推定 共和分 構造変化
分類	線形 線形判別分析 ロジスティック回帰 <! -- 名前に回帰とついていますが確率を回帰する分類手法です --> 単純ベイズ分類器 単純パーセプトロン 線形サポートベクターマシン 二次 二次判別分析 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン ベイジアンネットワーク 隠れマルコフモデル その他 二項分類 多クラス分類 第一種過誤と第二種過誤
教師なし学習	クラスタリング k平均法 （k-means++法 ） DBSCAN 密度推定（英語版） カーネル密度推定 （ カーネル ） その他 主成分分析 独立成分分析 自己組織化写像
統計図表	棒グラフ バイプロット（英語版） 箱ひげ図 管理図 フォレストプロット ヒストグラム 円グラフ Q-Qプロット ランチャート 散布図 幹葉表示 バイオリン図 ドットプロット ヒートマップ 階級区分図
生存分析	生存関数 カプラン＝マイヤー推定量 ログランク検定 故障率 比例ハザードモデル
歴史	統計学の創始者 確率論と統計学の歩み
応用	社会統計学 疫学 生物統計学 系統学 統計力学 計量経済学 機械学習 実験計画法
出版物	統計学に関する学術誌一覧 重要な出版物
全般	統計 頻度主義統計学 統計学および機械学習の評価指標
その他	方向統計学 S言語 R言語 統計検定 社会調査士 JDLA Deep Learning For GENERAL JDLA Deep Learning for ENGINEER 実用数学技能検定 品質管理検定
カテゴリ