線形判別法

2クラス以上を対象にして、各クラスをできるだけ識別しやすい部分空間を求める手法。 クラス間変動のクラス内変動に対する比 $F_s$ を最大にする1次元軸 $\mathbf{u}$ を求めることが目標。

全体平均 $\tilde{m}$ を用いて、以下のような変換を行う。

• クラス内変動 ${\mathbf{S}}_w=n_1{\sigma }_1^2+{\tilde{\sigma }}_2^2$
• クラス間変動 ${\mathbf{S}}_B=n_1(m_1-m{)}^2+n_2(m_2-\tilde{m}{)}^2$

よって、$F_s$ は以下のように求められる。

$$\begin{array}{rl}{F}_s& =\frac{{\mathbf{S}}_B}{{\mathbf{S}}_w}\\ & =\frac{n_1{n}_2}{n}\cdot \frac{(m_1-m_2{)}^2}{n_1{{\sigma }_1}^2+n_2{\sigma }_2^2}\end{array}$$

クラス間変動を行列として考えると、$i$ クラスのデータ数 $n_i$、全データの平均ベクトル $\mathbf{m}$、クラス$i$の平均ベクトル ${\mathbf{m}}_i$ を用いて、次のように定義できる。

$${\mathbf{S}}_B=\sum _{i=1,2}{n}_i({\mathbf{m}}_i-\mathbf{m})({\mathbf{m}}_i-\mathbf{m}{)}^T$$

同様にクラス内変動行列についても、クラス $i$ の $j$ 番目のデータ $x_j^i$、クラス $i$ の平均ベクトル ${\mathbf{m}}_i$、$i$ クラスのデータ数 $n_i$ を用いて、次のように定義できる。

$$\begin{array}{rl}{\mathbf{S}}_w& =S_{w1}+S_{w2}\\ & =\sum _{i=1}^{n_1}(x_i^1-{\mathbf{m}}_1)(x_i^1-{\mathbf{m}}_1{)}^T+\sum _{i=1}^{n_2}(x_i^2-{\mathbf{m}}_2)(x_i^2-{\mathbf{m}}_2{)}^T\end{array}$$