フィッシャーの線形判別(1)の続きです。
フィッシャーの判別基準は、
と定義され、これを最大にするが解でした。
ここで、はスカラですから、内積の順番を入れ替えても同じですので
です。よって、
と書けます。式(3)において、
とし、をクラス間共分散行列と定義します。
また、フィッシャーの線形判別(1)の式(1)、(5)より、
です。ここで
とし、をクラス内共分散行列と定義します。
式(4)、(7)を使えば、式(1)は
と書けます。さて、これを最大にするを求めることが目的でしたから、式(8)を微分して0になる解を求めます。分数の微分公式を使い、
を解きます。ここでベクトルの微分の式(8)を使い、また、、
は共分散行列で対称行列となっていることに注意すれば、
となります。式(10)において、
はスカラですから、順番を入れ替えても同じになります。よって、
となります。いま、知りたいのは射影する方向であることに注目すれば、以下のように簡単にすることができます。
まず、
において、はスカラですので、
となります。よって、式(11)のスカラ量を除けば、
となり、式(15)によって射影の方向を求めることができます。次回、この式を使って実際にデータを射影してみたいと思います。