分散最大基準のKL展開の解を導出します。次元削減後の分散を最大にするような射影を求めることが目的です。手法の概要と実験結果はKL展開 分散最大基準です。
解の導出
次元から次元へKL展開することを考えます。次元の正規直交基底を次元ベクトルで表したものをとすると、データの次元→次元への変換は、
で与えられます。ここでです。また、正規直交性より
が成り立ちます。
次元に変換されたデータの分散は、データ数をnとすれば
です。ここではの平均ベクトルで、はの集合です。の平均ベクトルをとすれば、が成り立ちます。この関係と式(1)を式(3)に代入すれば、以下のように計算できます。
式(4)から式(5)の変形には、行列の内積とトレースの式(11)を使っています。ここで転置行列の定理を使えば、さらに以下のように計算できます。
ここで式(7)の和の演算部分は、分散共分散行列の定義そのものですから、これをとすれば、
となります。和の演算と分散共分散行列がどちらもでややこしいですが。
さて、次元削減後の分散を最大にする射影を求めることが目的でした。は式(2)の関係がありましたから、この条件下における式(8)の極値を求めるにはラグランジュの未定乗数法を用います。ここで
を用いれば、複数制約条件のラグランジュの未定乗数法により
を解けばよいことになります。制約条件の項はひと目でわかりにくいですが、書き出してみれば確かに複数の制約条件式であることがわかります。式(10)をで偏微分すれば、
となります。前半の項は行列の微分(2)で求めた関係を使いました。後半の項はトレースの計算を書き出せば確認できます。書き出さなくても行列の計算に慣れている人ならひと目なんでしょうね。
以上より、求める解は
となります。*1 ここでは分散共分散行列ですから対称行列です。そして対称行列の対角化より、式(13)におけるは、を対角化する行列であることがわかります。また、このときの固有値はの対角成分で、は対応する固有ベクトルを並べた行列です。いま、求めたいものはを最大にするでした。そしてこれが式(13)より、固有値の和であることがわかります。つまり極値をとる点では、式(13)を満たすのですから、この極値の中で最大となるものを選択すれば良いはずです。したがって、の個の固有値の中から、大きいものから個採用し、それに対応する固有ベクトルを並べたものが求めるです。
*1:このとき最小値ではなく最大値と捉えてよいのはなぜだっけコメント頂いて解決しました!