KL展開 KL展開 分散最大基準 KL展開 分散最大基準 解の導出 KL展開 平均二乗誤差最小基準 MNISTをKL展開して部分空間を図示 KL展開で得られた基底で画像を表現する CLAFIC法 MNISTをCLAFIC法で識別する 必要な数学知識 KL展開の解の導出などに必要 固有値と…

今回はCLAFIC法と呼ばれる、KL展開を用いた手法でMNISTを識別してみたいと思います。これまでに、KL展開は分散最大基準と平均二乗誤差最小基準の2種類を見てきました。（参考：KL展開 平均二乗誤差最小基準、KL展開 分散最大基準） 目的が分類の場合は平均二…

今回やってみること MNISTをKL展開して部分空間を図示で、MNISTの数字の7をKL展開し、その部分空間を見てみました。これらは28x28=784次元の基底となっているはずですから、任意の画像を線形結合で表すことができるはずです。今回はいくつかの画像がこの基底…

MNISTとは MNISTとは、http://mldata.org/repository/data/viewslug/mnist-original/で公開されている下図のような手書き数字データセットです。機械学習の分類手法のベンチマーク（or 勉強用？）によく使われているようです。 MNISTをKL展開する 今回は、こ…

KL展開の概要については、KL展開 分散最大基準を参照ください。 こちらの記事では分散最大基準で解を求めましたが、今回は平均二乗誤差最小基準のKL展開を確認していきます。 解の導出 分散最大基準では、射影後のデータの分散を最大にする考えて射影方向を…

分散最大基準のKL展開の解を導出します。次元削減後の分散を最大にするような射影を求めることが目的です。手法の概要と実験結果はKL展開 分散最大基準です。 解の導出 次元から次元へKL展開することを考えます。次元の正規直交基底を次元ベクトルで表したも…

KL展開とは データの次元数を削減する手法です。似たもので、フィッシャーの線形判別がありますが、目的が違います。フィッシャーの線形判別は、いくつかのクラスに分類されるデータを、分離度を保ちながら次元を減らす手法でした。一方KL展開は、データ全体…