機械学習に詳しくなりたいブログ

機械学習や数学について勉強した内容を中心に書きます。100%趣味です。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。

部分空間法

部分空間法の目次

KL展開 KL展開 分散最大基準 KL展開 分散最大基準 解の導出 KL展開 平均二乗誤差最小基準 MNISTをKL展開して部分空間を図示 KL展開で得られた基底で画像を表現する CLAFIC法 MNISTをCLAFIC法で識別する 必要な数学知識 KL展開の解の導出などに必要 固有値と…

MNISTをCLAFIC法で識別する

今回はCLAFIC法と呼ばれる、KL展開を用いた手法でMNISTを識別してみたいと思います。これまでに、KL展開は分散最大基準と平均二乗誤差最小基準の2種類を見てきました。(参考:KL展開 平均二乗誤差最小基準、KL展開 分散最大基準) 目的が分類の場合は平均二…

KL展開で得られた基底で画像を表現する

MNISTをKL展開して部分空間を図示で、MNISTの数字の7をKL展開し、その部分空間を見てみました。これらは28x28=784次元の基底となっているはずですから、任意の画像を線形結合で表すことができるはずです。今回はいくつかの画像がこの基底によって表現される…

MNISTをKL展開して部分空間を図示

MNISTとは、http://mldata.org/repository/data/viewslug/mnist-original/で公開されている下図のような手書き数字データセットです。機械学習の分類手法のベンチマーク(or 勉強用?)によく使われているようです。 今回は、このMNISTの画像データをKL展開…

KL展開 平均二乗誤差最小基準

これまでに分散最大基準のKL展開を見てきました。今回は平均二乗誤差最小基準のKL展開を確認していきます。 次元削減後のデータと元のデータの誤差が小さくなるように射影すれば、元の情報を多く保っていることが期待できそうです。この誤差を最小になるよう…

KL展開 分散最大基準 解の導出

分散最大基準のKL展開の解を導出します。次元削減後の分散を最大にするような射影を求めることが目的です。 次元から次元へKL展開することを考えます。次元の正規直交基底を次元ベクトルで表したものをとすると、データの次元→次元への変換は、 で与えられま…

KL展開 分散最大基準

次元を削減する手法であるKL展開を実験してみました。似た手法で、フィッシャーの線形判別がありますが、目的が違います。フィッシャーの線形判別は、いくつかのクラスに分類されるデータを、分離度を保ちながら次元を減らす手法でした。一方KL展開は、デー…