今回やってみること MNISTをKL展開して部分空間を図示で、MNISTの数字の7をKL展開し、その部分空間を見てみました。これらは28x28=784次元の基底となっているはずですから、任意の画像を線形結合で表すことができるはずです。今回はいくつかの画像がこの基底…

MNISTとは MNISTとは、http://mldata.org/repository/data/viewslug/mnist-original/で公開されている下図のような手書き数字データセットです。機械学習の分類手法のベンチマーク（or 勉強用？）によく使われているようです。 MNISTをKL展開する 今回は、こ…

KL展開 平均二乗誤差最小基準で、射影後のデータとの誤差を計算するために、射影したデータを元の次元で表す、という計算を行っています。例えば3次元のデータを2次元に射影し、そのデータを3次元で見れば平面上に分布しているはず。当たり前のことなんです…

KL展開の概要については、KL展開 分散最大基準を参照ください。 こちらの記事では分散最大基準で解を求めましたが、今回は平均二乗誤差最小基準のKL展開を確認していきます。 解の導出 分散最大基準では、射影後のデータの分散を最大にする考えて射影方向を…

行列の対角化で導出した方法よりこちらのほうがわかりやすかったので書きます。 行列の個の異なる固有値を、対応する固有ベクトルをとすると、固有値、固有ベクトルの定義よりが成り立ちます。 これをまとめれば、 と書けます。とすれば、 となります。なお…

分散最大基準のKL展開の解を導出します。次元削減後の分散を最大にするような射影を求めることが目的です。手法の概要と実験結果はKL展開 分散最大基準です。 解の導出 次元から次元へKL展開することを考えます。次元の正規直交基底を次元ベクトルで表したも…

を考えます。行列の微分の定義は行列の微分に書きました。ここでは、はの行列とします。はスカラですから、行列の微分の定義に従って計算していきます。（参考：行列の内積とトレース） を計算して書き出せば、 です。これをで微分します。の行列の要素での…

KL展開とは データの次元数を削減する手法です。似たもので、フィッシャーの線形判別がありますが、目的が違います。フィッシャーの線形判別は、いくつかのクラスに分類されるデータを、分離度を保ちながら次元を減らす手法でした。一方KL展開は、データ全体…

先回までのまとめ フィッシャーの線形判別（１）：フィッシャーの線形判別の概要 フィッシャーの線形判別（２）：フィッシャーの線形判別の解を求める フィッシャーの線形判別（３）：2クラスの次元圧縮の実験 フィッシャーの線形判別（４）：フィッシャーの…

固有ベクトルと基底の続きです。 固有ベクトルと基底の式(2)で書いたとおり、 でした。式(1)を と表すこととします。は固有ベクトルを並べた行列です。 により線形変換されるベクトルについても、同様に と表せば、 となります。式(2),(4)をに代入すれば、 …

2×2の行列の固有ベクトルを、対応する固有値をとします。あるベクトル を、の固有ベクトルを基底として表すことを考えます。そのベクトルを とすると、 と書けます。また、正規直交基底をとすれば、 です。で線形変換して得られるについても同様に です。 さ…

固有値、固有ベクトルとは 0でないベクトルに対して が成り立つとき、をの固有ベクトル、を固有値といいます。この式の意味するところは、がによって線形変換された結果、ベクトルの方向は変わらず、倍されたということになります。 たとえば、 によりをに線…

正方行列の対角成分の和をトレースと呼び、と書きます。 例えば のとき、 です。 ここで、 のとき、 となり、行列の内積は、のトレースであることがわかります。 （参考：行列の内積） のトレースでも同じです。また、、が正方行列になるとき、 が成り立ちま…

5月は連休効果もあってWeb収入が好調でした。しかし月末頃はずいぶん失速してるので、6月は50万いけばいいほうかなあという予測。それでも十分なんですが、ピーク時は月100万以上儲かっていたので、どうしても比べてしまいますね。 投信は、下旬頃まで右肩上…