を対称行列とします。の逆行列が存在するなら、 と変形でき、対称行列の逆行列もまた、対称行列であることがわかります。 なお途中の式変形は転置行列の定理を用いています。

確率的生成モデル 線形識別を最小二乗法で解くとうまくいきません。*1 最小二乗法は誤差が正規分布に従うことを前提とした手法ですので、どのクラスに属するかという識別の問題ではこの前提が成り立っていないからです。*2 確率的生成モデルでは、データがど…

パーセプトロンで単純な識別の実験をし、そこでは訓練データが与えられたとき、 で表されるモデルを考えました。線形に識別できる問題しか扱えず、応用が効かなさそうですが、入力を非線形変換をした を考えると柔軟な識別が可能になります。 実験してみまし…

パーセプトロンの概要 パーセプトロンは2クラスを分類する手法です。訓練データが与えられたとき、 で表されるモデルを考えます。はダミー入力の定数を含みます。また、とします。ここで関数は とします。つまり、2つのクラスを±1で表し、関数は入力が正のと…

KL展開 KL展開 分散最大基準 KL展開 分散最大基準 解の導出 KL展開 平均二乗誤差最小基準 MNISTをKL展開して部分空間を図示 KL展開で得られた基底で画像を表現する CLAFIC法 MNISTをCLAFIC法で識別する 必要な数学知識 KL展開の解の導出などに必要 固有値と…

今回はCLAFIC法と呼ばれる、KL展開を用いた手法でMNISTを識別してみたいと思います。これまでに、KL展開は分散最大基準と平均二乗誤差最小基準の2種類を見てきました。（参考：KL展開 平均二乗誤差最小基準、KL展開 分散最大基準） 目的が分類の場合は平均二…

投信は中旬にかけて調子よく上昇し、その後それ以上のスピードで下がっていき、終わってみれば10万くらいマイナスに。5月とほとんど同じ展開。で、計算してみたら今年は通算で40万くらいマイナスだった。けっこう大きいように感じちゃうんですが、投資額から…

今回やってみること MNISTをKL展開して部分空間を図示で、MNISTの数字の7をKL展開し、その部分空間を見てみました。これらは28x28=784次元の基底となっているはずですから、任意の画像を線形結合で表すことができるはずです。今回はいくつかの画像がこの基底…

MNISTとは MNISTとは、http://mldata.org/repository/data/viewslug/mnist-original/で公開されている下図のような手書き数字データセットです。機械学習の分類手法のベンチマーク（or 勉強用？）によく使われているようです。 MNISTをKL展開する 今回は、こ…

KL展開 平均二乗誤差最小基準で、射影後のデータとの誤差を計算するために、射影したデータを元の次元で表す、という計算を行っています。例えば3次元のデータを2次元に射影し、そのデータを3次元で見れば平面上に分布しているはず。当たり前のことなんです…

KL展開の概要については、KL展開 分散最大基準を参照ください。 こちらの記事では分散最大基準で解を求めましたが、今回は平均二乗誤差最小基準のKL展開を確認していきます。 解の導出 分散最大基準では、射影後のデータの分散を最大にする考えて射影方向を…

行列の対角化で導出した方法よりこちらのほうがわかりやすかったので書きます。 行列の個の異なる固有値を、対応する固有ベクトルをとすると、固有値、固有ベクトルの定義よりが成り立ちます。 これをまとめれば、 と書けます。とすれば、 となります。なお…

分散最大基準のKL展開の解を導出します。次元削減後の分散を最大にするような射影を求めることが目的です。手法の概要と実験結果はKL展開 分散最大基準です。 解の導出 次元から次元へKL展開することを考えます。次元の正規直交基底を次元ベクトルで表したも…

を考えます。行列の微分の定義は行列の微分に書きました。ここでは、はの行列とします。はスカラですから、行列の微分の定義に従って計算していきます。（参考：行列の内積とトレース） を計算して書き出せば、 です。これをで微分します。の行列の要素での…

KL展開とは データの次元数を削減する手法です。似たもので、フィッシャーの線形判別がありますが、目的が違います。フィッシャーの線形判別は、いくつかのクラスに分類されるデータを、分離度を保ちながら次元を減らす手法でした。一方KL展開は、データ全体…

先回までのまとめ フィッシャーの線形判別（１）：フィッシャーの線形判別の概要 フィッシャーの線形判別（２）：フィッシャーの線形判別の解を求める フィッシャーの線形判別（３）：2クラスの次元圧縮の実験 フィッシャーの線形判別（４）：フィッシャーの…

固有ベクトルと基底の続きです。 固有ベクトルと基底の式(2)で書いたとおり、 でした。式(1)を と表すこととします。は固有ベクトルを並べた行列です。 により線形変換されるベクトルについても、同様に と表せば、 となります。式(2),(4)をに代入すれば、 …

2×2の行列の固有ベクトルを、対応する固有値をとします。あるベクトル を、の固有ベクトルを基底として表すことを考えます。そのベクトルを とすると、 と書けます。また、正規直交基底をとすれば、 です。で線形変換して得られるについても同様に です。 さ…

固有値、固有ベクトルとは 0でないベクトルに対して が成り立つとき、をの固有ベクトル、を固有値といいます。この式の意味するところは、がによって線形変換された結果、ベクトルの方向は変わらず、倍されたということになります。 たとえば、 によりをに線…

正方行列の対角成分の和をトレースと呼び、と書きます。 例えば のとき、 です。 ここで、 のとき、 となり、行列の内積は、のトレースであることがわかります。 （参考：行列の内積） のトレースでも同じです。また、、が正方行列になるとき、 が成り立ちま…

5月は連休効果もあってWeb収入が好調でした。しかし月末頃はずいぶん失速してるので、6月は50万いけばいいほうかなあという予測。それでも十分なんですが、ピーク時は月100万以上儲かっていたので、どうしても比べてしまいますね。 投信は、下旬頃まで右肩上…

うっかり行列の積と混同していると大変なことになる。 行列の内積は、対応する全ての要素の積の和です。 定義から明らかなように が成り立ちます。

先回までのまとめ フィッシャーの線形判別（１）：フィッシャーの線形判別の概要 フィッシャーの線形判別（２）：フィッシャーの線形判別の解を求める フィッシャーの線形判別（３）：2クラスの次元圧縮の実験 2クラスの解の別の求め方 フィッシャーの線形判…

フィッシャーの線形判別（２）の続きです。 先回の記事のまとめ 2クラスのデータを次元圧縮する方向は、次の式で求められることがわかりました。 次元圧縮の実験 実際に式(1)を使って、2次元のデータを1次元に射影してみます。早速結果です。 左が元のデータ…

フィッシャーの線形判別（１）の続きです。 先回の記事のまとめ 2クラスのデータをより分離しやすいように次元圧縮することを考えています。フィッシャーの判別基準は、 と定義され、これを最大にするが解（次元圧縮方向）でした。 解を計算する ここで、は…

フィッシャーの線形判別とは フィッシャーの線形判別は、これ自体は判別・識別の手法ではなく、各クラスのデータの分離を保ちつつ次元圧縮する手法のようです。多次元のデータを扱うのは大変なので、次元圧縮して計算を楽にしようということでしょうか。今回…

線形識別の最小二乗法よる解 線形識別の最小二乗法による解は、線形識別 最小二乗法の解の導出で導出しました。 今回はそれを用いて実際にいくつか識別させてみたいと思います。 識別結果 まずは単純な直線で分離される識別を解いてみました。点が教師データ…

線形識別を最小二乗法で計算した場合の解を導出します。識別関数をとします。ここでです。（ダミー入力の定数を加えたものとします） はM×K行列（入力次元×クラス数）の係数とします。また、を1ofK符号（正解クラスが1でそれ以外が0のベクトル）とし、教師デ…

行列の微分の定義 スカラを返す関数において、行列 での微分係数は以下のように定義されます。 の微分 ベクトル に対し、の微分を考えます。 まずを計算していきますと、 ですから、 となります。行列の成分での微分は、式(4)よりとなることがわかります。こ…

4月は3ヶ月ぶりに投信がプラスでした。2～3月頃と違って、1日で動く額がそれほど大きくなく、落ち着いてきていたのであんまり相場を気にせず、1ヶ月終わってみたらプラスだったという感じ。こういう状態のほうが健全なんでしょうね。どうせ何もしないので日…