ヘッセ行列で最大/最小値の存在を判定の続きで、今回は関数における停留点が極値かどうかを判定する方法を確認します。高校数学で習うように、1変数の関数であれば、二階微分の正負から増減表によって極値の判定ができますが、多変数関数では増減表を書くこ…

2次形式を対称行列を使ってとするとき、を2次関数のヘッセ行列といいます。ヘッセ行列は2階微分（参考：ベクトルをベクトルで微分の定義とヘッセ行列）を指すことが多そうですが、2次形式の対称行列もヘッセ行列と呼ぶようです。*1 今回はこのヘッセ行列を使…

対称行列は直交行列を使って対角化できることを確認します。 対称行列の異なる固有値に対して、対応する固有ベクトルをとすると、固有値、固有ベクトルの定義（参考：固有値と固有ベクトル）より です。ここで、式(1)の両辺の転置をとると、転置行列の定理よ…

任意の2次形式は対称行列を使って書き換えられることを確認します。ここで、 とします。 を書き出すと、と書けます。ここで、ですから、 となります。よって、 と書くことができます。 ここで、 とすれば、ですから、で構成される対称行列によって と書くこ…

、としたとき、は以下のように定義されます。 *1 さて、スカラを返す関数をベクトルで微分すると でしたから（参考：ベクトルの微分）、式(1)の定義に従って式(2)をもう1度で微分すると、 となります。式(3)はヘッセ行列と呼ばれ、と表記されます。の要素に…

概要 2クラスの問題を考えます。データが与えられたとき、それがクラスに属する確率は、確率的生成モデル - シグモイド関数で書いた通り、シグモイド関数を用いて と書けました。これを使ったモデルをロジスティック回帰と呼びます。回帰という名称ですが、…

確率的生成モデル - シグモイド関数で導出したシグモイド関数 の微分を計算します。 分数の微分公式を使えば、以下のように計算できます。 シグモイド関数の微分は、シグモイド関数自身で表せることが確認できました。今回、答えから逆算したのですぐに計算…

確率的生成モデル - シグモイド関数の続きです。事後確率がシグモイド関数で表せること、つまりで表せることを確認しました。今回は、 が、の線形関数で表せることを確認します。 クラスにおけるデータが、正規分布であり、全てのクラスにおいて共分散が等し…

を対称行列とします。の逆行列が存在するなら、 と変形でき、対称行列の逆行列もまた、対称行列であることがわかります。 なお途中の式変形は転置行列の定理を用いています。

確率的生成モデル 線形識別を最小二乗法で解くとうまくいきません。*1 最小二乗法は誤差が正規分布に従うことを前提とした手法ですので、どのクラスに属するかという識別の問題ではこの前提が成り立っていないからです。*2 確率的生成モデルでは、データがど…

パーセプトロンで単純な識別の実験をし、そこでは訓練データが与えられたとき、 で表されるモデルを考えました。線形に識別できる問題しか扱えず、応用が効かなさそうですが、入力を非線形変換をした を考えると柔軟な識別が可能になります。 実験してみまし…

パーセプトロンの概要 パーセプトロンは2クラスを分類する手法です。訓練データが与えられたとき、 で表されるモデルを考えます。はダミー入力の定数を含みます。また、とします。ここで関数は とします。つまり、2つのクラスを±1で表し、関数は入力が正のと…

KL展開 KL展開 分散最大基準 KL展開 分散最大基準 解の導出 KL展開 平均二乗誤差最小基準 MNISTをKL展開して部分空間を図示 KL展開で得られた基底で画像を表現する CLAFIC法 MNISTをCLAFIC法で識別する 必要な数学知識 KL展開の解の導出などに必要 固有値と…

今回はCLAFIC法と呼ばれる、KL展開を用いた手法でMNISTを識別してみたいと思います。これまでに、KL展開は分散最大基準と平均二乗誤差最小基準の2種類を見てきました。（参考：KL展開 平均二乗誤差最小基準、KL展開 分散最大基準） 目的が分類の場合は平均二…

投信は中旬にかけて調子よく上昇し、その後それ以上のスピードで下がっていき、終わってみれば10万くらいマイナスに。5月とほとんど同じ展開。で、計算してみたら今年は通算で40万くらいマイナスだった。けっこう大きいように感じちゃうんですが、投資額から…