サポートベクターマシンにはハードマージン/ソフトマージンという分類があります。訓練データが線形分離可能であるという前提をおいたものをハードマージン、そうでないものをソフトマージンと呼びます。まずはハードマージンを見ていきます。下図はサポート…

下図に示すような点から、直線におろした垂線との交点との距離を考えます。 直線の法線ベクトルは（参考：法線ベクトルと勾配）ですから、 となる実数が存在します。式(1)においては方向への単位ベクトルです。したがっては点からまでの距離を表します。使っ…

2クラスの分類問題を で識別することを考えます。*1 このとき、分離できる解は複数存在します。例えばパーセプトロンの場合、係数の初期値によって下図のように複数の解が求まります。 最大マージン分類器では、分離境界から最も近くの訓練データまでの距離…

カーネル法の概要 カーネル法 ガウスカーネル カーネル法による正則化最小二乗法（１） カーネル法による正則化最小二乗法（２） カーネル回帰分析 カーネル回帰分析（１） カーネル回帰分析（２）実験結果 ガウス過程 ガウス過程 ガウス過程による回帰 ガウ…

ガウス過程による分類（６）の続きです。 ガウス過程による分類（１）～（６）までの長い道のりを経て、ようやく以下の式が得られました。 今回はこれを使って予測分布を求めてみたいと思います。おさらいですが、各文字は以下のようなものでした。 は各要素…

ガウス過程による分類（５）の続きです。 何をやっている途中かと言うと、最終目標である を求めるため、右辺後半の項を計算している途中です。ラプラス近似やニュートン法などを駆使し、ようやくガウス過程による分類（２）の式(10)、ガウス過程による分類…

転置行列の定理の式(1)を用いて、 ですから、式(3)より、 となります。

共分散行列は半正定値行列であることを確認します。 共分散行列の成分をを考えると、共分散行列の定義（参考：多変量正規分布）より、 です。 ここで、]とし、とすれば、 と書けます。 したがって共分散行列は、式(4)より、 と書けます。ここでとすれば、 で…

です。、が正定値行列なら、二次形式は正でしたから（参考：正定値行列）、式(1)より、が非ゼロベクトルなら であり、つまり正定値行列の和もまた正定値行列です。

2019年は相場が戻ってくれてよかった。2018年の投信マイナスが311万だったので、ちょうど相殺できた。これでようやく2018年初と同じ位置なのだけど、毎月積み立てで投資しているので、投資額は当時よりけっこう膨らんでいる。2018年と同じレベルの下げがくれ…