機械学習に詳しくなりたいブログ

機械学習や数学について勉強した内容を中心に書きます。100%趣味です。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。

20年3月の振り返り

相場はひどいですね。先月と同じことを言ってしまいますが、売っておいて本当によかった。なんかもうこの辺だったら何を買っても利益が出るような気がする。と思いながらもまだ何にも手を出していない。 20年3月の実績 Web収入 投信 前月比評価損益 計 759,2…

2020年2月の振り返り

なんだかんだで2月のWeb収入はそこそこに落ち着いた。 投信は先月売っておいて本当に良かった。今月もすごい勢いで下落していて、仮に持ち続けていたら200万くらいはマイナスでした。下落の勢いがすごいぶん、戻るスピードも速いかもしれません。また買い始…

サポートベクターマシン(ハードマージン)(2)

サポートベクターマシン(ハードマージン)(1)の続きです。 先回、求める解は を、 という2次計画問題となることを確認しました。この問題を解きやすい形にするため、2次計画における双対問題の手順に沿って双対問題を導出します。手順は、 ラグランジュ…

2次計画における双対問題

の最大値を、 の制約条件下で求めることを考えます。この問題において、が上に凸の2次関数で、制約条件が線形制約の場合、2次計画と呼びます。2次計画の問題を解くには、双対定理がよく使われるようです。この双対定理の背景にある理論は僕にとっては難解で…

20年1月の振り返り

正月休みのボーナス期間でWeb収入は好調。が、月末にかけて急激に尻すぼみ状態で、2月はこのブログに記録を残して以来の最低額を更新するかもしれない。 投信のほうはいろいろ事情があって、いったんNISAを除いて全て処分することに。1月上旬に処分したあと…

サポートベクターマシン(ハードマージン)(1)

サポートベクターマシンにはハードマージン/ソフトマージンという分類があります。訓練データが線形分離可能であるという前提をおいたものをハードマージン、そうでないものをソフトマージンと呼びます。まずはハードマージンを見ていきます。下図はサポート…

直線と点の距離

下図に示すような点から、直線におろした垂線との交点との距離を考えます。 直線の法線ベクトルは(参考:法線ベクトルと勾配)ですから、 となる実数が存在します。式(1)においては方向への単位ベクトルです。したがっては点からまでの距離を表します。使っ…

最大マージン分類器

2クラスの分類問題を で識別することを考えます。*1 このとき、分離できる解は複数存在します。例えばパーセプトロンの場合、係数の初期値によって下図のように複数の解が求まります。 最大マージン分類器では、分離境界から最も近くの訓練データまでの距離…

カーネル法の目次

カーネル法の概要 カーネル法 ガウスカーネル カーネル法による正則化最小二乗法(1) カーネル法による正則化最小二乗法(2) カーネル回帰分析 カーネル回帰分析(1) カーネル回帰分析(2)実験結果 ガウス過程 ガウス過程 ガウス過程による回帰 ガウ…

ガウス過程による分類(7)実験結果

ガウス過程による分類(6)の続きです。 ガウス過程による分類(1)~(6)までの長い道のりを経て、ようやく以下の式が得られました。 今回はこれを使って予測分布を求めてみたいと思います。おさらいですが、各文字は以下のようなものでした。 は各要素…

ガウス過程による分類(6)

ガウス過程による分類(5)の続きです。 何をやっている途中かと言うと、最終目標である を求めるため、右辺後半の項を計算している途中です。ラプラス近似やニュートン法などを駆使し、ようやくガウス過程による分類(2)の式(10)、ガウス過程による分類…

転置行列の逆行列

転置行列の定理の式(1)を用いて、 ですから、式(3)より、 となります。

分散共分散行列の半正定値性

共分散行列は半正定値行列であることを確認します。 共分散行列の成分をを考えると、共分散行列の定義(参考:多変量正規分布)より、 です。 ここで、]とし、とすれば、 と書けます。 したがって共分散行列は、式(4)より、 と書けます。ここでとすれば、 で…

正定値行列の和

です。、が正定値行列なら、二次形式は正でしたから(参考:正定値行列)、式(1)より、が非ゼロベクトルなら であり、つまり正定値行列の和もまた正定値行列です。

2019年12月の振り返り

2019年は相場が戻ってくれてよかった。2018年の投信マイナスが311万だったので、ちょうど相殺できた。これでようやく2018年初と同じ位置なのだけど、毎月積み立てで投資しているので、投資額は当時よりけっこう膨らんでいる。2018年と同じレベルの下げがくれ…

正定値行列の逆行列

が対称行列なら、対称行列の対角化より、 によって対角化できます。ここで、は固有ベクトルを並べた直交行列、は固有値を対角成分に持つ対角行列です。また、は直交行列でですから、 です。 式(2)より、の逆行列を考えると、逆行列の定理より です。ここで直…

正定値行列

全ての固有値が正の対称行列を正定値行列と呼びます。これは、2次形式が常に正であることと同条件です。が対称行列なら、 によって対角化できます。ここで、は固有ベクトルを並べた直交行列、は固有値を対角成分に持つ対角行列です。(参考:対称行列の対角…

直交行列の逆行列

を直交行列とすると、直交性より となります。 さらに、が正方行列なら ですから、式(1)、式(2)より となり、直交行列の逆行列は転置行列であることがわかります。

ガウス過程による分類(5)

ガウス過程による分類(4)の続き。 と求められましたので、ラプラス近似をするため、まずはとなる点を求めます。 ベクトルの微分の式(8)を用いれば、 となります。ここでです。の微分は、シグモイド関数の微分と、ガウス過程による分類(3)の式(15)→式(1…

ガウス過程による分類(4)

ガウス過程による分類(3)の続き。 のラプラス近似を考えている途中です。ラプラス近似のため、の正規化項目を無視し、対数をとったものを とすれば、これは となりました。 ここからが今回の話。は、多変量正規分布の式(5)より です。そしてはシグモイド…

19年11月の振り返り

11月も相場は好調。昨年は300万くらいマイナスだったので、1年かけて回復したという感じ。もともとはWeb収入の減少分を投資でカバーという作戦だったので、再スタートラインに立ったというところ。 19年11月の実績 Web収入 投信 前月比評価損益 計 630,362…

Woodburyの公式

以下の式 は、Woodburyの公式と呼ばれます。左辺の計算より、右辺の計算が楽な場合において用いられるようです。 以下、導出を確認しました。 まず、を考えます。 です。次にを考えます。 ですから、式(6)、(7)より です。 ここからが本題で、を変形していき…

逆行列の定理

行列について、 が成り立ちます。これは以下のように確かめることができます。 より、となります。 また、転置行列の定理と同様、 となり、n個の行列に対して となります。

ガウス過程による分類(3)

ガウス過程による分類(2)の続き。 を求めることが目標ですが、は解析的に求めらません。ガウス過程による分類(2)で書いた通り、 と変形することができました。そして、 と求めることができました。そしてをラプラス近似で正規分布の形にすれば、式(2)…

ガウス過程による分類(2)

ガウス過程による分類(1)の続き。 を計算し、訓練データが与えられたとき、新たな入力に対するの確率を求めることが目標です。ですから、式(1)右辺の前半は簡単に求まりますが、は解析的に求められず、これを何とかしていかなくてはなりません。 条件付き…

19年10月の振り返り

ようやく投信がプラ転!一番ひどいときは250万くらい含み損がありましたが、なんとか復活してくれました。マイナスだったものが少しプラスになっただけで、決して得をしてるわけじゃないんですが、ずいぶん儲かったような錯覚をしてしまう。とりあえず今年は…

ガウス過程による分類(1)

ガウス過程を用いた分類を考えていきます。2クラスの分類なら、確率的生成モデル(1)で導出したシグモイド関数を用いて とモデル化できます。線形識別ではの部分はのように、係数の線形結合を考えていましたが、これを今回はガウス過程によってモデル化し…

19年9月の振り返り

去年の投信評価損-300万からだいぶ挽回してきて、もうすぐプラスに転じそうだというところで今月もあと一歩が及ばず。(一昨年まででけっこう含み益があったのです) 昨年は10月に相場が大きく下がりましたが、今年はどうなるか。 19年9月の実績 Web収入 投…

ラプラス近似

関数を正規分布の形状で近似する方法です。 の対数をとったにおいて、となる点まわりでのテイラー展開による2次近似を考えます。多変数関数の点まわりのテイラー展開は、 ですので、の点まわりでのテイラー展開による2次近似は、 です。(参考:ヘッセ行列で…

ガウスカーネル

カーネル法で書いたとおり、カーネル関数は特徴ベクトルの内積 として定義されます。 よく使われるカーネル関数として以下のガウスカーネルがあります。 今回はガウスカーネルがカーネル関数の定義を満たしており、かつ無限次元の特徴ベクトルで表されること…