が対称行列なら、対称行列の対角化より、 によって対角化できます。ここで、は固有ベクトルを並べた直交行列、は固有値を対角成分に持つ対角行列です。また、は直交行列でですから、 です。 式(2)より、の逆行列を考えると、逆行列の定理より です。ここで直…

全ての固有値が正の対称行列を正定値行列と呼びます。これは、2次形式が常に正であることと同条件です。が対称行列なら、 によって対角化できます。ここで、は固有ベクトルを並べた直交行列、は固有値を対角成分に持つ対角行列です。（参考：対称行列の対角…

を直交行列とすると、直交性より となります。 さらに、が正方行列なら ですから、式(1)、式(2)より となり、直交行列の逆行列は転置行列であることがわかります。

ガウス過程による分類（４）の続き。 と求められましたので、ラプラス近似をするため、まずはとなる点を求めます。 2次形式の微分公式*1を用いれば、 となります。ここでです。を微分していけばシグモイド関数が現れます。 ここで、式(3)のの中にもが含まれ…

概要 前回の以下の記事の続きです。 www.iwanttobeacat.com 前回までのおさらい 訓練データ、が与えられたとき、新たな入力に対するの確率、すなわちを求めることが目標です。そしてこれは、いくつかの式変形によって以下のように表せました。 式(1)下線部は…

11月も相場は好調。昨年は300万くらいマイナスだったので、１年かけて回復したという感じ。もともとはWeb収入の減少分を投資でカバーという作戦だったので、再スタートラインに立ったというところ。 19年11月の実績 Web収入 投信 前月比評価損益 計 630,362…

以下の式 は、Woodburyの公式と呼ばれます。左辺の計算より、右辺の計算が楽な場合において用いられるようです。 以下、導出を確認しました。 まず、を考えます。 です。次にを考えます。 ですから、式(6)、(7)より です。 ここからが本題で、を変形していき…

行列について、 が成り立ちます。これは以下のように確かめることができます。 より、となります。 また、転置行列の定理と同様、 となり、n個の行列に対して となります。

概要 前回の以下の記事の続きです。 www.iwanttobeacat.com 前回までのおさらい 訓練データ、が与えられたとき、新たな入力に対するの確率、すなわちを求めることが目標です。そしてこれは、いくつかの式変形によって以下のように表せました。 式(1)下線部は…

概要 前回の以下の記事の続きです。 www.iwanttobeacat.com 前回の記事までのまとめ 訓練データ、が与えられたとき、新たな入力に対するの確率、すなわちを求めることが目標です。そしてこれは、いくつかの式変形によって以下のように表せました。 の計算 式…

ようやく投信がプラ転！一番ひどいときは250万くらい含み損がありましたが、なんとか復活してくれました。マイナスだったものが少しプラスになっただけで、決して得をしてるわけじゃないんですが、ずいぶん儲かったような錯覚をしてしまう。とりあえず今年は…

概要 ガウス過程を用いた分類を考えていきます。2クラスの分類なら、確率的生成モデル - シグモイド関数で導出したシグモイド関数を用いて とモデル化できます。線形識別ではの部分はのように、係数の線形結合を考えていましたが、これを今回はガウス過程に…

去年の投信評価損-300万からだいぶ挽回してきて、もうすぐプラスに転じそうだというところで今月もあと一歩が及ばず。（一昨年まででけっこう含み益があったのです） 昨年は10月に相場が大きく下がりましたが、今年はどうなるか。 19年9月の実績 Web収入 投…

関数を正規分布の形状で近似する方法です。 の対数をとったにおいて、となる点まわりでのテイラー展開による2次近似を考えます。多変数関数の点まわりのテイラー展開は、 ですので、の点まわりでのテイラー展開による2次近似は、 です。（参考：ヘッセ行列で…

概要 カーネル法で書いたとおり、カーネル関数は特徴ベクトルの内積 として定義されます。 よく使われるカーネル関数として以下のガウスカーネルがあります。 今回はガウスカーネルがカーネル関数の定義を満たしており、かつ無限次元の特徴ベクトルで表され…

8月はずいぶん相場が乱高下してました。まだ当分不安定な状況が続くんですかね。 中断してしまっていた機械学習の勉強をそろそろ再開します。思い出すのが大変なんですよね。思い出すために自分の書いた記事を読み直すんですが、書いたときはわかりやすいと…

7月はWeb収入も投信も調子が良かった。最近はやりたいことが多くて機械学習に時間が割けていない。おそらく機械学習の記事を期待してくださっているであろう36名の読者の方へ、2回連続でお金の記事を流してしまうことに罪悪感を感じる。 19年7月の実績 Web収…

前月はずいぶん相場が下がったけど、6月はちょっと持ち直した。今日7月1日は日経平均も大幅に上昇して7月は幸先の良いスタート。といっても、昨年の-300万が大きすぎて、まだ含み損なんですけど。プラ転まであと一息。 Web収入は大型連休のあった先月よりな…

概要 今回は、以下の記事を経て導出した結果 を使って、ガウス過程による回帰を実験してみました。 www.iwanttobeacat.com www.iwanttobeacat.com www.iwanttobeacat.com ガウス過程による回帰の実験結果 早速結果です。カーネル関数はガウスカーネルを使い…

概要 前回の記事の続きです。 www.iwanttobeacat.com 訓練データが得られているとき、新たな入力に対するを求めること、つまりを求めることが目標です。*1 先回は、 におけるを計算したところまでです。今回は式(1)を計算していきます。 計算・・・ 計算の方…

概要 以下の記事で線形回帰においての事前分布はカーネル関数を使って表すことができ、そしてガウス過程となっていることを確認しました。 www.iwanttobeacat.com 今回は、ガウス過程を使って回帰問題を考えます。つまり、訓練データをもとに新たな入力に対…

ブロック行列 の逆行列は、が正則のとき、 です。 本当にそうなっているか、式(2)の左からをかけて確かめてみます。 ちゃんとなっていました。 が正則のときは となります。

概要 今回はガウス過程の導出と、線形回帰における出力の事前分布はカーネル関数を使って表すことができるということの確認です。計算自体は難しくないのですが、ガウス過程という名称から確率過程のように時間軸を意識してしまうと戸惑ってしまいます。 線…

5月は連休明けから相場が下がりっぱなし。そのうち落ち着くと放っておいたら月末までずっと下がりっぱなし。いや、どっちみち放っておくことには変わりないんですが。前月比-80万ですけど、体感的にはもっとマイナスかと思ってた。Web収入のほうも10連休があ…

先回カーネル回帰分析（１）で導出した結果を使って、回帰問題を解いてみたいと思います。せっかくなので回帰曲線だけではなく、予測分布も求めてみます。 まずは予測分布を求めるための準備。は条件付き確率、同時確率の式(1)より、 です。は、カーネル回帰…

カーネル法による正則化最小二乗法（１）で、正則化最小二乗法の誤差関数からカーネル関数を導きました。今回は、別のアプローチで回帰分析を行ってもやはりカーネル関数が導かれることを見ていきます。 与えられた訓練データをもとに、分布を推定することを…

4月も相場は好調で今年に入ってからプラスの月が続いています。個別株は連休に入る前に利益を確定させました。結果的には利益が出てうまくいったけど今後積極的に手を出すつもりはないです。 一方Web収入はやはり減少傾向。本当はWebの不労所得を投資にまわ…

先回のカーネル法による正則化最小二乗法（１）で導出した により、カーネル法を使った線形回帰を解いてみたいと思います。 式にあてはめて解くだけなので早速結果です。回帰のモデルは多項式としました。 ちゃんと近似できていますね。訓練データは正則化最…

なんとか今月も投信がプラスでした。これで2019年は3ヶ月連続プラス！ちゃんと確認していないですけど、多分3ヶ月連続でプラスって、このブログで報告し始めてから初のはず。投信自体は2017年からやっていて、この年はマイナスになった月は1度もなかったんで…

先回、カーネル法でカーネル関数の定義を確認しました。今回は正則化最小二乗法の誤差関数を式変形する過程でカーネル関数が現れるっていうことを確認します。 さて、線形回帰における正則化最小二乗法の誤差関数は でした。式(1)は、 のように展開できます…