機械学習に詳しくなりたいブログ

機械学習や数学について勉強した内容を中心に書きます。100%趣味です。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。

2020年8月の振り返り

20年8月の実績 Web収入 投信 前月比評価損益 個別株 計 890,765円 - 128,399円 1,019,164円 20年の累積 Web収入 投信評価損益 個別株 計 6,668,558円 117,835円 690,374円 ‬7,476,767円

2020年7月の振り返り

もう8月も終わろうとしているのに7月の振り返り。個別株は先月末の実績がいくらだったか確認するのが面倒だったので昨日時点。 そろそろこの機械学習の復習をしないと、下手したら自分で書いた内容すら理解できなくなってしまうかも。 20年7月の実績 Web収入…

2020年6月の振り返り

6月上旬まで個別株は絶好調でしたが、そこから急降下。一番評価益があったときから多分100万円分くらい下がった。またここから一段と下がったら買い増ししようかと思ってますが、どうなるか。あるいは、インデックス系の投信にまとまった金額を投資するか。 …

2020年5月の振り返り

連休に加えてSTAYHOMEの影響か、アクセス数が伸びてWeb収入は好調でした。さらに、先月から買い増しした個別株がどれも順調。というか、だいたい何を買ってもそれなりに利益になった月だったと思います。まだコロナの影響も完全になくなったわけではないです…

2020年4月の振り返り

4月から個別株を物色しはじめました。また相場が大きく下がるかもしれませんが、徐々に買い増ししていこうと思っています。とりあえず今のところは全資産の10%未満。 機械学習のほうはさっぱり進めていない。ネット上に書く以上はやっぱり人に読まれること…

2020年3月の振り返り

相場はひどいですね。先月と同じことを言ってしまいますが、売っておいて本当によかった。なんかもうこの辺だったら何を買っても利益が出るような気がする。と思いながらもまだ何にも手を出していない。 20年3月の実績 Web収入 投信 前月比評価損益 計 759,2…

2020年2月の振り返り

なんだかんだで2月のWeb収入はそこそこに落ち着いた。 投信は先月売っておいて本当に良かった。今月もすごい勢いで下落していて、仮に持ち続けていたら200万くらいはマイナスでした。下落の勢いがすごいぶん、戻るスピードも速いかもしれません。また買い始…

サポートベクターマシン(ハードマージン)(2)

サポートベクターマシン(ハードマージン)(1)の続きです。 先回、求める解は を、 という2次計画問題となることを確認しました。この問題を解きやすい形にするため、2次計画における双対問題の手順に沿って双対問題を導出します。手順は、 ラグランジュ…

2次計画における双対問題

の最大値を、 の制約条件下で求めることを考えます。この問題において、が上に凸の2次関数で、制約条件が線形制約の場合、2次計画と呼びます。2次計画の問題を解くには、双対定理がよく使われるようです。この双対定理の背景にある理論は僕にとっては難解で…

20年1月の振り返り

正月休みのボーナス期間でWeb収入は好調。が、月末にかけて急激に尻すぼみ状態で、2月はこのブログに記録を残して以来の最低額を更新するかもしれない。 投信のほうはいろいろ事情があって、いったんNISAを除いて全て処分することに。1月上旬に処分したあと…

サポートベクターマシン(ハードマージン)(1)

サポートベクターマシンにはハードマージン/ソフトマージンという分類があります。訓練データが線形分離可能であるという前提をおいたものをハードマージン、そうでないものをソフトマージンと呼びます。まずはハードマージンを見ていきます。下図はサポート…

直線と点の距離

下図に示すような点から、直線におろした垂線との交点との距離を考えます。 直線の法線ベクトルは(参考:法線ベクトルと勾配)ですから、 となる実数が存在します。式(1)においては方向への単位ベクトルです。したがっては点からまでの距離を表します。使っ…

最大マージン分類器

2クラスの分類問題を で識別することを考えます。*1 このとき、分離できる解は複数存在します。例えばパーセプトロンの場合、係数の初期値によって下図のように複数の解が求まります。 最大マージン分類器では、分離境界から最も近くの訓練データまでの距離…

カーネル法の目次

カーネル法の概要 カーネル法 ガウスカーネル カーネル法による正則化最小二乗法(1) カーネル法による正則化最小二乗法(2) カーネル回帰分析 カーネル回帰分析(1) カーネル回帰分析(2)実験結果 ガウス過程 ガウス過程 ガウス過程による回帰 ガウ…

ガウス過程による分類(7)実験結果

ガウス過程による分類(6)の続きです。 ガウス過程による分類(1)~(6)までの長い道のりを経て、ようやく以下の式が得られました。 今回はこれを使って予測分布を求めてみたいと思います。おさらいですが、各文字は以下のようなものでした。 は各要素…

ガウス過程による分類(6)

ガウス過程による分類(5)の続きです。 何をやっている途中かと言うと、最終目標である を求めるため、右辺後半の項を計算している途中です。ラプラス近似やニュートン法などを駆使し、ようやくガウス過程による分類(2)の式(10)、ガウス過程による分類…

転置行列の逆行列

転置行列の定理の式(1)を用いて、 ですから、式(3)より、 となります。

分散共分散行列の半正定値性

共分散行列は半正定値行列であることを確認します。 共分散行列の成分をを考えると、共分散行列の定義(参考:多変量正規分布)より、 です。 ここで、]とし、とすれば、 と書けます。 したがって共分散行列は、式(4)より、 と書けます。ここでとすれば、 で…

正定値行列の和

です。、が正定値行列なら、二次形式は正でしたから(参考:正定値行列)、式(1)より、が非ゼロベクトルなら であり、つまり正定値行列の和もまた正定値行列です。

2019年12月の振り返り

2019年は相場が戻ってくれてよかった。2018年の投信マイナスが311万だったので、ちょうど相殺できた。これでようやく2018年初と同じ位置なのだけど、毎月積み立てで投資しているので、投資額は当時よりけっこう膨らんでいる。2018年と同じレベルの下げがくれ…

正定値行列の逆行列

が対称行列なら、対称行列の対角化より、 によって対角化できます。ここで、は固有ベクトルを並べた直交行列、は固有値を対角成分に持つ対角行列です。また、は直交行列でですから、 です。 式(2)より、の逆行列を考えると、逆行列の定理より です。ここで直…

正定値行列

全ての固有値が正の対称行列を正定値行列と呼びます。これは、2次形式が常に正であることと同条件です。が対称行列なら、 によって対角化できます。ここで、は固有ベクトルを並べた直交行列、は固有値を対角成分に持つ対角行列です。(参考:対称行列の対角…

直交行列の逆行列

を直交行列とすると、直交性より となります。 さらに、が正方行列なら ですから、式(1)、式(2)より となり、直交行列の逆行列は転置行列であることがわかります。

ガウス過程による分類(5)

ガウス過程による分類(4)の続き。 と求められましたので、ラプラス近似をするため、まずはとなる点を求めます。 2次形式の微分公式*1を用いれば、 となります。ここでです。を微分していけばシグモイド関数が現れます。 ここで、式(3)のの中にもが含まれ…

ガウス過程による分類(4)

概要 前回の以下の記事の続きです。 www.iwanttobeacat.com 前回までのおさらい 訓練データ、が与えられたとき、新たな入力に対するの確率、すなわちを求めることが目標です。そしてこれは、いくつかの式変形によって以下のように表せました。 式(1)下線部は…

19年11月の振り返り

11月も相場は好調。昨年は300万くらいマイナスだったので、1年かけて回復したという感じ。もともとはWeb収入の減少分を投資でカバーという作戦だったので、再スタートラインに立ったというところ。 19年11月の実績 Web収入 投信 前月比評価損益 計 630,362…

Woodburyの公式

以下の式 は、Woodburyの公式と呼ばれます。左辺の計算より、右辺の計算が楽な場合において用いられるようです。 以下、導出を確認しました。 まず、を考えます。 です。次にを考えます。 ですから、式(6)、(7)より です。 ここからが本題で、を変形していき…

逆行列の定理

行列について、 が成り立ちます。これは以下のように確かめることができます。 より、となります。 また、転置行列の定理と同様、 となり、n個の行列に対して となります。

ガウス過程による分類(3)

概要 前回の以下の記事の続きです。 www.iwanttobeacat.com 前回までのおさらい 訓練データ、が与えられたとき、新たな入力に対するの確率、すなわちを求めることが目標です。そしてこれは、いくつかの式変形によって以下のように表せました。 式(1)下線部は…

ガウス過程による分類(2)

概要 前回の以下の記事の続きです。 www.iwanttobeacat.com 前回の記事までのまとめ 訓練データ、が与えられたとき、新たな入力に対するの確率、すなわちを求めることが目標です。そしてこれは、いくつかの式変形によって以下のように表せました。 の計算 式…