機械学習に詳しくなりたいブログ

機械学習や数学について勉強した内容を中心に書きます。100%趣味です。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。

19年9月の振り返り

去年の投信評価損-300万からだいぶ挽回してきて、もうすぐプラスに転じそうだというところで今月もあと一歩が及ばず。(一昨年まででけっこう含み益があったのです) 昨年は10月に相場が大きく下がりましたが、今年はどうなるか。 19年9月の実績 Web収入 投…

ラプラス近似

関数を正規分布の形状で近似する方法です。 の対数をとったにおいて、となる点まわりでのテイラー展開による2次近似を考えます。多変数関数の点まわりのテイラー展開は、 ですので、の点まわりでのテイラー展開による2次近似は、 です。(参考:ヘッセ行列で…

ガウスカーネル

カーネル法で書いたとおり、カーネル関数は特徴ベクトルの内積 として定義されます。 よく使われるカーネル関数として以下のガウスカーネルがあります。 今回はガウスカーネルがカーネル関数の定義を満たしており、かつ無限次元の特徴ベクトルで表されること…

19年8月の振り返り

8月はずいぶん相場が乱高下してました。まだ当分不安定な状況が続くんですかね。 中断してしまっていた機械学習の勉強をそろそろ再開します。思い出すのが大変なんですよね。思い出すために自分の書いた記事を読み直すんですが、書いたときはわかりやすいと…

19年7月の振り返り

7月はWeb収入も投信も調子が良かった。最近はやりたいことが多くて機械学習に時間が割けていない。おそらく機械学習の記事を期待してくださっているであろう36名の読者の方へ、2回連続でお金の記事を流してしまうことに罪悪感を感じる。 19年7月の実績 Web収…

19年6月の振り返り

前月はずいぶん相場が下がったけど、6月はちょっと持ち直した。今日7月1日は日経平均も大幅に上昇して7月は幸先の良いスタート。といっても、昨年の-300万が大きすぎて、まだ含み損なんですけど。プラ転まであと一息。 Web収入は大型連休のあった先月よりな…

ガウス過程による回帰(3)実験結果

ガウス過程、ガウス過程による回帰(1)、ガウス過程による回帰(2)を経て導出した結果 を使って、回帰を解いてみました。 早速結果です。カーネル関数はガウスカーネルを使いました。また、予測分布も求めてみました。 カーネルを用いた回帰でも、カーネ…

ガウス過程による回帰(2)

ガウス過程による回帰(1)の続きです。訓練データが得られているとき、新たな入力に対するを求めること、つまりを求めることが目標です(、の条件は省略しています)。先回は、 におけるを計算しました。 ここで、が正規分布であるとき、もまた正規分布で…

ガウス過程による回帰(1)

ガウス過程の続きです。ガウス過程では線形回帰において理論値の事前分布はカーネル関数を使って表すことができ、そしてガウス過程となっていることを確認しました。 訓練データには、理論値に誤差が加わっているとすると です。ここで誤差はの正規分布に従…

ブロック行列の逆行列

ブロック行列 の逆行列は、が正則のとき、 です。 本当にそうなっているか、式(2)の左からをかけて確かめてみます。 ちゃんとなっていました。 が正則のときは となります。

ガウス過程

引き続きカーネル法を勉強しています。今回の目的は、線形回帰における出力の事前分布はカーネル関数を使って表すことができる、ということの確認です。計算自体は難しくないのですが、自分の中ですっきり理解したと思えるまで大変でした。 まずは線形回帰で…

19年5月の振り返り

5月は連休明けから相場が下がりっぱなし。そのうち落ち着くと放っておいたら月末までずっと下がりっぱなし。いや、どっちみち放っておくことには変わりないんですが。前月比-80万ですけど、体感的にはもっとマイナスかと思ってた。Web収入のほうも10連休があ…

カーネル回帰分析(2)実験結果

先回カーネル回帰分析(1)で導出した結果を使って、回帰問題を解いてみたいと思います。せっかくなので回帰曲線だけではなく、予測分布も求めてみます。 まずは予測分布を求めるための準備。は条件付き確率、同時確率の式(1)より、 です。は、カーネル回帰…

カーネル回帰分析(1)

カーネル法による正則化最小二乗法(1)で、正則化最小二乗法の誤差関数からカーネル関数を導きました。今回は、別のアプローチで回帰分析を行ってもやはりカーネル関数が導かれることを見ていきます。 与えられた訓練データをもとに、分布を推定することを…

19年4月の振り返り

4月も相場は好調で今年に入ってからプラスの月が続いています。個別株は連休に入る前に利益を確定させました。結果的には利益が出てうまくいったけど今後積極的に手を出すつもりはないです。 一方Web収入はやはり減少傾向。本当はWebの不労所得を投資にまわ…

カーネル法による正則化最小二乗法(2)

先回のカーネル法による正則化最小二乗法(1)で導出した により、カーネル法を使った線形回帰を解いてみたいと思います。 式にあてはめて解くだけなので早速結果です。回帰のモデルは多項式としました。 ちゃんと近似できていますね。訓練データは正則化最…

2019年3月の振り返り

なんとか今月も投信がプラスでした。これで2019年は3ヶ月連続プラス!ちゃんと確認していないですけど、多分3ヶ月連続でプラスって、このブログで報告し始めてから初のはず。投信自体は2017年からやっていて、この年はマイナスになった月は1度もなかったんで…

カーネル法による正則化最小二乗法(1)

先回、カーネル法でカーネル関数の定義を確認しました。今回は正則化最小二乗法の誤差関数を式変形する過程でカーネル関数が現れるっていうことを確認します。 さて、線形回帰における正則化最小二乗法の誤差関数は でした。式(1)は、 のように展開できます…

カーネル法

今回からカーネル法を勉強していきます。カーネル法とはカーネル関数を使う機械学習手法の総称です。Wikipediaによれば「ノンパラメトリック統計でカーネルと呼ばれるものとは一般に異なる」とのことですので、カーネル密度推定法で出てきたカーネルとは異な…

2019年2月の振り返り

先月に続いて投信が好調で、今年は既にトータル+130万。とりあえず今年は、去年のマイナスが相殺できるくらいになってくれたら嬉しいけど、、、どうかなあ。あと今年から積立NISAを始めることにしました。年間40万まで非課税で投資できるってやつです。ぶっ…

カーネル密度推定法の実験

カーネル密度推定法の式(13)を使って、実際に確率分布を推定してみたいと思います。推定する対象は、棄却サンプリングを使って、適当な形状の分布を用いることにします。 早速結果です 青色の線がサンプリングした確率分布で、オレンジの線がカーネル密度推…

カーネル密度推定法

パターン認識と機械学習(下)のカーネル法を勉強しています。カーネル法とは直接関係ないようですが、カーネル密度推定法(パターン認識と機械学習(上)で紹介されています)を勉強したので記事にします。 カーネル密度推定法とは、サンプルデータから元の…

ニューラルネットワークの目次

概要 ニューラルネットワークの概要 誤差逆伝播法 誤差逆伝播法 出力ユニット活性で微分(回帰) 出力ユニット活性で微分(2クラス分類) 出力ユニット活性で微分(多クラス分類) 回帰と分類をニューラルネットワークで解く ニューラルネットワークで回帰を…

ニューラルネットワークで分類を解く

先回、ニューラルネットワークで回帰を解くで回帰を解きましたので、今回は3クラスの分類問題をニューラルネットワークで解いてみます。出力の活性化関数をソフトマックスにするだけで、実装は前回と同じです。隠れ層は前回の3つのままだとうまく分類できな…

2019年1月の振り返り

19年1月は好調でした。でも投信は昨年10月、12月のダメージが大きくてまだ含み損。 機械学習も記事をようやく更新したので、これからまた勉強を再開していきたいところ。ブログで勉強したことをまとめていると、学習したことを思い出すのにすごく役立ちます…

ニューラルネットワークで回帰を解く

先回、ニューラルネットワークモデルの勾配を求める誤差逆伝播法の手順を確認しましたので、実際にこれを使って回帰を解いてみたいと思います。今回は最急降下法を使いました。モデルは下図のようなものとしました。活性化関数はとし、出力の活性化関数はな…

誤差逆伝播法

ニューラルネットワークモデルの重みパラメータを最適化するためには、各パラメータに対する偏微分 を求める必要があります。これまで線形識別などで誤差の勾配を求めて最適化したのと同じことですね。この偏微分係数を求めるアルゴリズムとして誤差逆伝播法…

18年12月の振り返り

うわーーー。世界の株価が大暴落!投信の基準価格は毎晩チェックしていたのですが、12月はあまりにも下がり続けるので見るのが嫌になってて、けっこう放置していた。で、久しぶりに確認したらびっくりしてしまった。持っているファンドの中で積立で買ってい…

18年11月の振り返り

気付いたら3回連続で機械学習じゃなくてお金の話。年明けには機械学習の勉強も再開したいと思っています。先月も書いたんですが、今は新しいWebサービスの準備を進めています。大方できあがってきたんですが、ここまで来ると急にモチベーションが下がってし…

18年10月の振り返り

今年の2月くらいに相場が暴落して、投資初期に暴落が経験できて良かったとか書いてたんですが、10月はそれ以上の暴落がやってきた!国内、海外どちらにも投資してるんですけど、どれもこれも悲惨な状況で、なんと10月は投信が140万近いマイナス。とうとう通…