ようやく投信がプラ転！一番ひどいときは250万くらい含み損がありましたが、なんとか復活してくれました。マイナスだったものが少しプラスになっただけで、決して得をしてるわけじゃないんですが、ずいぶん儲かったような錯覚をしてしまう。とりあえず今年は…

概要 ガウス過程を用いた分類を考えていきます。2クラスの分類なら、確率的生成モデル - シグモイド関数で導出したシグモイド関数を用いて とモデル化できます。線形識別ではの部分はのように、係数の線形結合を考えていましたが、これを今回はガウス過程に…

去年の投信評価損-300万からだいぶ挽回してきて、もうすぐプラスに転じそうだというところで今月もあと一歩が及ばず。（一昨年まででけっこう含み益があったのです） 昨年は10月に相場が大きく下がりましたが、今年はどうなるか。 19年9月の実績 Web収入 投…

関数を正規分布の形状で近似する方法です。 の対数をとったにおいて、となる点まわりでのテイラー展開による2次近似を考えます。多変数関数の点まわりのテイラー展開は、 ですので、の点まわりでのテイラー展開による2次近似は、 です。（参考：ヘッセ行列で…

概要 カーネル法で書いたとおり、カーネル関数は特徴ベクトルの内積 として定義されます。 よく使われるカーネル関数として以下のガウスカーネルがあります。 今回はガウスカーネルがカーネル関数の定義を満たしており、かつ無限次元の特徴ベクトルで表され…

8月はずいぶん相場が乱高下してました。まだ当分不安定な状況が続くんですかね。 中断してしまっていた機械学習の勉強をそろそろ再開します。思い出すのが大変なんですよね。思い出すために自分の書いた記事を読み直すんですが、書いたときはわかりやすいと…

7月はWeb収入も投信も調子が良かった。最近はやりたいことが多くて機械学習に時間が割けていない。おそらく機械学習の記事を期待してくださっているであろう36名の読者の方へ、2回連続でお金の記事を流してしまうことに罪悪感を感じる。 19年7月の実績 Web収…

前月はずいぶん相場が下がったけど、6月はちょっと持ち直した。今日7月1日は日経平均も大幅に上昇して7月は幸先の良いスタート。といっても、昨年の-300万が大きすぎて、まだ含み損なんですけど。プラ転まであと一息。 Web収入は大型連休のあった先月よりな…

概要 今回は、以下の記事を経て導出した結果 を使って、ガウス過程による回帰を実験してみました。 www.iwanttobeacat.com www.iwanttobeacat.com www.iwanttobeacat.com ガウス過程による回帰の実験結果 早速結果です。カーネル関数はガウスカーネルを使い…

概要 前回の記事の続きです。 www.iwanttobeacat.com 訓練データが得られているとき、新たな入力に対するを求めること、つまりを求めることが目標です。*1 先回は、 におけるを計算したところまでです。今回は式(1)を計算していきます。 計算・・・ 計算の方…

概要 以下の記事で線形回帰においての事前分布はカーネル関数を使って表すことができ、そしてガウス過程となっていることを確認しました。 www.iwanttobeacat.com 今回は、ガウス過程を使って回帰問題を考えます。つまり、訓練データをもとに新たな入力に対…

ブロック行列 の逆行列は、が正則のとき、 です。 本当にそうなっているか、式(2)の左からをかけて確かめてみます。 ちゃんとなっていました。 が正則のときは となります。

概要 今回はガウス過程の導出と、線形回帰における出力の事前分布はカーネル関数を使って表すことができるということの確認です。計算自体は難しくないのですが、ガウス過程という名称から確率過程のように時間軸を意識してしまうと戸惑ってしまいます。 線…

5月は連休明けから相場が下がりっぱなし。そのうち落ち着くと放っておいたら月末までずっと下がりっぱなし。いや、どっちみち放っておくことには変わりないんですが。前月比-80万ですけど、体感的にはもっとマイナスかと思ってた。Web収入のほうも10連休があ…

先回カーネル回帰分析（１）で導出した結果を使って、回帰問題を解いてみたいと思います。せっかくなので回帰曲線だけではなく、予測分布も求めてみます。 まずは予測分布を求めるための準備。は条件付き確率、同時確率の式(1)より、 です。は、カーネル回帰…

カーネル法による正則化最小二乗法（１）で、正則化最小二乗法の誤差関数からカーネル関数を導きました。今回は、別のアプローチで回帰分析を行ってもやはりカーネル関数が導かれることを見ていきます。 与えられた訓練データをもとに、分布を推定することを…

4月も相場は好調で今年に入ってからプラスの月が続いています。個別株は連休に入る前に利益を確定させました。結果的には利益が出てうまくいったけど今後積極的に手を出すつもりはないです。 一方Web収入はやはり減少傾向。本当はWebの不労所得を投資にまわ…

先回のカーネル法による正則化最小二乗法（１）で導出した により、カーネル法を使った線形回帰を解いてみたいと思います。 式にあてはめて解くだけなので早速結果です。回帰のモデルは多項式としました。 ちゃんと近似できていますね。訓練データは正則化最…

なんとか今月も投信がプラスでした。これで2019年は3ヶ月連続プラス！ちゃんと確認していないですけど、多分3ヶ月連続でプラスって、このブログで報告し始めてから初のはず。投信自体は2017年からやっていて、この年はマイナスになった月は1度もなかったんで…

先回、カーネル法でカーネル関数の定義を確認しました。今回は正則化最小二乗法の誤差関数を式変形する過程でカーネル関数が現れるっていうことを確認します。 さて、線形回帰における正則化最小二乗法の誤差関数は でした。式(1)は、 のように展開できます…

今回からカーネル法を勉強していきます。カーネル法とはカーネル関数を使う機械学習手法の総称です。Wikipediaによれば「ノンパラメトリック統計でカーネルと呼ばれるものとは一般に異なる」とのことですので、カーネル密度推定法で出てきたカーネルとは異な…

先月に続いて投信が好調で、今年は既にトータル+130万。とりあえず今年は、去年のマイナスが相殺できるくらいになってくれたら嬉しいけど、、、どうかなあ。あと今年から積立NISAを始めることにしました。年間40万まで非課税で投資できるってやつです。ぶっ…

カーネル密度推定法の式(13)を使って、実際に確率分布を推定してみたいと思います。推定する対象は、棄却サンプリングを使って、適当な形状の分布を用いることにします。 早速結果です 青色の線がサンプリングした確率分布で、オレンジの線がカーネル密度推…

パターン認識と機械学習（下）のカーネル法を勉強しています。カーネル法とは直接関係ないようですが、カーネル密度推定法（パターン認識と機械学習（上）で紹介されています）を勉強したので記事にします。 カーネル密度推定法とは、サンプルデータから元の…

概要 ニューラルネットワークの概要 誤差逆伝播法 誤差逆伝播法 出力ユニット活性で微分（回帰） 出力ユニット活性で微分（2クラス分類） 出力ユニット活性で微分（多クラス分類） 回帰と分類をニューラルネットワークで解く ニューラルネットワークで回帰を…

先回、ニューラルネットワークで回帰を解くで回帰を解きましたので、今回は3クラスの分類問題をニューラルネットワークで解いてみます。出力の活性化関数をソフトマックスにするだけで、実装は前回と同じです。隠れ層は前回の3つのままだとうまく分類できな…

19年1月は好調でした。でも投信は昨年10月、12月のダメージが大きくてまだ含み損。 機械学習も記事をようやく更新したので、これからまた勉強を再開していきたいところ。ブログで勉強したことをまとめていると、学習したことを思い出すのにすごく役立ちます…

先回、ニューラルネットワークモデルの勾配を求める誤差逆伝播法の手順を確認しましたので、実際にこれを使って回帰を解いてみたいと思います。今回は最急降下法を使いました。モデルは下図のようなものとしました。活性化関数はとし、出力の活性化関数はな…

ニューラルネットワークの概要 概要はこちらです。 www.iwanttobeacat.com ニューラルネットワークの最適化課題 ニューラルネットワークモデルの重みパラメータを最適化するためには、誤差の各パラメータに対する偏微分 を求める必要があります。これまで線…

うわーーー。世界の株価が大暴落！投信の基準価格は毎晩チェックしていたのですが、12月はあまりにも下がり続けるので見るのが嫌になってて、けっこう放置していた。で、久しぶりに確認したらびっくりしてしまった。持っているファンドの中で積立で買ってい…