今回からカーネル法を勉強していきます。カーネル法とはカーネル関数を使う機械学習手法の総称です。Wikipediaによれば「ノンパラメトリック統計でカーネルと呼ばれるものとは一般に異なる」とのことですので、カーネル密度推定法で出てきたカーネルとは異な…

先月に続いて投信が好調で、今年は既にトータル+130万。とりあえず今年は、去年のマイナスが相殺できるくらいになってくれたら嬉しいけど、、、どうかなあ。あと今年から積立NISAを始めることにしました。年間40万まで非課税で投資できるってやつです。ぶっ…

カーネル密度推定法の式(13)を使って、実際に確率分布を推定してみたいと思います。推定する対象は、棄却サンプリングを使って、適当な形状の分布を用いることにします。 早速結果です 青色の線がサンプリングした確率分布で、オレンジの線がカーネル密度推…

パターン認識と機械学習（下）のカーネル法を勉強しています。カーネル法とは直接関係ないようですが、カーネル密度推定法（パターン認識と機械学習（上）で紹介されています）を勉強したので記事にします。 カーネル密度推定法とは、サンプルデータから元の…

概要 ニューラルネットワークの概要 誤差逆伝播法 誤差逆伝播法 出力ユニット活性で微分（回帰） 出力ユニット活性で微分（2クラス分類） 出力ユニット活性で微分（多クラス分類） 回帰と分類をニューラルネットワークで解く ニューラルネットワークで回帰を…

先回、ニューラルネットワークで回帰を解くで回帰を解きましたので、今回は3クラスの分類問題をニューラルネットワークで解いてみます。出力の活性化関数をソフトマックスにするだけで、実装は前回と同じです。隠れ層は前回の3つのままだとうまく分類できな…

19年1月は好調でした。でも投信は昨年10月、12月のダメージが大きくてまだ含み損。 機械学習も記事をようやく更新したので、これからまた勉強を再開していきたいところ。ブログで勉強したことをまとめていると、学習したことを思い出すのにすごく役立ちます…

先回、ニューラルネットワークモデルの勾配を求める誤差逆伝播法の手順を確認しましたので、実際にこれを使って回帰を解いてみたいと思います。今回は最急降下法を使いました。モデルは下図のようなものとしました。活性化関数はとし、出力の活性化関数はな…

ニューラルネットワークの概要 概要はこちらです。 www.iwanttobeacat.com ニューラルネットワークの最適化課題 ニューラルネットワークモデルの重みパラメータを最適化するためには、誤差の各パラメータに対する偏微分 を求める必要があります。これまで線…

うわーーー。世界の株価が大暴落！投信の基準価格は毎晩チェックしていたのですが、12月はあまりにも下がり続けるので見るのが嫌になってて、けっこう放置していた。で、久しぶりに確認したらびっくりしてしまった。持っているファンドの中で積立で買ってい…