前回の続き。ニューラルネットワークで回帰モデル、2クラス分類モデルを作った場合、誤差関数を出力ユニット活性で微分すると、出力と教師データの差となることを確認しました。（参考：出力ユニット活性で微分（回帰）、出力ユニット活性で微分（2クラス分…

前回の続き。前回はニューラルネットワークで回帰モデルを作った場合、誤差関数を出力ユニット活性で微分すると、出力と教師データの差となることを確認しました。（参考：出力ユニット活性で微分（回帰）） 今回は2クラス分類モデルの場合で計算してみます…

ニューラルネットワークにおいて次元入力、1次元出力の回帰モデルを考えます。下図のようなモデルです。雑な図ですけど、まあ伝わりますよね。 今回は、このモデルの誤差関数の出力ユニット活性での微分を計算します。なお活性化関数は恒等関数です。（参考…

ニューラルネットワークの概要 図.1 ちょっと下手くそな絵なんですけど、式(1)～(3)のような関係を上図のように表します。 入力がで、それぞれに重みがかかっています。そしてその和がで、これは出力ユニット活性と呼ばれます。そして活性化関数と呼ばれる何…

線形識別の概要 線形識別を最小二乗法で解く 線形識別を最小二乗法で解く 線形識別 最小二乗法の解の導出 パーセプトロン パーセプトロン 入力を非線形変換したパーセプトロン 確率的生成モデル 確率的生成モデル - シグモイド関数 シグモイド関数の微分 aが…

概要 多クラスロジスティック回帰 こちらの記事で多クラスロジスティック回帰の概要と、尤度関数から定義される交差エントロピー誤差の勾配を求めました。 多クラスロジスティック回帰における交差エントロピー誤差のヘッセ行列 こちらの記事でさらに微分し…

概要 多クラスロジスティック回帰の続きです。尤度関数から交差エントロピー誤差関数を定義し、その勾配を求めました。ニュートン法を用いて解を数値計算することが目的ですので、今回はさらに微分してヘッセ行列を求めます。 ヘッセ行列を導出 多クラスロジ…

概要 多クラスロジスティック回帰で得られる結果は以下の図のようなイメージです。左のグラフは、各クラスの識別関数（ソフトマックス）の出力結果、右のグラフは各識別関数の最大値を識別結果としたときの分類境界です。この分類境界が適切になるように各識…

8月は投信が15万くらいマイナスでひどいことになってるんですが、中旬頃は一時100万くらいマイナスだったので、後半でかなり盛り返しました。このまま上向いてくれるといいんですけどね。 あと8月はトルコリラが暴落したのに乗じてFXで小銭を稼ぎました。も…