概要 ニューラルネットワークの概要 誤差逆伝播法 誤差逆伝播法 出力ユニット活性で微分（回帰） 出力ユニット活性で微分（2クラス分類） 出力ユニット活性で微分（多クラス分類） 回帰と分類をニューラルネットワークで解く ニューラルネットワークで回帰を…

先回、ニューラルネットワークで回帰を解くで回帰を解きましたので、今回は3クラスの分類問題をニューラルネットワークで解いてみます。出力の活性化関数をソフトマックスにするだけで、実装は前回と同じです。隠れ層は前回の3つのままだとうまく分類できな…

先回、ニューラルネットワークモデルの勾配を求める誤差逆伝播法の手順を確認しましたので、実際にこれを使って回帰を解いてみたいと思います。今回は最急降下法を使いました。モデルは下図のようなものとしました。活性化関数はとし、出力の活性化関数はな…

ニューラルネットワークの概要 概要はこちらです。 www.iwanttobeacat.com ニューラルネットワークの最適化課題 ニューラルネットワークモデルの重みパラメータを最適化するためには、誤差の各パラメータに対する偏微分 を求める必要があります。これまで線…

前回の続き。ニューラルネットワークで回帰モデル、2クラス分類モデルを作った場合、誤差関数を出力ユニット活性で微分すると、出力と教師データの差となることを確認しました。（参考：出力ユニット活性で微分（回帰）、出力ユニット活性で微分（2クラス分…

前回の続き。前回はニューラルネットワークで回帰モデルを作った場合、誤差関数を出力ユニット活性で微分すると、出力と教師データの差となることを確認しました。（参考：出力ユニット活性で微分（回帰）） 今回は2クラス分類モデルの場合で計算してみます…

ニューラルネットワークにおいて次元入力、1次元出力の回帰モデルを考えます。下図のようなモデルです。雑な図ですけど、まあ伝わりますよね。 今回は、このモデルの誤差関数の出力ユニット活性での微分を計算します。なお活性化関数は恒等関数です。（参考…

ニューラルネットワークの概要 図.1 ちょっと下手くそな絵なんですけど、式(1)～(3)のような関係を上図のように表します。 入力がで、それぞれに重みがかかっています。そしてその和がで、これは出力ユニット活性と呼ばれます。そして活性化関数と呼ばれる何…