機械学習に詳しくなりたいブログ

機械学習や数学について勉強した内容を中心に書きます。100%趣味です。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。

ニューラルネットワーク

ニューラルネットワークの目次

概要 ニューラルネットワークの概要 誤差逆伝播法 誤差逆伝播法 出力ユニット活性で微分(回帰) 出力ユニット活性で微分(2クラス分類) 出力ユニット活性で微分(多クラス分類) 回帰と分類をニューラルネットワークで解く ニューラルネットワークで回帰を…

ニューラルネットワークで分類を解く

先回、ニューラルネットワークで回帰を解くで回帰を解きましたので、今回は3クラスの分類問題をニューラルネットワークで解いてみます。出力の活性化関数をソフトマックスにするだけで、実装は前回と同じです。隠れ層は前回の3つのままだとうまく分類できな…

ニューラルネットワークで回帰を解く

先回、ニューラルネットワークモデルの勾配を求める誤差逆伝播法の手順を確認しましたので、実際にこれを使って回帰を解いてみたいと思います。今回は最急降下法を使いました。モデルは下図のようなものとしました。活性化関数はとし、出力の活性化関数はな…

誤差逆伝播法

ニューラルネットワークモデルの重みパラメータを最適化するためには、各パラメータに対する偏微分 を求める必要があります。これまで線形識別などで誤差の勾配を求めて最適化したのと同じことですね。この偏微分係数を求めるアルゴリズムとして誤差逆伝播法…

出力ユニット活性で微分(多クラス分類)

前回の続き。ニューラルネットワークで回帰モデル、2クラス分類モデルを作った場合、誤差関数を出力ユニット活性で微分すると、出力と教師データの差となることを確認しました。(参考:出力ユニット活性で微分(回帰)、出力ユニット活性で微分(2クラス分…

出力ユニット活性で微分(2クラス分類)

前回の続き。前回はニューラルネットワークで回帰モデルを作った場合、誤差関数を出力ユニット活性で微分すると、出力と教師データの差となることを確認しました。(参考:出力ユニット活性で微分(回帰)) 今回は2クラス分類モデルの場合で計算してみます…

出力ユニット活性で微分(回帰)

ニューラルネットワークにおいて次元入力、1次元出力の回帰モデルを考えます。下図のようなモデルです。雑な図ですけど、まあ伝わりますよね。 今回は、このモデルの誤差関数の出力ユニット活性での微分を計算します。なお活性化関数は恒等関数です。(参考…

ニューラルネットワークの概要

今回からニューラルネットワークを勉強していきます。まずはニューラルネットワークの概要。 図.1 ちょっと下手くそな絵なんですけど、式(1)~(3)のような関係を上図のように表します。入力がで、それぞれに重みがかかっています。そしてその和がで、これは…