多クラスの確率的生成モデルを考えたときに出てきたソフトマックス関数の微分を計算します。 ソフトマックス関数は でした。を考えます。 のとき、分数の微分公式より となります。のときも同様に分数の微分公式より となります。式(3)、(6)を単位行列の要素…

概要 2クラスの場合に確率的生成モデルを考えると、シグモイド関数で事後確率が表せました。今回は多クラスの場合を考えます。 ソフトマックス関数の導出 確率的生成モデル - シグモイド関数と同様の計算（ベイズの定理）により、 となります。ここで とすれ…

2クラスのロジスティック回帰における交差エントロピー誤差は、唯一の最小値を持つ凸関数であること確認します。 ロジスティック回帰における交差エントロピー誤差のヘッセ行列で、交差エントロピー誤差のヘッセ行列が と書けることを確認しました。ここで任…

入力を非線形変換したパーセプトロンでも基底変換を実験しましたが、ロジスティック回帰でも試してみます。パーセプトロンで試したときは、変換は適当に決めてしまいましたが、今回はガウス基底を使ってみます。名前がついてるってだけで、適当に選んだこと…

概要 まずはおさらい。2クラスの分類問題に確率的生成モデルを適用すれば、出力はシグモイド関数で表すことができ、それはデータがクラスに属する確率として解釈することができました。そして最尤推定によりパラメータを求めるため、交差エントロピー誤差を…

概要 この記事ではロジスティック回帰をニュートン法で解を求めるためのヘッセ行列（二階微分）を求めます。 数値計算のためのヘッセ行列導出 ロジスティック回帰で交差エントロピー誤差を定義し、その偏微分が であることを確認しました。今回は、ニュート…

ニュートン法（多変数の場合）で導出した を使って、関数の極値を求めてみたいと思います。 関数は としました。*1 この関数の形状と等高線はこちらのようになっています。 さて、この関数のヘッセ行列と勾配は、 です。あとは初期値を決めて式(1)を繰り返す…

概要 ニュートン法は、f(x)=0の解αを求める数値計算法で、最急降下法に比べて収束が早い特徴があります。ニュートン・ラフソン法とも呼びます。この記事では多変数の場合におけるアルゴリズムについて記載しています。多変数の場合、の解を求めるにはの次元…

概要 ニュートン法は、の解を求める数値計算法で、最急降下法に比べて収束が早い特徴があります。ニュートン・ラフソン法とも呼びます。 アルゴリズム 関数の点における接線は以下の式で与えられます。 式(1)の接線と、軸との交点は です。接線は関数の1次近…

7月はけっこう投信が順調で、ようやく今年の成績がプラスに転じるかなあと思ってたら、月末最後の2日間でものすごい下がって結局微増。年初からちっとも評価額が増えないので、資産の現金比率がじわじわ高まってきた。ということで8月から積立の金額を増額。…