機械学習に詳しくなりたいブログ

機械学習や数学について勉強した内容を中心に書きます。100%趣味です。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。

最適化

2次計画における双対問題

の最大値を、 の制約条件下で求めることを考えます。この問題において、が上に凸の2次関数で、制約条件が線形制約の場合、2次計画と呼びます。2次計画の問題を解くには、双対定理がよく使われるようです。この双対定理の背景にある理論は僕にとっては難解で…

ニュートン法(多変数)の実験

ニュートン法(多変数の場合)で導出した を使って、関数の極値を求めてみたいと思います。 関数は としました。*1 この関数の形状と等高線はこちらのようになっています。 さて、この関数のヘッセ行列と勾配は、 です。あとは初期値を決めて式(1)を繰り返す…

ニュートン法(多変数の場合)

ニュートン法(1変数の場合)の続きです。今回は多変数のニュートン法です。のような個の連立方程式 の解を、1変数のニュートン法と同様に各関数を1次近似し、近似解を求めることを考えます。点における1次近似は、接線、接平面の公式により です。なおここ…

ニュートン法(1変数の場合)

ニュートン法は、の解を求める数値計算法で、最急降下法に比べて収束が早い特徴があります。 関数の点における接線は以下の式で与えられます。 式(1)の接線と、軸との交点は です。接線は関数の1次近似ですから、式(3)で表される交点はを1次近似した場合にお…

ヘッセ行列で極値の判定

ヘッセ行列で最大/最小値の存在を判定の続きで、今回は関数における停留点が極値かどうかを判定する方法を確認します。高校数学で習うように、1変数の関数であれば、二階微分の正負から増減表によって極値の判定ができますが、多変数関数では増減表を書くこ…

ヘッセ行列で最大/最小値の存在を判定

2次形式を対称行列を使ってとするとき、を2次関数のヘッセ行列といいます。ヘッセ行列は2階微分(参考:ベクトルをベクトルで微分の定義とヘッセ行列)を指すことが多そうですが、2次形式の対称行列もヘッセ行列と呼ぶようです。*1 今回はこのヘッセ行列を使…