の最大値を、 の制約条件下で求めることを考えます。この問題において、が上に凸の2次関数で、制約条件が線形制約の場合、2次計画と呼びます。2次計画の問題を解くには、双対定理がよく使われるようです。この双対定理の背景にある理論は僕にとっては難解で…

ニュートン法（多変数の場合）で導出した を使って、関数の極値を求めてみたいと思います。 関数は としました。*1 この関数の形状と等高線はこちらのようになっています。 さて、この関数のヘッセ行列と勾配は、 です。あとは初期値を決めて式(1)を繰り返す…

概要 ニュートン法は、f(x)=0の解αを求める数値計算法で、最急降下法に比べて収束が早い特徴があります。ニュートン・ラフソン法とも呼びます。この記事では多変数の場合におけるアルゴリズムについて記載しています。多変数の場合、の解を求めるにはの次元…

概要 ニュートン法は、の解を求める数値計算法で、最急降下法に比べて収束が早い特徴があります。ニュートン・ラフソン法とも呼びます。 アルゴリズム 関数の点における接線は以下の式で与えられます。 式(1)の接線と、軸との交点は です。接線は関数の1次近…

ヘッセ行列で最大/最小値の存在を判定の続きで、今回は関数における停留点が極値かどうかを判定する方法を確認します。高校数学で習うように、1変数の関数であれば、二階微分の正負から増減表によって極値の判定ができますが、多変数関数では増減表を書くこ…

2次形式を対称行列を使ってとするとき、を2次関数のヘッセ行列といいます。ヘッセ行列は2階微分（参考：ベクトルをベクトルで微分の定義とヘッセ行列）を指すことが多そうですが、2次形式の対称行列もヘッセ行列と呼ぶようです。*1 今回はこのヘッセ行列を使…