ニュートン法(1変数の場合)の続きです。今回は多変数のニュートン法です。のような
個の連立方程式
の解を、1変数のニュートン法と同様に各関数を1次近似し、近似解を求めることを考えます。点
における1次近似は、接線、接平面の公式により
です。なおここでは、
を
で偏微分し、
を代入したものを表します。各関数で
を求め、
を行列式でまとめて書けば、
となります。ここでは、
に
を代入したものを表します。式(3)を整理すれば、
となり、1次近似による近似解が求められました。1変数のときと同様に、これを繰り返せば真の解に近づいていきます。
さて、式(4)で求められるものはとなる
です。ある1つの関数における
となる点が求めたければ、式(4)において
と置き換えれば、
となります。ここで右辺の行列は点におけるヘッセ行列になっています。(参考:ベクトルをベクトルで微分の定義とヘッセ行列)
とし、ヘッセ行列
と勾配の記号を用いれば、
となります。ニュートン法(1変数の場合)の式(4)を多変数に拡張した形になっていますね。
次回、式(6)を実際に使って関数の極値を求めてみたいと思います。