ガウス過程による分類(4)の続き。
と求められましたので、ラプラス近似をするため、まずはとなる点
を求めます。
2次形式の微分公式*1を用いれば、
となります。ここでです。
を微分していけばシグモイド関数が現れます。
ここで、式(3)のの中にも
が含まれていますから、解析的に求めることができません。そこでニュートン法(多変数の場合)を用います。
ニュートン法の更新式は、ニュートン法(多変数の場合)の式(6)より、
でした。ここで、、
は、点
における
、
を表します。したがって、
となる点
を求める更新式は、
となります。は、式(3)をもう1度微分すれば、
です。の微分は、ベクトルをベクトルで微分の定義とヘッセ行列の式(1)の定義より計算し、
です。
ここで、シグモイド関数は
]の範囲の値をとります。対角行列の固有値は対角成分そのものですから、
は正定値行列であることがわかります。また、
はガウス過程による分類(2)の式(8)より正定値行列です。そして正定値行列の逆行列より
もまた正定値行列です。さらに正定値行列の和も正定値行列ですから、
は負定値行列であることがわかります。するとヘッセ行列で最大/最小値の存在を判定より、2次関数のヘッセ行列が負定値行列の場合は唯一の最大値を持ちますから、
は唯一の最適解を持っているといえます。
さて、式(3)と式(6)より、更新式の式(5)は、
となります。このまま使うと何か数値計算的に問題があるのか?計算量の無駄があるのか?わかりませんが、参考書ではさらに式変形をします。
となります。式(14)→式(15)の式変形には逆行列の定理の式(1)を使っています。
ガウス過程による分類(4)の最後の部分と重複しますが、これにより求められるとなる点
を用いて、
と書けます。ここでです。