概要
前回の以下の記事の続きです。
前回までのおさらい
訓練データ、
が与えられたとき、新たな入力
に対する
の確率、すなわち
を求めることが目標です。そしてこれは、いくつかの式変形によって以下のように表せました。
式(1)下線部はシグモイド関数の出力ですが、
は解析的に求めらません。これは
と変形することができました。さらに式(2)下線部Aは
と求めることができました。そして式(2)下線部Bのをラプラス近似を使うために対数をとった
を考え、それが、
となりました。今回はこの計算の続きで、式中の正規分布の表現に定義通り代入して計算するのみです。そろそろおさらいのほうが長くなってきているという。
の計算
式(4)におけるは、多変量正規分布の式をそのままあてはめれば*1、
です。そしてはシグモイド関数ですから、式(4)は
です。これを展開してけば、
です。ラプラス近似をするためには、となる点
と、
の値が必要になります。それが求められれば、
は
と近似できます。ここでです。さらに、
は確率密度関数ですから、
と書けます。
さて、を求めていきたいのですが、これは解析的に求めることができないためニュートン法(多変数の場合)を使います。
続きは次回