概要
前回の以下の記事の続きです。
前回までのおさらい
訓練データ、が与えられたとき、新たな入力に対するの確率、すなわちを求めることが目標です。そしてこれは、いくつかの式変形によって以下のように表せました。
式(1)下線部はシグモイド関数の出力ですが、は解析的に求めらません。これは
と変形することができました。さらに式(2)下線部Aは
と求めることができました。そして式(2)下線部Bのをラプラス近似で正規分布の形にして式(2)を計算していく方針です。
の計算
ベイズの定理*1より、
です。正規化項であるを無視すれば、
です。ラプラス近似を行うためには、関数の対数をとり、そのヘッセ行列などを求めなくてはなりませんので、
を考えます。式(6)をとおいて、
です。ここで、まず式(8)の右辺を考えます。、なので、
と書けます。はシグモイド関数で、
ですから、
です。式(11)右辺を変形していけば、
と計算できます。従って式(9)は、
です。
そして、式(8)右辺のもう1つの項は、ガウス過程という前提条件で、
でした。
以上より、
です。いろいろ計算がややこしくて何をやっているか見失いそうになるんですが、今はをラプラス近似で正規分布の形にもっていこうとしている途中です、、、。
続きは次回 www.iwanttobeacat.com