ガウス過程による分類(1)の続き。
を計算し、訓練データが与えられたとき、新たな入力に対するの確率を求めることが目標です。
ですから、式(1)右辺の前半は簡単に求まりますが、
は解析的に求められず、これを何とかしていかなくてはなりません。
条件付き確率、同時確率、周辺確率の式(10)を用いて
と変形し、さらにベイズの定理の式(2)より、
です。条件付き確率、同時確率、周辺確率の式(2)より、
です。と
は独立ですから、
です。そしてベイズの定理の式(1)より、
となります。
ここでまずは式(6)のを考えます。
はガウス過程という前提条件でしたので、ガウス過程の式(15)より、
の定数倍をカーネル関数の中に含めれば
と書けます。今考えているのは分類問題で離散値データですから、ガウス過程による回帰(1)の式(1)ようにノイズはありませんが、共分散行列の正定値性の保証のため*1、
のようにノイズの項を加えたものを考えます。これが正定値行列であることが、後々最適解を持つことの保証になります。行列の各要素が式(8)で与えられる共分散行列を用いれば、
と書けます。すると、ガウス過程による回帰(1)、ガウス過程による回帰(2)でを計算したのと同様の手順で、
と計算できます。
次に、式(6)のをラプラス近似を使って正規分布の形にもっていけば、式(10)とあわせて2つの正規分布の計算とすることができます。
続きは次回。ガウス過程による分類(3)
*1:分散は0以上であることに注意し、共分散行列の対角成分が正の場合の2次形式を計算してみれば、常に正になることがわかる。