ガウス過程による分類（２） - 機械学習に詳しくなりたいブログ

$\displaystyle p(t_{N+1}=1 | \mathbf{t}_{N} )= \int p(t_{N+1}=1 |a_{N+1} )p(a_{N+1}|\mathbf{t}_{N}) d a_{N+1} \tag{1}$

を計算し、訓練データが与えられたとき、新たな入力に対する $t_{N+1}=1$ の確率を求めることが目標です。 $p(t_{N+1}=1|a_{N+1})=\sigma(a_{N+1})$ ですから、式(1)右辺の前半は簡単に求まりますが、 $p(a_{N+1}|\mathbf{t}_{N})$ は解析的に求められず、これを何とかしていかなくてはなりません。

条件付き確率、同時確率、周辺確率の式(10)を用いて

$\displaystyle p(a_{N+1}|\mathbf{t}_{N}) = \int p(a_{N+1},\mathbf{a}_{N}|\mathbf{t}_{N}) d\mathbf{a}_{N} \tag{2}$

と変形し、さらにベイズの定理の式(2)より、

$\displaystyle 式(2)=\frac{1}{p(\mathbf{t}_{N})} \int p(a_{N+1},\mathbf{a}_{N})p(\mathbf{t}_{N}|a_{N+1},\mathbf{a}_{N}) d\mathbf{a}_{N} \tag{3}$

です。条件付き確率、同時確率、周辺確率の式(2)より、

$\displaystyle 式(3)=\frac{1}{p(\mathbf{t}_{N})} \int p(a_{N+1}|\mathbf{a}_{N})p(\mathbf{a}_{N})p(\mathbf{t}_{N}|a_{N+1},\mathbf{a}_{N}) d\mathbf{a}_{N} \tag{4}$

です。 $a_{N+1}$ と $\mathbf{t}_{N}$ は独立ですから、

$\displaystyle 式(4)=\frac{1}{p(\mathbf{t}_{N})} \int p(a_{N+1}|\mathbf{a}_{N})p(\mathbf{a}_{N})p(\mathbf{t}_{N}|a_{N}) d\mathbf{a}_{N} \tag{5}$

です。そしてベイズの定理の式(1)より、

$\displaystyle 式(5)= \int p(a_{N+1}|\mathbf{a}_{N}) p(\mathbf{a}_{N}|\mathbf{t}_{N}) d\mathbf{a}_{N} \tag{6}$

となります。

ここでまずは式(6)の $p(a_{N+1}|\mathbf{a}_{N})$ を考えます。 $a$ はガウス過程という前提条件でしたので、ガウス過程の式(15)より、 $\alpha$ の定数倍をカーネル関数の中に含めれば

$p(\mathbf{a}_{N+1}) = N(\mathbf{a}_{N+1}|\mathbf{0},\mathbf{K}) \tag{7}$

と書けます。今考えているのは分類問題で離散値データですから、ガウス過程による回帰（１）の式(1)ようにノイズはありませんが、共分散行列の正定値性の保証のため*1、

$C(x_{n},x_{m}) = k(x_{n},x_{m}) + \nu \delta_{nm} \tag{8}$

のようにノイズの項を加えたものを考えます。これが正定値行列であることが、後々最適解を持つことの保証になります。行列の各要素が式(8)で与えられる共分散行列 $\mathbf{C}_{N+1}$ を用いれば、

$p(\mathbf{a}_{N+1}) = N(\mathbf{a}_{N+1}|\mathbf{0},\mathbf{C}_{N+1}) \tag{9}$

と書けます。すると、ガウス過程による回帰（１）、ガウス過程による回帰（２）で $p(t_{N+1}|\mathbf{t}_{N})$ を計算したのと同様の手順で、

$p(a_{N+1}|\mathbf{a}_{N}) = N(a_{N+1}| \mathbf{k}^{T}\mathbf{C}_{N}^{-1}\mathbf{a}_{N}, c- \mathbf{k}^{T}\mathbf{C}_{N}^{-1}\mathbf{k}) \tag{10}$

と計算できます。

次に、式(6)の $p(\mathbf{a}_{N}|\mathbf{t}_{N})$ をラプラス近似を使って正規分布の形にもっていけば、式(10)とあわせて2つの正規分布の計算とすることができます。

続きは次回。ガウス過程による分類（３）

*1:分散は0以上であることに注意し、共分散行列の対角成分が正の場合の２次形式を計算してみれば、常に正になることがわかる。