機械学習に詳しくなりたいブログ

機械学習や数学について勉強した内容を中心に書きます。100%趣味です。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。

ガウス過程による分類(2)

ガウス過程による分類(1)の続き。


\displaystyle p(t_{N+1}=1 | \mathbf{t}_{N} )= \int p(t_{N+1}=1 |a_{N+1} )p(a_{N+1}|\mathbf{t}_{N}) d a_{N+1} \tag{1}

を計算し、訓練データが与えられたとき、新たな入力に対するt_{N+1}=1の確率を求めることが目標です。p(t_{N+1}=1|a_{N+1})=\sigma(a_{N+1})ですから、式(1)右辺の前半は簡単に求まりますが、p(a_{N+1}|\mathbf{t}_{N})は解析的に求められず、これを何とかしていかなくてはなりません。

条件付き確率、同時確率、周辺確率の式(10)を用いて


\displaystyle p(a_{N+1}|\mathbf{t}_{N}) = \int p(a_{N+1},\mathbf{a}_{N}|\mathbf{t}_{N}) d\mathbf{a}_{N} \tag{2}

と変形し、さらにベイズの定理の式(2)より、


\displaystyle 式(2)=\frac{1}{p(\mathbf{t}_{N})} \int p(a_{N+1},\mathbf{a}_{N})p(\mathbf{t}_{N}|a_{N+1},\mathbf{a}_{N}) d\mathbf{a}_{N} \tag{3}

です。条件付き確率、同時確率、周辺確率の式(2)より、


\displaystyle 式(3)=\frac{1}{p(\mathbf{t}_{N})} \int p(a_{N+1}|\mathbf{a}_{N})p(\mathbf{a}_{N})p(\mathbf{t}_{N}|a_{N+1},\mathbf{a}_{N}) d\mathbf{a}_{N} \tag{4}

です。a_{N+1}\mathbf{t}_{N}は独立ですから、


\displaystyle 式(4)=\frac{1}{p(\mathbf{t}_{N})} \int p(a_{N+1}|\mathbf{a}_{N})p(\mathbf{a}_{N})p(\mathbf{t}_{N}|a_{N}) d\mathbf{a}_{N} \tag{5}

です。そしてベイズの定理の式(1)より、


\displaystyle 式(5)= \int p(a_{N+1}|\mathbf{a}_{N}) p(\mathbf{a}_{N}|\mathbf{t}_{N}) d\mathbf{a}_{N} \tag{6}

となります。

ここでまずは式(6)のp(a_{N+1}|\mathbf{a}_{N})を考えます。aはガウス過程という前提条件でしたので、ガウス過程の式(15)より、\alphaの定数倍をカーネル関数の中に含めれば


p(\mathbf{a}_{N+1}) = N(\mathbf{a}_{N+1}|\mathbf{0},\mathbf{K}) \tag{7}

と書けます。今考えているのは分類問題で離散値データですから、ガウス過程による回帰(1)の式(1)ようにノイズはありませんが、共分散行列の正定値性の保証のため*1


C(x_{n},x_{m}) = k(x_{n},x_{m}) + \nu \delta_{nm} \tag{8}

のようにノイズの項を加えたものを考えます。これが正定値行列であることが、後々最適解を持つことの保証になります。行列の各要素が式(8)で与えられる共分散行列\mathbf{C}_{N+1}を用いれば、


p(\mathbf{a}_{N+1}) = N(\mathbf{a}_{N+1}|\mathbf{0},\mathbf{C}_{N+1}) \tag{9}

と書けます。すると、ガウス過程による回帰(1)ガウス過程による回帰(2)p(t_{N+1}|\mathbf{t}_{N})を計算したのと同様の手順で、


p(a_{N+1}|\mathbf{a}_{N}) = N(a_{N+1}| \mathbf{k}^{T}\mathbf{C}_{N}^{-1}\mathbf{a}_{N}, c- \mathbf{k}^{T}\mathbf{C}_{N}^{-1}\mathbf{k}) \tag{10}

と計算できます。

次に、式(6)のp(\mathbf{a}_{N}|\mathbf{t}_{N})ラプラス近似を使って正規分布の形にもっていけば、式(10)とあわせて2つの正規分布の計算とすることができます。

続きは次回。ガウス過程による分類(3)

*1:分散は0以上であることに注意し、共分散行列の対角成分が正の場合の2次形式を計算してみれば、常に正になることがわかる。