ガウス過程による分類（１） - 機械学習に詳しくなりたいブログ

概要

ガウス過程を用いた分類を考えていきます。2クラスの分類なら、確率的生成モデル - シグモイド関数で導出したシグモイド関数を用いて

$y=\sigma(a(\mathbf{x})) \tag{1}$

とモデル化できます。線形識別では $a(\mathbf{x})$ の部分は $\mathbf{w}^{T}\mathbf{x}$ のように、係数 $\mathbf{w}$ の線形結合を考えていましたが、これを今回はガウス過程 $a(\mathbf{x})$ によってモデル化します。

$a(\mathbf{x})$ はガウス過程なので、仮に $\mathbf{x}$ が1次元の入力なら下図左のようなサンプルが得られます。これをシグモイド関数に通したものが下図右で、出力を確率として扱うことができるようになる、というのは確率的生成モデル - シグモイド関数で見たとおりです。縦軸で0.5を閾値にどちらのクラスかを識別します。

2次元入力なら下図のようなイメージです。左がガウス過程から得られた分布、真ん中がそれをシグモイド関数に通したものです。これを識別の結果でよく使う等高線図にしたものが右のグラフです。ガウス過程による分類では、これを訓練データをもとにして期待する識別境界となるようにしていきます。

新たな入力に対する確率分布

さて、目標は、訓練データ $\mathbf{x}=\{\mathbf{x}_{1},\cdots,\mathbf{x}_{N} \}$ 、 $\mathbf{t}_{N}=(t_1,\cdots,t_{N})^{T}$ が与えられたとき、新たな入力 $\mathbf{x}_{N+1}$ に対する $t_{N+1}=1$ の確率、すなわち $p(t_{N+1}=1 | \mathbf{t}_{N},\mathbf{x},\mathbf{x}_{N+1} )$ を求めることです。なお2クラス分類を考えていますので、 $t\in\{0,1\}$ とすれば、 $t_{N+1}=1$ の確率が求まれば $t_{N+1}=0$ の確率も当然求まります。また、以降は入力の条件を省略して $p(t_{N+1}=1 | \mathbf{t}_{N} )$ と表記します。

確率の周辺化により、*1

$\displaystyle p(t_{N+1}=1 | \mathbf{t}_{N} ) = \int p(t_{N+1}=1 ,a_{N+1} | \mathbf{t}_{N} ) d a_{N+1} \tag{2}$

と変形できます。ここで $a_{N+1}=a(\mathbf{x}_{N+1})$ です。つまり新たな入力点に対応したガウス過程の出力値です。2次元入力の上のグラフ左図でいえば、新たな入力座標に対するZ軸の値です。

さらに条件付き同時確率の式変形により式(2)の右辺は、*2

$\displaystyle \int p(t_{N+1}=1 ,a_{N+1} | \mathbf{t}_{N} ) d a_{N+1}= \int p(t_{N+1}=1 |a_{N+1} , \mathbf{t}_{N} )p(a_{N+1}|\mathbf{t}_{N}) d a_{N+1} \tag{3}$

となります。ここで、 $p(t_{N+1}=1)$ は、 $a_{N+1}$ が与えられれば $p(t_{N+1}=1)=\sigma(a_{N+1})$ で決まりますから、 $\mathbf{t}_{N}$ には依存しません。従って、

$\displaystyle p(t_{N+1}=1 | \mathbf{t}_{N} )= \int p(t_{N+1}=1 |a_{N+1} )p(a_{N+1}|\mathbf{t}_{N}) d a_{N+1} \tag{4}$

となります。この辺りの式変形は線形回帰をベイズ推定で解く（１）予測分布の導出とけっこう似ていますね。

で、この式(4)をなんとかして求めていくのですが、けっこう長い道のりになります、、、。全6回にわたって計算が続きます。ちなみに最終結果は次のようになります。

$\displaystyle p(t_{N+1}=1 | \mathbf{t}_{N} )\simeq \sigma \left( \frac{\mathbf{k}^{T}\mathbf{C}_{N}(\mathbf{t}_{N}-\boldsymbol {\sigma}_{N})}{1+\displaystyle \frac{\pi}{8}\left\{ c-\mathbf{k}^{T}(\mathbf{W}_{N}^{-1}+\mathbf{C}_{N})\mathbf{k} \right\} } \right) \tag{5}$