概要
以下の記事で線形回帰においての事前分布はカーネル関数を使って表すことができ、そしてガウス過程となっていることを確認しました。
今回は、ガウス過程を使って回帰問題を考えます。つまり、訓練データをもとに新たな入力に対する予測値をガウス過程を使って考えていきます。
ガウス過程による回帰
線形回帰では、係数を最小二乗法や最尤推定で求めたり、係数の事前分布を設定してMAP推定しましたが、ガウス過程のモデルでは係数
が式から消されており存在しません。ガウス過程で見たように、
は
のカーネル関数から求められるガウス過程でした。ここで、新たな入力
を加えたとしても、
はやはりガウス過程に従うはずです。このことを使って新たな入力に対する予測値を求めていきます。
訓練データには、理論値
に誤差
が加わっているとすると
です。ここで誤差は
の正規分布に従うとすれば
と書けます。のデータをまとめて表せば、各誤差は互いに独立ですから
となります。なおここではガウス過程で確認したように、
です。(の定数倍はカーネル関数の中に含まれているとします。)
さて、線形回帰をベイズ推定で解く(1)予測分布の導出でも使いましたが、正規分布に対する以下の公式を使います。
、
、
、
、
に対応させれば、式(3)と式(4)より
となり、これで訓練データの分布がわかりました。ここでは
です。
の分散が
で、誤差の分散が
でしたから、
と
の和である
の分散が
となるのは、分散の加法性からも明らかです。
さて、回帰分析の目的は、訓練データが得られたあと、新たな入力に対する
を予測することです。つまり
を求めることです。これを求めるためにまず
を計算します。*1
は、
のデータをまとめて考え、式(3)以降と同様の計算より、
となります。ここで
です。ぱっと見、式を追うのが面倒ですが、以下のように、を分けて考えれば、式(10)~式(12)の通りであることがわかります。
冒頭で書いた「新たな入力を加えたとしても、
はやはりガウス過程に従うはず」ということから
を求めることができました。
さて、条件付き確率の定義より
ですので、ここからを計算していきます。
予測値の導出計算は、以下の記事に続きます。 www.iwanttobeacat.com
最終的なガウス過程による回帰の実験結果は以下です。
*1:参考書に倣い、表記の単純化のため、
の条件は省略しています