ガウス過程の続きです。ガウス過程では線形回帰において理論値の事前分布はカーネル関数を使って表すことができ、そしてガウス過程となっていることを確認しました。
訓練データには、理論値
に誤差
が加わっているとすると
です。ここで誤差は
の正規分布に従うとすれば
と書けます。のデータをまとめて表せば、各誤差は互いに独立ですから
となります。なおここではガウス過程で確認したように、
です。(の定数倍はカーネル関数の中に含まれているとします。)
さて、線形回帰をベイズ推定で解く(1)予測分布の導出でも使いましたが、正規分布に対する以下の公式を使います。
、
、
、
、
に対応させれば、式(3)と式(4)より
です。ここでです。
の分散が
で、誤差の分散が
でしたから、
と
の和である
の分散が
となるのは、分散の加法性からも明らかです。
さて、回帰分析の目的は、新たな入力に対する
を予測することです。つまり
を求めることです。
を求めるためにまずは
を計算します。前者は訓練データと新たな入力
が与えられた条件下における観測値
の確率分布です。後者は
までの入力が与えられた条件下における
と
の同時確率です。なお参考書に倣い、以降は表記の単純化のため
、
の条件は省略します。
は、
のデータをまとめて考え、式(3)以降と同様の計算より、
となります。ここで
です。式(5)~(7)の公式を使っても良いですし、データがまであるとき、
の
行
列目の項が
で、
行目、
列目の成分が式(11)の最後に
を加えたものであり、誤差は
ですから、分散の加法性より共分散行列が式(10)となることがわかります。
そして条件付き確率の定義より
ですので、ここからを計算していきます。続きは次回:ガウス過程による回帰(2)