カーネル法
カーネル法の概要 カーネル法 ガウスカーネル カーネル法による正則化最小二乗法（１） カーネル法による正則化最小二乗法（２） カーネル回帰分析 カーネル回帰分析（１） カーネル回帰分析（２）実験結果 ガウス過程 ガウス過程 ガウス過程による回帰 ガウ…
ガウス過程による分類（６）の続きです。 ガウス過程による分類（１）～（６）までの長い道のりを経て、ようやく以下の式が得られました。 今回はこれを使って予測分布を求めてみたいと思います。おさらいですが、各文字は以下のようなものでした。 は各要素…
ガウス過程による分類（５）の続きです。 何をやっている途中かと言うと、最終目標である を求めるため、右辺後半の項を計算している途中です。ラプラス近似やニュートン法などを駆使し、ようやくガウス過程による分類（２）の式(10)、ガウス過程による分類…
ガウス過程による分類（４）の続き。 と求められましたので、ラプラス近似をするため、まずはとなる点を求めます。 2次形式の微分公式*1を用いれば、 となります。ここでです。を微分していけばシグモイド関数が現れます。 ここで、式(3)のの中にもが含まれ…
概要 前回の以下の記事の続きです。 www.iwanttobeacat.com 前回までのおさらい 訓練データ、が与えられたとき、新たな入力に対するの確率、すなわちを求めることが目標です。そしてこれは、いくつかの式変形によって以下のように表せました。 式(1)下線部は…
概要 前回の以下の記事の続きです。 www.iwanttobeacat.com 前回までのおさらい 訓練データ、が与えられたとき、新たな入力に対するの確率、すなわちを求めることが目標です。そしてこれは、いくつかの式変形によって以下のように表せました。 式(1)下線部は…
概要 前回の以下の記事の続きです。 www.iwanttobeacat.com 前回の記事までのまとめ 訓練データ、が与えられたとき、新たな入力に対するの確率、すなわちを求めることが目標です。そしてこれは、いくつかの式変形によって以下のように表せました。 の計算 式…
概要 ガウス過程を用いた分類を考えていきます。2クラスの分類なら、確率的生成モデル - シグモイド関数で導出したシグモイド関数を用いて とモデル化できます。線形識別ではの部分はのように、係数の線形結合を考えていましたが、これを今回はガウス過程に…
概要 カーネル法で書いたとおり、カーネル関数は特徴ベクトルの内積 として定義されます。 よく使われるカーネル関数として以下のガウスカーネルがあります。 今回はガウスカーネルがカーネル関数の定義を満たしており、かつ無限次元の特徴ベクトルで表され…
概要 今回は、以下の記事を経て導出した結果 を使って、ガウス過程による回帰を実験してみました。 www.iwanttobeacat.com www.iwanttobeacat.com www.iwanttobeacat.com ガウス過程による回帰の実験結果 早速結果です。カーネル関数はガウスカーネルを使い…
概要 前回の記事の続きです。 www.iwanttobeacat.com 訓練データが得られているとき、新たな入力に対するを求めること、つまりを求めることが目標です。*1 先回は、 におけるを計算したところまでです。今回は式(1)を計算していきます。 計算・・・ 計算の方…
概要 以下の記事で線形回帰においての事前分布はカーネル関数を使って表すことができ、そしてガウス過程となっていることを確認しました。 www.iwanttobeacat.com 今回は、ガウス過程を使って回帰問題を考えます。つまり、訓練データをもとに新たな入力に対…
概要 今回はガウス過程の導出と、線形回帰における出力の事前分布はカーネル関数を使って表すことができるということの確認です。計算自体は難しくないのですが、ガウス過程という名称から確率過程のように時間軸を意識してしまうと戸惑ってしまいます。 線…
先回カーネル回帰分析（１）で導出した結果を使って、回帰問題を解いてみたいと思います。せっかくなので回帰曲線だけではなく、予測分布も求めてみます。 まずは予測分布を求めるための準備。は条件付き確率、同時確率の式(1)より、 です。は、カーネル回帰…
カーネル法による正則化最小二乗法（１）で、正則化最小二乗法の誤差関数からカーネル関数を導きました。今回は、別のアプローチで回帰分析を行ってもやはりカーネル関数が導かれることを見ていきます。 与えられた訓練データをもとに、分布を推定することを…
先回のカーネル法による正則化最小二乗法（１）で導出した により、カーネル法を使った線形回帰を解いてみたいと思います。 式にあてはめて解くだけなので早速結果です。回帰のモデルは多項式としました。 ちゃんと近似できていますね。訓練データは正則化最…
先回、カーネル法でカーネル関数の定義を確認しました。今回は正則化最小二乗法の誤差関数を式変形する過程でカーネル関数が現れるっていうことを確認します。 さて、線形回帰における正則化最小二乗法の誤差関数は でした。式(1)は、 のように展開できます…
今回からカーネル法を勉強していきます。カーネル法とはカーネル関数を使う機械学習手法の総称です。Wikipediaによれば「ノンパラメトリック統計でカーネルと呼ばれるものとは一般に異なる」とのことですので、カーネル密度推定法で出てきたカーネルとは異な…
