機械学習に詳しくなりたいブログ

機械学習や数学について勉強した内容を中心に書きます。100%趣味です。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。

カーネル法

カーネル法の目次

カーネル法の概要 カーネル法 ガウスカーネル カーネル法による正則化最小二乗法(1) カーネル法による正則化最小二乗法(2) カーネル回帰分析 カーネル回帰分析(1) カーネル回帰分析(2)実験結果 ガウス過程 ガウス過程 ガウス過程による回帰 ガウ…

ガウス過程による分類(7)実験結果

ガウス過程による分類(6)の続きです。 ガウス過程による分類(1)~(6)までの長い道のりを経て、ようやく以下の式が得られました。 今回はこれを使って予測分布を求めてみたいと思います。おさらいですが、各文字は以下のようなものでした。 は各要素…

ガウス過程による分類(6)

ガウス過程による分類(5)の続きです。 何をやっている途中かと言うと、最終目標である を求めるため、右辺後半の項を計算している途中です。ラプラス近似やニュートン法などを駆使し、ようやくガウス過程による分類(2)の式(10)、ガウス過程による分類…

ガウス過程による分類(5)

ガウス過程による分類(4)の続き。 と求められましたので、ラプラス近似をするため、まずはとなる点を求めます。 ベクトルの微分の式(8)を用いれば、 となります。ここでです。の微分は、シグモイド関数の微分と、ガウス過程による分類(3)の式(15)→式(1…

ガウス過程による分類(4)

ガウス過程による分類(3)の続き。 のラプラス近似を考えている途中です。ラプラス近似のため、の正規化項目を無視し、対数をとったものを とすれば、これは となりました。 ここからが今回の話。は、多変量正規分布の式(5)より です。そしてはシグモイド…

ガウス過程による分類(3)

ガウス過程による分類(2)の続き。 を求めることが目標ですが、は解析的に求めらません。ガウス過程による分類(2)で書いた通り、 と変形することができました。そして、 と求めることができました。そしてをラプラス近似で正規分布の形にすれば、式(2)…

ガウス過程による分類(2)

ガウス過程による分類(1)の続き。 を計算し、訓練データが与えられたとき、新たな入力に対するの確率を求めることが目標です。ですから、式(1)右辺の前半は簡単に求まりますが、は解析的に求められず、これを何とかしていかなくてはなりません。 条件付き…

ガウス過程による分類(1)

ガウス過程を用いた分類を考えていきます。2クラスの分類なら、確率的生成モデル(1)で導出したシグモイド関数を用いて とモデル化できます。線形識別ではの部分はのように、係数の線形結合を考えていましたが、これを今回はガウス過程によってモデル化し…

ガウスカーネル

カーネル法で書いたとおり、カーネル関数は特徴ベクトルの内積 として定義されます。 よく使われるカーネル関数として以下のガウスカーネルがあります。 今回はガウスカーネルがカーネル関数の定義を満たしており、かつ無限次元の特徴ベクトルで表されること…

ガウス過程による回帰(3)実験結果

ガウス過程、ガウス過程による回帰(1)、ガウス過程による回帰(2)を経て導出した結果 を使って、回帰を解いてみました。 早速結果です。カーネル関数はガウスカーネルを使いました。また、予測分布も求めてみました。 カーネルを用いた回帰でも、カーネ…

ガウス過程による回帰(2)

ガウス過程による回帰(1)の続きです。訓練データが得られているとき、新たな入力に対するを求めること、つまりを求めることが目標です(、の条件は省略しています)。先回は、 におけるを計算しました。 ここで、が正規分布であるとき、もまた正規分布で…

ガウス過程による回帰(1)

ガウス過程の続きです。ガウス過程では線形回帰において理論値の事前分布はカーネル関数を使って表すことができ、そしてガウス過程となっていることを確認しました。 訓練データには、理論値に誤差が加わっているとすると です。ここで誤差はの正規分布に従…

ガウス過程

引き続きカーネル法を勉強しています。今回の目的は、線形回帰における出力の事前分布はカーネル関数を使って表すことができる、ということの確認です。計算自体は難しくないのですが、自分の中ですっきり理解したと思えるまで大変でした。 まずは線形回帰で…

カーネル回帰分析(2)実験結果

先回カーネル回帰分析(1)で導出した結果を使って、回帰問題を解いてみたいと思います。せっかくなので回帰曲線だけではなく、予測分布も求めてみます。 まずは予測分布を求めるための準備。は条件付き確率、同時確率の式(1)より、 です。は、カーネル回帰…

カーネル回帰分析(1)

カーネル法による正則化最小二乗法(1)で、正則化最小二乗法の誤差関数からカーネル関数を導きました。今回は、別のアプローチで回帰分析を行ってもやはりカーネル関数が導かれることを見ていきます。 与えられた訓練データをもとに、分布を推定することを…

カーネル法による正則化最小二乗法(2)

先回のカーネル法による正則化最小二乗法(1)で導出した により、カーネル法を使った線形回帰を解いてみたいと思います。 式にあてはめて解くだけなので早速結果です。回帰のモデルは多項式としました。 ちゃんと近似できていますね。訓練データは正則化最…

カーネル法による正則化最小二乗法(1)

先回、カーネル法でカーネル関数の定義を確認しました。今回は正則化最小二乗法の誤差関数を式変形する過程でカーネル関数が現れるっていうことを確認します。 さて、線形回帰における正則化最小二乗法の誤差関数は でした。式(1)は、 のように展開できます…

カーネル法

今回からカーネル法を勉強していきます。カーネル法とはカーネル関数を使う機械学習手法の総称です。Wikipediaによれば「ノンパラメトリック統計でカーネルと呼ばれるものとは一般に異なる」とのことですので、カーネル密度推定法で出てきたカーネルとは異な…