先回のカーネル法による正則化最小二乗法（１）で導出した により、カーネル法を使った線形回帰を解いてみたいと思います。 式にあてはめて解くだけなので早速結果です。回帰のモデルは多項式としました。 ちゃんと近似できていますね。訓練データは正則化最…

先回までにメトロポリス・ヘイスティングズ法によるMCMCの実装を行ってきました。（参考：マルコフ連鎖モンテカルロ法 - メトロポリス・ヘイスティングズ法（１））これによって様々な分布からサンプリングできるようになったので、今回はMAP推定をMCMCで解…

線形回帰を解く 線形回帰を最小二乗法で解く 最小二乗法はなぜ二乗和誤差（残差平方和）を計算するのか 最小二乗法の解の導出 重回帰分析を最小二乗法で解く 線形回帰を最尤推定で解く（尤度とは？） 過学習を防ぐために 正則化最小二乗法 正則化項（罰金項…

これまで線形回帰における過学習の抑制方法をいくつか見てきました。 参考 正則化最小二乗法 線形回帰をMAP推定で解く 線形回帰をベイズ推定で解く（１）予測分布の導出 線形回帰をベイズ推定で解く（２）予測分布をプロット これらの考え方は、パラメータが…

線形回帰をベイズ推定で解く（１）予測分布の導出の続きです。今回は実際に予測分布をプロットして確認してみたいと思います。 まずは先回のおさらいですが、予測分布は の式で与えられます。ここでは、 です。はそれぞれ、訓練データと真値との誤差の分散、…

概要 線形回帰をMAP推定で解くで、ベイズの定理を使ってパラメータの事後分布を求めましたが、解としては事後確率を最大とする1点を採用するだけで、求められるものは１つの回帰曲線でした。今回は、パラメータが事後分布に従った確率で生じることを利用し、…

線形回帰のMAP推定による解を導出します。 線形回帰をMAP推定で解くで書いた通り、事前分布を多変量正規分布とし、訓練データは真値からの誤差が加わっていると仮定すると、ベイズの定理より事後分布は、 と書けました。今回はこの右辺を展開していきます。…

線形回帰をMAP推定で解きます。MAPとは、Maximum a posteriori：最大事後確率の略です。モデルのパラメータがある分布に従って生起するとして事前分布を設定します。そして得られた訓練データとベイズの定理を用いて、設定した事前分布からの事後分布を求め…

誤差を正規分布と仮定した最尤推定と、最小二乗法は等しいことを既に書きました。（参考：最小二乗法はなぜ二乗和誤差（残差平方和）を計算するのか）今回は解を求めることが目的ではなく、尤度とは何を意味するのかを確認したいと思います。 まず近似のモデ…

最小二乗法による線形回帰において、訓練データ数に対して近似式の表現能力が高すぎると過学習が発生します。（参考：線形回帰を最小二乗法で解く） それに対し、係数が大きくなることに対してペナルティを与えることで過学習を防止する方法があります。（参…

訓練データ数に対して多項式の次元数が大きすぎると、過学習が発生することを以前確認しました。（参考：線形回帰を最小二乗法で解く） 過学習が発生するとき、係数が大きな値をとる傾向があるようです。よって、係数を小さい値に制限することができれば過学…

変数が１つの回帰分析は単回帰と呼ばれ（参考：線形回帰を最小二乗法で解く）、複数の変数を使うものは重回帰分析と呼ばれます。今回は重回帰分析を最小二乗法で解いてみたいと思います。と言っても、重回帰分析でも係数が線形結合されていれば、その解は最…

線形回帰の最小二乗法による解を導出します。 N個の訓練データを、M-1次多項式 で近似することを考えます。 ここで二乗和誤差 を最小にする係数を求めることが目標です。なぜ二乗和誤差を計算するのか？は最小二乗法はなぜ二乗和誤差（残差平方和）を計算す…

これも機械学習の１つなんですね。統計学のものだと思っていました。 線形回帰とは何か まず回帰分析というのは、目的変数と説明変数の間の関係を求めること。との間にどのような関係があるか、つまりで表されるとき、はどのような関数になるか？を求めるも…