機械学習に詳しくなりたいブログ

機械学習や数学について勉強した内容を中心に書きます。100%趣味です。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。

線形回帰

カーネル法による正則化最小二乗法(2)

先回のカーネル法による正則化最小二乗法(1)で導出した により、カーネル法を使った線形回帰を解いてみたいと思います。 式にあてはめて解くだけなので早速結果です。回帰のモデルは多項式としました。 ちゃんと近似できていますね。訓練データは正則化最…

MAP推定をMCMCで解く

先回までにメトロポリス・ヘイスティングズ法によるMCMCの実装を行ってきました。(参考:マルコフ連鎖モンテカルロ法 - メトロポリス・ヘイスティングズ法(1))これによって様々な分布からサンプリングできるようになったので、今回はMAP推定をMCMCで解…

線形回帰の目次

線形回帰を解く 線形回帰を最小二乗法で解く 最小二乗法はなぜ二乗和誤差(残差平方和)を計算するのか 最小二乗法の解の導出 重回帰分析を最小二乗法で解く 線形回帰を最尤推定で解く(尤度とは?) 過学習を防ぐために 正則化最小二乗法 正則化項(罰金項…

AIC(赤池情報量基準)を使った線形回帰のモデル評価

これまで線形回帰における過学習の抑制方法をいくつか見てきました。 参考 正則化最小二乗法 線形回帰をMAP推定で解く 線形回帰をベイズ推定で解く(1)予測分布の導出 線形回帰をベイズ推定で解く(2)予測分布をプロット これらの考え方は、パラメータが…

線形回帰をベイズ推定で解く(2)予測分布をプロット

線形回帰をベイズ推定で解く(1)予測分布の導出の続きです。今回は実際に予測分布をプロットして確認してみたいと思います。 まずは先回のおさらいですが、予測分布は の式で与えられます。ここでは、 です。はそれぞれ、訓練データと真値との誤差の分散、…

線形回帰をベイズ推定で解く(1)予測分布の導出

線形回帰をMAP推定で解くで、ベイズの定理を使ってパラメータの事後分布を求めましたが、解としては事後確率を最大とする1点を採用するだけでした。今回のベイズ推定では、パラメータが事後分布に従った確率で生じることを利用し、予測値の分布を求めていき…

MAP推定の解の導出

線形回帰のMAP推定による解を導出します。 線形回帰をMAP推定で解くで書いた通り、事前分布を多変量正規分布とし、訓練データは真値からの誤差が加わっていると仮定すると、ベイズの定理より事後分布は、 と書けました。今回はこの右辺を展開していきます。…

線形回帰をMAP推定で解く

線形回帰をMAP推定で解きます。MAPとは、Maximum a posteriori:最大事後確率の略です。 MAP推定の概要 係数の事前分布を設定する。 与えられた訓練データにより、ベイズの定理を使って係数の事後分布が定まる 事後分布の最大値(MAP:最大事後確率)をの値…

線形回帰を最尤推定で解く(尤度とは?)

誤差を正規分布と仮定した最尤推定と、最小二乗法は等しいことを既に書きました。(参考:最小二乗法はなぜ二乗和誤差(残差平方和)を計算するのか)今回は解を求めることが目的ではなく、尤度とは何を意味するのかを確認したいと思います。 まず近似のモデ…

正則化項(罰金項)の意味

最小二乗法による線形回帰において、訓練データ数に対して近似式の表現能力が高すぎると過学習が発生します。(参考:線形回帰を最小二乗法で解く) それに対し、係数が大きくなることに対してペナルティを与えることで過学習を防止する方法があります。(参…

正則化最小二乗法

訓練データ数に対して多項式の次元数が大きすぎると、過学習が発生することを以前確認しました。(参考:線形回帰を最小二乗法で解く) 過学習が発生するとき、係数が大きな値をとる傾向があるようです。よって、係数を小さい値に制限することができれば過学…

重回帰分析を最小二乗法で解く

これまで解いた線形回帰は単回帰と呼ばれるもので、変数が1つの場合のものでした。(参考:線形回帰を最小二乗法で解く)今回は複数の変数を使う重回帰分析を解いてみたいと思います。と言っても、重回帰分析でも係数が線形結合されていれば、その解は最小…

最小二乗法の解の導出

線形回帰の最小二乗法による解を導出します。 N個の訓練データを、M-1次多項式 で近似することを考えます。 ここで二乗和誤差 を最小にする係数を求めることが目標です。なぜ二乗和誤差を計算するのか?は最小二乗法はなぜ二乗和誤差(残差平方和)を計算す…

線形回帰を最小二乗法で解く

これも機械学習の1つなんですね。統計学のものだと思っていました。 線形回帰とは何か まず回帰分析というのは、目的変数yと説明変数xの間の関係を求めること。yとxの間にどのような関係があるか、つまりで表されるとき、fはどう書けるか?を求めるもの。具…