線形回帰を解く 線形回帰を最小二乗法で解く 最小二乗法はなぜ二乗和誤差（残差平方和）を計算するのか 最小二乗法の解の導出 重回帰分析を最小二乗法で解く 線形回帰を最尤推定で解く（尤度とは？） 過学習を防ぐために 正則化最小二乗法 正則化項（罰金項…

これまで線形回帰における過学習の抑制方法をいくつか見てきました。 参考 正則化最小二乗法 線形回帰をMAP推定で解く 線形回帰をベイズ推定で解く（１）予測分布の導出 線形回帰をベイズ推定で解く（２）予測分布をプロット これらの考え方は、パラメータが…

線形回帰をベイズ推定で解く（１）予測分布の導出の続きです。今回は実際に予測分布をプロットして確認してみたいと思います。 まずは先回のおさらいですが、予測分布は の式で与えられます。ここでは、 です。はそれぞれ、訓練データと真値との誤差の分散、…

概要 線形回帰をMAP推定で解くで、ベイズの定理を使ってパラメータの事後分布を求めましたが、解としては事後確率を最大とする1点を採用するだけで、求められるものは１つの回帰曲線でした。今回は、パラメータが事後分布に従った確率で生じることを利用し、…

線形回帰のMAP推定による解を導出します。 線形回帰をMAP推定で解くで書いた通り、事前分布を多変量正規分布とし、訓練データは真値からの誤差が加わっていると仮定すると、ベイズの定理より事後分布は、 と書けました。今回はこの右辺を展開していきます。…

線形回帰をMAP推定で解きます。MAPとは、Maximum a posteriori：最大事後確率の略です。モデルのパラメータがある分布に従って生起するとして事前分布を設定します。そして得られた訓練データとベイズの定理を用いて、設定した事前分布からの事後分布を求め…

確率変数に対して、 を、の共分散といいます。また、の標準偏差をとすれば、 をの相関係数といいます。相関係数は共分散の値を[-1,1]の範囲に正規化したものであると考えることができます。式(1)の定義からわかるように、とが同符号の傾向があるとき共分散が…

誤差を正規分布と仮定した最尤推定と、最小二乗法は等しいことを既に書きました。（参考：最小二乗法はなぜ二乗和誤差（残差平方和）を計算するのか）今回は解を求めることが目的ではなく、尤度とは何を意味するのかを確認したいと思います。 まず近似のモデ…

ベイズの定理を使った事後確率の推定、ベイズ推定の例題を解いてみます。いろんな参考書でよく見かける例題です。 ある検査を受けたとき、被験者がガンであるときに陽性となる確率は95％、ガンでないが陽性と誤判定する確率は2％とする。また、ガンの罹患率…

条件付き確率、同時確率、周辺確率の式(2)、確率の乗法定理より、 ですから、 が成り立ちます。これをベイズの定理と呼びます。これはベイズ統計において成り立つ定理ではなく、確率の公理から導かれるものですので、主観確率でも客観確率でも使うことができ…

条件付き確率、同時確率 確率変数に対して、条件付き確率は、同時確率を使って で定義される。分母をはらえば、同時確率は となり、これは確率の乗法定理と呼ばれる。ベイズの定理はこの式から導かれます。3変数以上になっても同様に と展開していける。条件…

最小二乗法による線形回帰において、訓練データ数に対して近似式の表現能力が高すぎると過学習が発生します。（参考：線形回帰を最小二乗法で解く） それに対し、係数が大きくなることに対してペナルティを与えることで過学習を防止する方法があります。（参…

何を振り返るかと言うと、機械学習ではなく副収入の話。こういうリアルな数字の話はなかなか周囲に言えないので、せっかく匿名？でブログを書いているのだからついでに載せてしまえと。 数年前、ふと思い立って作ったWebサービスのアクセスが年々増加してい…