線形回帰の目次

線形回帰を解く

• 線形回帰を最小二乗法で解く
  • 最小二乗法はなぜ二乗和誤差（残差平方和）を計算するのか
  • 最小二乗法の解の導出
• 重回帰分析を最小二乗法で解く
• 線形回帰を最尤推定で解く（尤度とは？）

過学習を防ぐために

• 正則化最小二乗法
  • 正則化項（罰金項）の意味
• 線形回帰をMAP推定で解く
  • MAP推定の解の導出
  • MAP推定をMCMCで解く
• AIC(赤池情報量基準)を使った線形回帰のモデル評価

予測分布を求める

• 線形回帰をベイズ推定で解く（１）予測分布の導出
• 線形回帰をベイズ推定で解く（２）予測分布をプロット

---

必要な数学知識

最小二乗法の解の導出などに必要

• 転置行列の定理
• ベクトルの内積と2乗和
• ベクトルのノルム
• ベクトルの微分

正則化項を加える意味の理解に必要

• ラグランジュの未定乗数法
  • 法線ベクトルと勾配
• 不等式制約におけるラグランジュの未定乗数法（KKT条件）

ベイズ線形回帰の理解に必要

• 条件付き確率、同時確率、周辺確率
• ベイズの定理
• 多変量正規分布

その他

• 確率の定義
• ベイズ推定　よくある例題