ラプラス近似 - 機械学習に詳しくなりたいブログ

関数 $f(\mathbf{x})$ を正規分布の形状で近似する方法です。

$f(\mathbf{x})$ の対数をとった $\ln f(\mathbf{x})$ において、 $\nabla \ln f(\mathbf{x})=\mathbf{0}$ となる点 $\mathbf{x}^{\prime}$ まわりでのテイラー展開による2次近似を考えます。多変数関数の点 $(x_{1}^{\prime} , \cdots ,x_{n}^{\prime})$ まわりのテイラー展開は、

$\displaystyle f(x_1,\cdots, x_n) \simeq \sum_{k=0}^{\infty}\frac{1}{k!} \left\{ (x_1-x_{1}^{\prime}) \frac{\partial}{\partial x_1} +\cdots+(x_n-x_{n}^{\prime}) \frac{\partial}{\partial x_n} \right\}^{k}f(x_{1}^{\prime},\cdots, x_{n}^{\prime})\tag{1}$

ですので、 $\ln f({\mathbf{x}})$ の点 $\mathbf{x}^{\prime}$ まわりでのテイラー展開による2次近似は、

$\displaystyle \ln f(\mathbf{x}) \simeq \ln f(\mathbf{x}^{\prime}) +\displaystyle \frac{1}{2} (\mathbf{x}-\mathbf{x}^{\prime})^{T}\bar{\mathbf{H}} (\mathbf{x}-\mathbf{x}^{\prime}) \tag{2}$

です。（参考：ヘッセ行列で極値の判定 *1）ここで

$\displaystyle \bar{\mathbf{H}} = \nabla \nabla \ln f(\mathbf{x}) |_{\mathbf{x}=\mathbf{x}^{\prime}} \tag{3}$

です。

$\displaystyle \mathbf{A} = -\bar{\mathbf{H}} \tag{4}$

とすれば、

$\displaystyle \ln f(\mathbf{x}) \simeq \ln f(\mathbf{x}^{\prime}) - \displaystyle \frac{1}{2} (\mathbf{x}-\mathbf{x}^{\prime})^{T} \mathbf{A} (\mathbf{x}-\mathbf{x}^{\prime}) \tag{5}$

です。対数を外せば、

$\displaystyle f(\mathbf{x}) \simeq f(\mathbf{x}^{\prime}) \exp \left\{ -\frac{1}{2} (\mathbf{x}-\mathbf{x}^{\prime})^{T} \mathbf{A} (\mathbf{x}-\mathbf{x}^{\prime}) \right\} \tag{6}$