サンプリング法 逆関数法 棄却サンプリング マルコフ連鎖モンテカルロ法 - メトロポリス・ヘイスティングス法（１） マルコフ連鎖モンテカルロ法 - メトロポリス・ヘイスティングス法（２） MAP推定をMCMCで解く モンテカルロ積分 モンテカルロ法による積分…

先回までにメトロポリス・ヘイスティングズ法によるMCMCの実装を行ってきました。（参考：マルコフ連鎖モンテカルロ法 - メトロポリス・ヘイスティングズ法（１））これによって様々な分布からサンプリングできるようになったので、今回はMAP推定をMCMCで解…

今回は多変量正規分布をMCMC法でサンプリングしてみました。MCMC法の理論背景などはこちらの記事です。こちらで書いたコードを少し修正するだけなので実装は簡単です。多変量正規分布で書いた分散共分散行列が のものをサンプリングしてみます。平均は0とし…

概要 マルコフ連鎖モンテカルロ法とは、サンプリングしたい分布（目標分布）が不変分布となるようなマルコフ連鎖を設定することでからサンプリングする手法です。マルコフ過程で、ある適当な推移核を定めたとき、各状態に遷移する確率が不変分布になる例を見…

マルコフ過程とマルコフ連鎖 時刻における状態をと表し、の確率がから決まるのではなく、１つ前の状態のみによって定まるときにこれをマルコフ性といい、このような性質を持つ確率過程をマルコフ過程といいます。状態が離散的なとき、特にマルコフ連鎖と呼び…

棄却サンプリングによって、様々な形状の分布からサンプリングできるようになったのだから、モンテカルロ積分を使えばその分布も積分もできるようになるはず。ということで試してみました。が、勘違いをしていてうまくいかなかったのですが、せっかくなので…

確率分布からサンプリングしたいが、正規分布や一様分布のようにライブラリが提供されていない場合にどうするか？逆関数法もその１つですが、棄却サンプリングはより直感的な手法です。 棄却サンプリングの原理 確率分布はを満たすべきですが、正規化定数が…

一様乱数を用いて、ある確率分布に従う乱数を得る手法の１つ、逆関数法を見ていきます。 逆関数法の直感的説明 イメージは図のとおりです。からサンプリングしたいが、その手段がないとします。はの累積分布関数です。したがって、取る値の範囲は]です。は区…

モンテカルロ法による積分（２）無限区間の積分で、正規分布の確率密度関数の積分をしました。正規分布からサンプリングしてモンテカルロ積分をしましたが、対象の積分区間]に対して、正規分布全体からサンプリングするのは実はとても効率が悪い方法のようで…

モンテカルロ法による積分（１）の続きです。 今回は標準正規分布の積分を考えます。であれば、先回と同じく一様分布を用いてとしてからサンプリングすれば良いです。ただし、積分区間に無限を含むの場合は同じように計算できません。無限区間で一様分布する…

これからマルコフ連鎖モンテカルロ法を勉強していこうと思っています。今回はその第一歩。モンテカルロ法というのは何か特定の手法を表すのではなく、乱数を用いて数値計算すること全般を指すようです。ですのでモンテカルロ法による積分とは、乱数を用いて…