サンプリング法 逆変換法 棄却サンプリング マルコフ連鎖モンテカルロ法 - メトロポリス・ヘイスティングス法（１） マルコフ連鎖モンテカルロ法 - メトロポリス・ヘイスティングス法（２） MAP推定をMCMCで解く モンテカルロ積分 モンテカルロ法による積分…

先回までにメトロポリス・ヘイスティングズ法によるMCMCの実装を行ってきました。（参考：マルコフ連鎖モンテカルロ法 - メトロポリス・ヘイスティングズ法（１））これによって様々な分布からサンプリングできるようになったので、今回はMAP推定をMCMCで解…

今回は多変量正規分布をMCMC法でサンプリングしてみました。先回書いたコードを少し修正するだけなので実装は簡単です。多変量正規分布で書いた分散共分散行列が のものをサンプリングしてみます。平均は0としました。また、提案分布も先回同様に正規分布を…

マルコフ連鎖モンテカルロ法とは、サンプリングしたい分布が不変分布となるようなマルコフ連鎖を設定することでからサンプリングする手法です。そしてその手法を実現するアルゴリズムの１つが、メトロポリス・ヘイスティングス法です。マルコフ連鎖モンテカ…

時刻における状態により、の確率が決まるとしたとき、つまりの確率がから決まるのではなく、１つ前の状態のみによって定まるとき、マルコフ性といい、このような性質を持つ確率過程をマルコフ過程といいます。状態が離散的なとき、特にマルコフ連鎖と呼びま…

棄却サンプリングによって、様々な形状の分布からサンプリングできるようになったのだから、モンテカルロ積分を使えばその分布も積分もできるようになるはず。ということで試してみました。が、勘違いをしていてうまくいかなかったのですが、せっかくなので…

確率分布からサンプリングしたいが、正規分布や一様分布のようにライブラリが提供されていない場合にどうするか？逆変換法もその１つですが、棄却サンプリングはより直感的な手法です。 確率分布はを満たすべきだが、正規化定数が不明で、 ののみ既知である…

一様乱数から任意の確率分布に従う乱数を得る手法の１つ、逆変換法を見ていきます。まだ完全に理解できていない部分があるのですが、、、。 積分の変数変換の式(6)より、 でした。 は区間]で一様分布に従い、に従うを求めたいとします。式(1)より、 です。と…

モンテカルロ法による積分（２）無限区間の積分で、正規分布の確率密度関数の積分をしました。正規分布からサンプリングしてモンテカルロ積分をしましたが、対象の積分区間]に対して、正規分布全体からサンプリングするのは実はとても効率が悪い方法のようで…

モンテカルロ法による積分（１）の続きです。 今回は標準正規分布の積分を考えます。であれば、先回と同じく一様分布を用いてとしてからサンプリングすれば良いです。ただし、積分区間に無限を含むの場合は同じように計算できません。無限区間で一様分布する…

これからマルコフ連鎖モンテカルロ法を勉強していこうと思っています。今回はその第一歩。モンテカルロ法というのは何か特定の手法を表すのではなく、乱数を用いて数値計算すること全般を指すようです。ですのでモンテカルロ法による積分とは、乱数を用いて…