関数が線形であるとは、以下の２つの性質を持つことをいいます。 入力の和が出力の和に対応し、入力の定数倍が出力の定数倍に対応することを意味します。また、この性質を持つ関数は原点を通るはずです。なぜならが線形性を持つなら、式(2)より となり、は比…

線形識別の概要 何らかの入力に対し、識別関数を通すことで、が属するクラスは何なのかを識別するというもの。識別関数は、例えば のように表されます。入力が2次元で2クラスに分類する場合を考えれば、入力を識別関数に通した結果、例えばならばクラスそう…

サンプリング法 逆関数法 棄却サンプリング マルコフ連鎖モンテカルロ法 - メトロポリス・ヘイスティングス法（１） マルコフ連鎖モンテカルロ法 - メトロポリス・ヘイスティングス法（２） MAP推定をMCMCで解く モンテカルロ積分 モンテカルロ法による積分…

先回までにメトロポリス・ヘイスティングズ法によるMCMCの実装を行ってきました。（参考：マルコフ連鎖モンテカルロ法 - メトロポリス・ヘイスティングズ法（１））これによって様々な分布からサンプリングできるようになったので、今回はMAP推定をMCMCで解…

今回は多変量正規分布をMCMC法でサンプリングしてみました。MCMC法の理論背景などはこちらの記事です。こちらで書いたコードを少し修正するだけなので実装は簡単です。多変量正規分布で書いた分散共分散行列が のものをサンプリングしてみます。平均は0とし…

概要 マルコフ連鎖モンテカルロ法とは、サンプリングしたい分布（目標分布）が不変分布となるようなマルコフ連鎖を設定することでからサンプリングする手法です。マルコフ過程で、ある適当な推移核を定めたとき、各状態に遷移する確率が不変分布になる例を見…

マルコフ過程とマルコフ連鎖 時刻における状態をと表し、の確率がから決まるのではなく、１つ前の状態のみによって定まるときにこれをマルコフ性といい、このような性質を持つ確率過程をマルコフ過程といいます。状態が離散的なとき、特にマルコフ連鎖と呼び…

3月も投信は冴えない感じでした。乱高下は先月から変わらず、毎日すごい額が増えたり減ったり。Webの不労所得を投資にまわして、ツインターボで稼ごうと思ったのに今年はパッとしませんね。まあ投信は長期で見てるので数ヶ月でああだこうだ言っても仕方ない…

棄却サンプリングによって、様々な形状の分布からサンプリングできるようになったのだから、モンテカルロ積分を使えばその分布も積分もできるようになるはず。ということで試してみました。が、勘違いをしていてうまくいかなかったのですが、せっかくなので…

確率分布からサンプリングしたいが、正規分布や一様分布のようにライブラリが提供されていない場合にどうするか？逆関数法もその１つですが、棄却サンプリングはより直感的な手法です。 棄却サンプリングの原理 確率分布はを満たすべきですが、正規化定数が…

一様乱数を用いて、ある確率分布に従う乱数を得る手法の１つ、逆関数法を見ていきます。 逆関数法の直感的説明 イメージは図のとおりです。からサンプリングしたいが、その手段がないとします。はの累積分布関数です。したがって、取る値の範囲は]です。は区…

積分の変数変換で、2変数の場合に となることを書いたのですが、少し補足です。 全微分から得られる、 について、が直交座標系である場合を考えます。座標系においては、式(2)より、に変換され、はに変換されます。 変数変換前後で、各座標が作る平行四辺形…

下図における原点とからなる平行四辺形の面積を考えます。 だから面積は、 ここで、、、だから、 となり、ベクトルから作られる平行四辺形の面積は、からなる行列式と等しいことが確認できました。 なお、の位置関係によってはが負になることもあるため、 と…

高校でやった置換積分の復習と2変数以上の拡張です。今回の内容はなかなかすっきりと理解できず、自分なりの解釈でまとめたため、誤りを含んでいるかもしれません。 1変数の場合 において、として合成関数の微分より ですから、これをで積分すれば となり、…

モンテカルロ法による積分（２）無限区間の積分で、正規分布の確率密度関数の積分をしました。正規分布からサンプリングしてモンテカルロ積分をしましたが、対象の積分区間]に対して、正規分布全体からサンプリングするのは実はとても効率が悪い方法のようで…

モンテカルロ法による積分（１）の続きです。 今回は標準正規分布の積分を考えます。であれば、先回と同じく一様分布を用いてとしてからサンプリングすれば良いです。ただし、積分区間に無限を含むの場合は同じように計算できません。無限区間で一様分布する…

これからマルコフ連鎖モンテカルロ法を勉強していこうと思っています。今回はその第一歩。モンテカルロ法というのは何か特定の手法を表すのではなく、乱数を用いて数値計算すること全般を指すようです。ですのでモンテカルロ法による積分とは、乱数を用いて…

2月は相場が大きく動きました。前月比で100万以上マイナスになった瞬間もありましたが、その後多少持ち直して-40万くらいに収まりました。不労所得どころか、Web収入と合わせても赤字になるところでした。まあ上がろうが下がろうが毎月積み立てで買っていき…

線形回帰を解く 線形回帰を最小二乗法で解く 最小二乗法はなぜ二乗和誤差（残差平方和）を計算するのか 最小二乗法の解の導出 重回帰分析を最小二乗法で解く 線形回帰を最尤推定で解く（尤度とは？） 過学習を防ぐために 正則化最小二乗法 正則化項（罰金項…

これまで線形回帰における過学習の抑制方法をいくつか見てきました。 参考 正則化最小二乗法 線形回帰をMAP推定で解く 線形回帰をベイズ推定で解く（１）予測分布の導出 線形回帰をベイズ推定で解く（２）予測分布をプロット これらの考え方は、パラメータが…

線形回帰をベイズ推定で解く（１）予測分布の導出の続きです。今回は実際に予測分布をプロットして確認してみたいと思います。 まずは先回のおさらいですが、予測分布は の式で与えられます。ここでは、 です。はそれぞれ、訓練データと真値との誤差の分散、…

概要 線形回帰をMAP推定で解くで、ベイズの定理を使ってパラメータの事後分布を求めましたが、解としては事後確率を最大とする1点を採用するだけで、求められるものは１つの回帰曲線でした。今回は、パラメータが事後分布に従った確率で生じることを利用し、…

線形回帰のMAP推定による解を導出します。 線形回帰をMAP推定で解くで書いた通り、事前分布を多変量正規分布とし、訓練データは真値からの誤差が加わっていると仮定すると、ベイズの定理より事後分布は、 と書けました。今回はこの右辺を展開していきます。…

線形回帰をMAP推定で解きます。MAPとは、Maximum a posteriori：最大事後確率の略です。モデルのパラメータがある分布に従って生起するとして事前分布を設定します。そして得られた訓練データとベイズの定理を用いて、設定した事前分布からの事後分布を求め…

確率変数に対して、 を、の共分散といいます。また、の標準偏差をとすれば、 をの相関係数といいます。相関係数は共分散の値を[-1,1]の範囲に正規化したものであると考えることができます。式(1)の定義からわかるように、とが同符号の傾向があるとき共分散が…

誤差を正規分布と仮定した最尤推定と、最小二乗法は等しいことを既に書きました。（参考：最小二乗法はなぜ二乗和誤差（残差平方和）を計算するのか）今回は解を求めることが目的ではなく、尤度とは何を意味するのかを確認したいと思います。 まず近似のモデ…

ベイズの定理を使った事後確率の推定、ベイズ推定の例題を解いてみます。いろんな参考書でよく見かける例題です。 ある検査を受けたとき、被験者がガンであるときに陽性となる確率は95％、ガンでないが陽性と誤判定する確率は2％とする。また、ガンの罹患率…

条件付き確率、同時確率、周辺確率の式(2)、確率の乗法定理より、 ですから、 が成り立ちます。これをベイズの定理と呼びます。これはベイズ統計において成り立つ定理ではなく、確率の公理から導かれるものですので、主観確率でも客観確率でも使うことができ…

条件付き確率、同時確率 確率変数に対して、条件付き確率は、同時確率を使って で定義される。分母をはらえば、同時確率は となり、これは確率の乗法定理と呼ばれる。ベイズの定理はこの式から導かれます。3変数以上になっても同様に と展開していける。条件…

最小二乗法による線形回帰において、訓練データ数に対して近似式の表現能力が高すぎると過学習が発生します。（参考：線形回帰を最小二乗法で解く） それに対し、係数が大きくなることに対してペナルティを与えることで過学習を防止する方法があります。（参…