共分散行列は半正定値行列であることを確認します。 共分散行列の成分をを考えると、共分散行列の定義（参考：多変量正規分布）より、 です。 ここで、]とし、とすれば、 と書けます。 したがって共分散行列は、式(4)より、 と書けます。ここでとすれば、 で…

カーネル密度推定法の式(13)を使って、実際に確率分布を推定してみたいと思います。推定する対象は、棄却サンプリングを使って、適当な形状の分布を用いることにします。 早速結果です 青色の線がサンプリングした確率分布で、オレンジの線がカーネル密度推…

パターン認識と機械学習（下）のカーネル法を勉強しています。カーネル法とは直接関係ないようですが、カーネル密度推定法（パターン認識と機械学習（上）で紹介されています）を勉強したので記事にします。 カーネル密度推定法とは、サンプルデータから元の…

確率変数に対して、 を、の共分散といいます。また、の標準偏差をとすれば、 をの相関係数といいます。相関係数は共分散の値を[-1,1]の範囲に正規化したものであると考えることができます。式(1)の定義からわかるように、とが同符号の傾向があるとき共分散が…

誤差を正規分布と仮定した最尤推定と、最小二乗法は等しいことを既に書きました。（参考：最小二乗法はなぜ二乗和誤差（残差平方和）を計算するのか）今回は解を求めることが目的ではなく、尤度とは何を意味するのかを確認したいと思います。 まず近似のモデ…

ベイズの定理を使った事後確率の推定、ベイズ推定の例題を解いてみます。いろんな参考書でよく見かける例題です。 ある検査を受けたとき、被験者がガンであるときに陽性となる確率は95％、ガンでないが陽性と誤判定する確率は2％とする。また、ガンの罹患率…

条件付き確率、同時確率、周辺確率の式(2)、確率の乗法定理より、 ですから、 が成り立ちます。これをベイズの定理と呼びます。これはベイズ統計において成り立つ定理ではなく、確率の公理から導かれるものですので、主観確率でも客観確率でも使うことができ…

条件付き確率、同時確率 確率変数に対して、条件付き確率は、同時確率を使って で定義される。分母をはらえば、同時確率は となり、これは確率の乗法定理と呼ばれる。ベイズの定理はこの式から導かれます。3変数以上になっても同様に と展開していける。条件…

ベイズ線形回帰を勉強しようと思っています。そのために必要な知識を遡っていると、確率の定義まで行き着いてしまった。しかも確率は、本来非常に高度な学問であるということを知った。背景に集合論や測度論、ルベーグ積分などがあるんだとか。興味はあるが…

"二乗法"なんだから"二乗和"だろうという話ではなく。最小二乗法は、誤差の二乗和を計算するわけですが、そもそもなんで二乗するのか？絶対値ではダメなのか？和ではなく積ではダメなのか？疑問に思ったことはないでしょうか。大きな理由は2つあるそうです。…