確率統計
共分散行列は半正定値行列であることを確認します。 共分散行列の成分をを考えると、共分散行列の定義(参考:多変量正規分布)より、 です。 ここで、]とし、とすれば、 と書けます。 したがって共分散行列は、式(4)より、 と書けます。ここでとすれば、 で…
カーネル密度推定法の式(13)を使って、実際に確率分布を推定してみたいと思います。推定する対象は、棄却サンプリングを使って、適当な形状の分布を用いることにします。 早速結果です 青色の線がサンプリングした確率分布で、オレンジの線がカーネル密度推…
パターン認識と機械学習(下)のカーネル法を勉強しています。カーネル法とは直接関係ないようですが、カーネル密度推定法(パターン認識と機械学習(上)で紹介されています)を勉強したので記事にします。 カーネル密度推定法とは、サンプルデータから元の…
確率変数に対して、 を、の共分散といいます。また、の標準偏差をとすれば、 をの相関係数といいます。相関係数は共分散の値を[-1,1]の範囲に正規化したものであると考えることができます。式(1)の定義からわかるように、とが同符号の傾向があるとき共分散が…
誤差を正規分布と仮定した最尤推定と、最小二乗法は等しいことを既に書きました。(参考:最小二乗法はなぜ二乗和誤差(残差平方和)を計算するのか)今回は解を求めることが目的ではなく、尤度とは何を意味するのかを確認したいと思います。 まず近似のモデ…
ベイズの定理を使った事後確率の推定、ベイズ推定の例題を解いてみます。いろんな参考書でよく見かける例題です。 ある検査を受けたとき、被験者がガンであるときに陽性となる確率は95%、ガンでないが陽性と誤判定する確率は2%とする。また、ガンの罹患率…
条件付き確率、同時確率、周辺確率の式(2)、確率の乗法定理より、 ですから、 が成り立ちます。これをベイズの定理と呼びます。これはベイズ統計において成り立つ定理ではなく、確率の公理から導かれるものですので、主観確率でも客観確率でも使うことができ…
条件付き確率、同時確率 確率変数に対して、条件付き確率は、同時確率を使って で定義される。分母をはらえば、同時確率は となり、これは確率の乗法定理と呼ばれる。ベイズの定理はこの式から導かれます。3変数以上になっても同様に と展開していける。条件…
ベイズ線形回帰を勉強しようと思っています。そのために必要な知識を遡っていると、確率の定義まで行き着いてしまった。しかも確率は、本来非常に高度な学問であるということを知った。背景に集合論や測度論、ルベーグ積分などがあるんだとか。興味はあるが…
"二乗法"なんだから"二乗和"だろうという話ではなく。最小二乗法は、誤差の二乗和を計算するわけですが、そもそもなんで二乗するのか?絶対値ではダメなのか?和ではなく積ではダメなのか?疑問に思ったことはないでしょうか。大きな理由は2つあるそうです。…