機械学習に詳しくなりたいブログ

機械学習や数学について勉強した内容を中心に書きます。100%趣味です。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。

確率統計

分散共分散行列の半正定値性

共分散行列は半正定値行列であることを確認します。 共分散行列の成分をを考えると、共分散行列の定義(参考:多変量正規分布)より、 です。 ここで、]とし、とすれば、 と書けます。 したがって共分散行列は、式(4)より、 と書けます。ここでとすれば、 で…

カーネル密度推定法の実験

カーネル密度推定法の式(13)を使って、実際に確率分布を推定してみたいと思います。推定する対象は、棄却サンプリングを使って、適当な形状の分布を用いることにします。 早速結果です 青色の線がサンプリングした確率分布で、オレンジの線がカーネル密度推…

カーネル密度推定法

パターン認識と機械学習(下)のカーネル法を勉強しています。カーネル法とは直接関係ないようですが、カーネル密度推定法(パターン認識と機械学習(上)で紹介されています)を勉強したので記事にします。 カーネル密度推定法とは、サンプルデータから元の…

多変量正規分布

確率変数に対して、 を、の共分散といいます。また、の標準偏差をとすれば、 をの相関係数といいます。相関係数は共分散の値を[-1,1]の範囲に正規化したものであると考えることができます。式(1)の定義からわかるように、とが同符号の傾向があるとき共分散が…

線形回帰を最尤推定で解く(尤度とは?)

誤差を正規分布と仮定した最尤推定と、最小二乗法は等しいことを既に書きました。(参考:最小二乗法はなぜ二乗和誤差(残差平方和)を計算するのか)今回は解を求めることが目的ではなく、尤度とは何を意味するのかを確認したいと思います。 まず近似のモデ…

ベイズ推定 よくある例題

ベイズの定理を使った事後確率の推定、ベイズ推定の例題を解いてみます。いろんな参考書でよく見かける例題です。 ある検査を受けたとき、被験者がガンであるときに陽性となる確率は95%、ガンでないが陽性と誤判定する確率は2%とする。また、ガンの罹患率…

ベイズの定理

条件付き確率、同時確率、周辺確率の式(2)、確率の乗法定理より、 ですから、 が成り立ちます。これをベイズの定理と呼びます。これはベイズ統計において成り立つ定理ではなく、確率の公理から導かれるものですので、主観確率でも客観確率でも使うことができ…

条件付き確率、同時確率、周辺確率

条件付き確率、同時確率 確率変数に対して、条件付き確率は、同時確率を使って で定義される。分母をはらえば、同時確率は となり、これは確率の乗法定理と呼ばれる。ベイズの定理はこの式から導かれます。3変数以上になっても同様に と展開していける。条件…

確率の定義

ベイズ線形回帰を勉強しようと思っています。そのために必要な知識を遡っていると、確率の定義まで行き着いてしまった。しかも確率は、本来非常に高度な学問であるということを知った。背景に集合論や測度論、ルベーグ積分などがあるんだとか。興味はあるが…

最小二乗法はなぜ二乗和誤差(残差平方和)を計算するのか

"二乗法"なんだから"二乗和"だろうという話ではなく。最小二乗法は、誤差の二乗和を計算するわけですが、そもそもなんで二乗するのか?絶対値ではダメなのか?和ではなく積ではダメなのか?疑問に思ったことはないでしょうか。大きな理由は2つあります。 そ…