条件付き確率、同時確率、周辺確率 - 機械学習に詳しくなりたいブログ

条件付き確率、同時確率

確率変数 $X,Y$ に対して、条件付き確率 $P(X|Y)$ は、同時確率 $P(X,Y)$ を使って

$\displaystyle P(X|Y) = \frac{P(X,Y)}{P(Y)} \tag{1}$

で定義される。分母をはらえば、同時確率 $P(X,Y)$ は

$P(X,Y) = P(X|Y)P(Y) \tag{2}$

となり、これは確率の乗法定理と呼ばれる。ベイズの定理はこの式から導かれます。3変数以上になっても同様に

$\begin{eqnarray*} \displaystyle P(X,Y,Z) &=& P(X|Y,Z)P(Y,Z) \tag{3} \\ &=&P(X|Y,Z)P(Y|Z)P(Z) \tag{4} \end{eqnarray*}$

と展開していける。条件付き同時確率 $P(X,Y|Z)$ は、

$\begin{eqnarray*} \displaystyle P(X,Y|Z) &=& \frac{P(X,Y,Z)}{P(Z)} \tag{5} \\ &=& \frac{P(X|Y,Z)P(Y,Z)}{P(Z)} \tag{6} \\ &=& \frac{P(X|Y,Z)P(Y|Z)P(Z)}{P(Z)} \tag{7} \\ &=& P(X|Y,Z)P(Y|Z) \tag{8} \end{eqnarray*}$

と展開できる。

2変数程度ならベン図を書いたり、確率の解釈から式の意味がわかりますが、多くの確率変数がからみあってくると式から直感的に解釈するのは難しい、、、。定理定義を使って式変形したらこうなるんだから、そうなんでしょう、と割り切ったほうが良いかもしれない。

周辺確率

$P(X),P(Y)$ のような単独の確率を周辺確率と呼ぶ。また、 $P(X,Y)$ のような同時確率から一方の確率変数を取り除き、周辺確率を求めることを周辺化と呼び、以下のような式で求められます。

$\displaystyle P(X) = \sum_{Y}P(X,Y) \tag{9}$

例えば日本人を標本空間とし無作為に抽出することを考え、 $X$ を性別の確率変数、 $Y$ を年齢の確率変数とすれば、 $P(X=男性,Y=20)$ はサンプルが20歳の男性である確率を表します。 $Y$ を0歳から200歳まで全て足し合わす、つまり $P(X=男性,Y=0)+P(X=男性,Y=1)+,\cdots,+P(X=男性,Y=200)$ を計算すれば $P(X=男性)$ の確率が求められます。