確率的生成モデル - シグモイド関数の続きです。事後確率がシグモイド関数で表せること、つまりで表せることを確認しました。今回は、
が、の線形関数で表せることを確認します。
クラスにおけるデータが、正規分布であり、全てのクラスにおいて共分散が等しいと仮定すれば、
と書けます。(参考:多変量正規分布) ここでは入力の次元数、はクラスにおけるの平均ベクトルです。式(1)を変形すれば
です。式(3)右辺の2項目に式(2)を代入すれば、
です。ここで、共分散行列が対称行列であること、対称行列の逆行列も対称行列であること(参考:対称行列の逆行列)、ベクトルの内積がであることに注意すれば、
ですから、とすれば、式(5)は
となります。よって、
です。にダミー入力を加え、
とすれば、
です。
以上より、
と書けることが確認できました。なお、今回は正規分布を仮定していますが、より一般的な指数型分布族と仮定しても同様に線形関数で表せることが確認できるようです。*1 いろいろややこしい計算が続きましたが、要するに確率的生成モデルを考えても、の線形関数によってモデル化できますよってことですね。
一般化線形モデル
線形回帰では、
とモデル化して考えていきましたが、右辺をさらに非線形関数を通して
と表すようなものを一般化線形モデルと呼ぶようです。この関数をシグモイド関数にすれば2クラスのロジスティック回帰となり、つまりロジスティック回帰は一般化線形モデルに属する手法ということになります。
*1:正規分布は指数型分布族の1つ