線形識別　最小二乗法の解の導出 - 機械学習に詳しくなりたいブログ

線形識別を最小二乗法で計算した場合の解を導出します。識別関数を $\mathbf{y}(\mathbf x) = \mathbf{w}^T \mathbf{x}$ とします。ここで $\mathbf{x} = (1,x_{1},\ldots,x_{M-1})^{T}$ です。（ダミー入力の定数を加えたものとします） $\mathbf{w}$ はM×K行列（入力次元×クラス数）の係数とします。また、 $\mathbf{t}$ を1ofK符号（正解クラスが1でそれ以外が0のベクトル）とし、教師データ $(\mathbf{x}_n,\mathbf{t}_n)$ がN個与えられたとします。

以上の前提条件をもとに計算をします。 $n$ 番目の教師データに対する2乗誤差は、

$E_n = \displaystyle \frac{1}{2} \|\mathbf{w}^T \mathbf{x}_n - \mathbf{t}_n \|^2 \tag{1}$

と書けます。これがなぜ二乗和になるのかは、ベクトルのノルムとベクトルの内積と2乗和より、ベクトルのノルムの二乗は、各要素の二乗和に等しいことが確認できます。なお線形識別における2乗誤差は、正解が $(1,0,0)^{T}$ 、出力が $(a,b,c)^{T}$ のとき、 $(a-1)^{2} + b^{2}+c^{2}$ としています。

式(1)は以下のように展開できます。

$\begin{eqnarray*} E_n &=& \displaystyle \frac{1}{2} \|\mathbf{w}^T \mathbf{x}_n - \mathbf{t}_n \|^2 \tag{2} \\ &=& \displaystyle \frac{1}{2} (\mathbf{w}^T \mathbf{x}_n -\mathbf{t}_n )^{T}(\mathbf{w}^T \mathbf{x}_n -\mathbf{t}_n ) \tag{3} \\ &=& \displaystyle \frac{1}{2} (\mathbf{x}_n^T \mathbf{w} -\mathbf{t}_n^T )(\mathbf{w}^T \mathbf{x}_n -\mathbf{t}_n ) \tag{4} \\ &=& \displaystyle \frac{1}{2} (\mathbf{x}_n^T \mathbf{w}\mathbf{w}^T \mathbf{x}_n - \mathbf{x}_n^T \mathbf{w}\mathbf{t}_n - \mathbf{t}_n^T \mathbf{w}^T \mathbf{x}_n -\| \mathbf{t}_n\|^2 ) \tag{5} \\ &=& \displaystyle \frac{1}{2} (\mathbf{x}_n^T \mathbf{w}\mathbf{w}^T \mathbf{x}_n - 2\mathbf{x}_n^T \mathbf{w}\mathbf{t}_n - \| \mathbf{t}_n\|^2 ) \tag{6} \\ \end{eqnarray*}$

式変形には、転置行列の定理、ベクトルのノルムなどを使っています。

ここで行列の微分の式(5)(8)より、

$\begin{eqnarray*} \displaystyle \frac{\partial E_n}{\partial \mathbf w} &=& \frac{1}{2} \{ (\mathbf{x}_n \mathbf{x}_n^T + \mathbf{x}_n \mathbf{x}_n^T) \mathbf w - 2 \mathbf{x}_n\mathbf{t}_n^T \} \tag{7} \\ &=& \mathbf{x}_n \mathbf{x}_n^T \mathbf w - \mathbf{x}_n\mathbf{t}_n^T \tag{8} \end{eqnarray*}$