ソフトマックス関数の微分 - 機械学習に詳しくなりたいブログ

多クラスの確率的生成モデルを考えたときに出てきたソフトマックス関数の微分を計算します。

ソフトマックス関数は

$\displaystyle y_k = \frac{\exp(a_k)}{\sum_{j}\exp(a_j)} \tag{1}$

でした。 $\displaystyle \frac{\partial y_k}{\partial a_j}$ を考えます。

$k \ne j$ のとき、分数の微分公式より

$\begin{eqnarray*} \displaystyle \frac{\partial y_k}{\partial a_j} &=& \frac{0-\exp(a_k) \exp(a_j)}{ (\sum_{j} \exp(a_j))^{2} } \tag{2} \\ & =& -y_k y_j \tag{3} \end{eqnarray*}$

となります。 $k = j$ のときも同様に分数の微分公式より

$\begin{eqnarray*} \displaystyle \frac{\partial y_k}{\partial a_j} &=& \frac{\exp(a_k)\sum_{j} \exp(a_j)-\exp(a_k) \exp(a_j)}{ (\sum_{j} \exp(a_j))^{2} } \tag{4} \\ \displaystyle & =& y_k \left\{ \frac{\sum_{j} \exp(a_j) - \exp(a_j)}{\sum_{j} \exp(a_j)} \right\} \tag{5} \\ & = & y_k(1-y_j) \tag{6} \end{eqnarray*}$