機械学習に詳しくなりたいブログ

機械学習や数学について勉強した内容を中心に書きます。100％趣味です。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。

関数が線形であるとは、以下の２つの性質を持つことをいいます。

$\begin{eqnarray*} f(x+y)=f(x)+f(y) \tag{1} \\ f(\alpha x)=\alpha f(x) \tag{2} \end{eqnarray*}$

入力の和が出力の和に対応し、入力の定数倍が出力の定数倍に対応することを意味します。また、この性質を持つ関数は原点を通るはずです。なぜなら $f(x)$ が線形性を持つなら、式(2)より

$\begin{eqnarray*} f(x)&=&f(x*1) \tag{3} \\ &=& xf(1) \tag{4} \end{eqnarray*}$

となり、 $f(x)$ は比例定数がある固定値 $f(1)$ の関数となります。また、入力が多次元でも以下が成り立つことを線形性といいます。

$\begin{eqnarray*} f(\mathbf x+\mathbf y)=f(\mathbf x)+f(\mathbf y) \tag{5} \\ f(\alpha \mathbf x)=\alpha f(\mathbf x) \tag{6} \end{eqnarray*}$

なお関数だけでなく、微分や積分など線形の性質を持つ演算もいくつかあります。