機械学習に詳しくなりたいブログ

機械学習や数学について勉強した内容を中心に書きます。100％趣味です。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。

ベクトルの内積と2乗和

線形代数・ベクトル

今回も最小二乗法の解の導出に必要な数学準備。

非常に初歩的な内容ですが、忘れていると計算式の変形で戸惑ってしまう。

ベクトル \mathbf{x}=(x_1,x_2, \ldots ,x_n)^T と \mathbf{y}=(y_1,y_2, \ldots ,y_n)^T に対して、内積 \langle\mathbf{x},\mathbf{y}\rangle は以下の式で与えられます。

\langle\mathbf{x},\mathbf{y}\rangle = \displaystyle \sum_{i=1}^n x_i y_i \tag{1}

よって、 \langle\mathbf{x},\mathbf{y}\rangle=\displaystyle \sum_{i=1}^n x_i^2 であるから、内積\langle\mathbf{x},\mathbf{y}\rangleは \mathbf{x}の各要素の2乗和に等しい。

また、式(1)は行列の積を用いて以下のようにも表せます。

\langle\mathbf{x},\mathbf{y}\rangle = \mathbf{x}^T \mathbf{y} \tag{2}