下図に示すような点から、直線におろした垂線との交点との距離を考えます。 直線の法線ベクトルは（参考：法線ベクトルと勾配）ですから、 となる実数が存在します。式(1)においては方向への単位ベクトルです。したがっては点からまでの距離を表します。使っ…

転置行列の定理の式(1)を用いて、 ですから、式(3)より、 となります。

共分散行列は半正定値行列であることを確認します。 共分散行列の成分をを考えると、共分散行列の定義（参考：多変量正規分布）より、 です。 ここで、]とし、とすれば、 と書けます。 したがって共分散行列は、式(4)より、 と書けます。ここでとすれば、 で…

です。、が正定値行列なら、二次形式は正でしたから（参考：正定値行列）、式(1)より、が非ゼロベクトルなら であり、つまり正定値行列の和もまた正定値行列です。

が対称行列なら、対称行列の対角化より、 によって対角化できます。ここで、は固有ベクトルを並べた直交行列、は固有値を対角成分に持つ対角行列です。また、は直交行列でですから、 です。 式(2)より、の逆行列を考えると、逆行列の定理より です。ここで直…

全ての固有値が正の対称行列を正定値行列と呼びます。これは、2次形式が常に正であることと同条件です。が対称行列なら、 によって対角化できます。ここで、は固有ベクトルを並べた直交行列、は固有値を対角成分に持つ対角行列です。（参考：対称行列の対角…

を直交行列とすると、直交性より となります。 さらに、が正方行列なら ですから、式(1)、式(2)より となり、直交行列の逆行列は転置行列であることがわかります。

以下の式 は、Woodburyの公式と呼ばれます。左辺の計算より、右辺の計算が楽な場合において用いられるようです。 以下、導出を確認しました。 まず、を考えます。 です。次にを考えます。 ですから、式(6)、(7)より です。 ここからが本題で、を変形していき…

行列について、 が成り立ちます。これは以下のように確かめることができます。 より、となります。 また、転置行列の定理と同様、 となり、n個の行列に対して となります。

ブロック行列 の逆行列は、が正則のとき、 です。 本当にそうなっているか、式(2)の左からをかけて確かめてみます。 ちゃんとなっていました。 が正則のときは となります。

対称行列は直交行列を使って対角化できることを確認します。 対称行列の異なる固有値に対して、対応する固有ベクトルをとすると、固有値、固有ベクトルの定義（参考：固有値と固有ベクトル）より です。ここで、式(1)の両辺の転置をとると、転置行列の定理よ…

任意の2次形式は対称行列を使って書き換えられることを確認します。ここで、 とします。 を書き出すと、と書けます。ここで、ですから、 となります。よって、 と書くことができます。 ここで、 とすれば、ですから、で構成される対称行列によって と書くこ…

、としたとき、は以下のように定義されます。 *1 さて、スカラを返す関数をベクトルで微分すると でしたから（参考：ベクトルの微分）、式(1)の定義に従って式(2)をもう1度で微分すると、 となります。式(3)はヘッセ行列と呼ばれ、と表記されます。の要素に…

を対称行列とします。の逆行列が存在するなら、 と変形でき、対称行列の逆行列もまた、対称行列であることがわかります。 なお途中の式変形は転置行列の定理を用いています。

行列の対角化で導出した方法よりこちらのほうがわかりやすかったので書きます。 行列の個の異なる固有値を、対応する固有ベクトルをとすると、固有値、固有ベクトルの定義よりが成り立ちます。 これをまとめれば、 と書けます。とすれば、 となります。なお…

を考えます。行列の微分の定義は行列の微分に書きました。ここでは、はの行列とします。はスカラですから、行列の微分の定義に従って計算していきます。（参考：行列の内積とトレース） を計算して書き出せば、 です。これをで微分します。の行列の要素での…

固有ベクトルと基底の続きです。 固有ベクトルと基底の式(2)で書いたとおり、 でした。式(1)を と表すこととします。は固有ベクトルを並べた行列です。 により線形変換されるベクトルについても、同様に と表せば、 となります。式(2),(4)をに代入すれば、 …

2×2の行列の固有ベクトルを、対応する固有値をとします。あるベクトル を、の固有ベクトルを基底として表すことを考えます。そのベクトルを とすると、 と書けます。また、正規直交基底をとすれば、 です。で線形変換して得られるについても同様に です。 さ…

固有値、固有ベクトルとは 0でないベクトルに対して が成り立つとき、をの固有ベクトル、を固有値といいます。この式の意味するところは、がによって線形変換された結果、ベクトルの方向は変わらず、倍されたということになります。 たとえば、 によりをに線…

正方行列の対角成分の和をトレースと呼び、と書きます。 例えば のとき、 です。 ここで、 のとき、 となり、行列の内積は、のトレースであることがわかります。 （参考：行列の内積） のトレースでも同じです。また、、が正方行列になるとき、 が成り立ちま…

うっかり行列の積と混同していると大変なことになる。 行列の内積は、対応する全ての要素の積の和です。 定義から明らかなように が成り立ちます。

行列の微分の定義 スカラを返す関数において、行列 での微分係数は以下のように定義されます。 の微分 ベクトル に対し、の微分を考えます。 まずを計算していきますと、 ですから、 となります。行列の成分での微分は、式(4)よりとなることがわかります。こ…

関数が線形であるとは、以下の２つの性質を持つことをいいます。 入力の和が出力の和に対応し、入力の定数倍が出力の定数倍に対応することを意味します。また、この性質を持つ関数は原点を通るはずです。なぜならが線形性を持つなら、式(2)より となり、は比…

下図における原点とからなる平行四辺形の面積を考えます。 だから面積は、 ここで、、、だから、 となり、ベクトルから作られる平行四辺形の面積は、からなる行列式と等しいことが確認できました。 なお、の位置関係によってはが負になることもあるため、 と…

曲線の点における法線ベクトルの１つは である。 という、基本的な公式の話なんですが、最初混乱してしまいました。というのも、「は勾配を表すんじゃなかったのか？法線ベクトルと方向が一致するわけないじゃないか、なぜこれが法線となるんだ？」と、恥ず…

ベクトルの微分の定義 スカラを返す関数において、ベクトルでの微分係数は以下のように定義されます。 ベクトル,に対して、ですから、式(1)の定義と、転置行列の定理の式(5)より、 となることがわかります。で微分すれば、その係数のみ残りますので、解はk番…

ベクトルに対して、以下で定義されるものをノルムと呼びます。 特に、の場合は と定義されます。 ノルムとは、ベクトル空間における長さを表すものです。特にノルムはユークリッド距離を表します。いわゆる、普段我々が「距離」と認識しているものです。一般…

今回も最小二乗法の解の導出に必要な数学準備。 非常に初歩的な内容ですが、忘れていると計算式の変形で戸惑ってしまう。 ベクトル と に対して、内積 は以下の式で与えられます。 よって、であるから、内積はの各要素の2乗和に等しい。 また、式(1)は行列の…

いきなり結論ですが、行列A,Bに対して以下の等式が成り立ちます。 また式(1)を用いれば、 となり、3つの行列でも同様の性質が成り立ちます。 さらに同じ式変形を繰り返せば、n個の行列に対して、 が成り立ちます。式(1)は、実際に適当な行列で計算してみれば…