機械学習に詳しくなりたいブログ

機械学習や数学について勉強した内容を中心に書きます。100%趣味です。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。

微分積分

ベクトルをベクトルで微分の定義とヘッセ行列

、としたとき、は以下のように定義されます。 *1 さて、スカラを返す関数をベクトルで微分すると でしたから(参考:ベクトルの微分)、式(1)の定義に従って式(2)をもう1度で微分すると、 となります。式(3)はヘッセ行列と呼ばれ、と表記されます。の要素に…

行列の微分(2)

を考えます。行列の微分の定義は行列の微分に書きました。ここでは、はの行列とします。はスカラですから、行列の微分の定義に従って計算していきます。(参考:行列の内積とトレース) を計算して書き出せば、 です。これをで微分します。の行列の要素での…

行列の微分

行列の微分の定義 スカラを返す関数において、行列 での微分係数は以下のように定義されます。 の微分 ベクトル に対し、の微分を考えます。 まずを計算していきますと、 ですから、 となります。行列の成分での微分は、式(4)よりとなることがわかります。こ…

積分の変数変換 - 補足

積分の変数変換で、2変数の場合に となることを書いたのですが、少し補足です。 全微分から得られる、 について、が直交座標系である場合を考えます。座標系においては、式(2)より、に変換され、はに変換されます。 変数変換前後で、各座標が作る平行四辺形…

積分の変数変換

高校でやった置換積分の復習と2変数以上の拡張です。今回の内容はなかなかすっきりと理解できず、自分なりの解釈でまとめたため、誤りを含んでいるかもしれません。 1変数の場合 において、として合成関数の微分より ですから、これをで積分すれば となり、…

不等式制約におけるラグランジュの未定乗数法(KKT条件)

ラグランジュの未定乗数法にて等式制約条件下における解の求め方を確認しました。今回は条件が不等式の場合を考えます。の条件においての最大値を求める問題です。 個の変数を持つ関数を考えるので引数はベクトルです。前提条件としては下に凸、は上に凸とし…

ラグランジュの未定乗数法

制約条件のもとで関数の極値を求める手法です。グラフで図示しやすいので2変数関数を考えます。という制約条件のもとでを最大にするを求めることが目標です。 まずは問題の前提を再確認。は曲面、は曲線で表されます。つまりこの問題は、曲線上でが最大とな…

ベクトルの微分

ベクトルの微分の定義 スカラを返す関数において、ベクトルでの微分係数は以下のように定義されます。 ベクトル,に対して、ですから、式(1)の定義と、転置行列の定理の式(5)より、 となることがわかります。で微分すれば、その係数のみ残りますので、解はk番…