です。、が正定値行列なら、二次形式は正でしたから(参考:正定値行列)、式(1)より、が非ゼロベクトルなら
であり、つまり正定値行列の和もまた正定値行列です。
2019年は相場が戻ってくれてよかった。2018年の投信マイナスが311万だったので、ちょうど相殺できた。これでようやく2018年初と同じ位置なのだけど、毎月積み立てで投資しているので、投資額は当時よりけっこう膨らんでいる。2018年と同じレベルの下げがくれば300万の評価損では済まなくなりますが、上がれば爆発力も増しているということで。Web収入は2018年から少しダウンですがこの水準なら満足です。
Web収入 | 投信 前月比評価損益 | 計 |
---|---|---|
738,815円 | 337,435円 | 1,076,250円 |
Web収入 | 投信評価損益 | 個別株 | 計 |
---|---|---|---|
7,899,607円 | 3,148,723円 | 705,618円 | 11,753,948円 |
ガウス過程による分類(4)の続き。
と求められましたので、ラプラス近似をするため、まずはとなる点を求めます。
2次形式の微分公式*1を用いれば、
となります。ここでです。を微分していけばシグモイド関数が現れます。
ここで、式(3)のの中にもが含まれていますから、解析的に求めることができません。そこでニュートン法(多変数の場合)を用います。
ニュートン法の更新式は、ニュートン法(多変数の場合)の式(6)より、
でした。ここで、、は、点における、を表します。したがって、となる点を求める更新式は、
となります。は、式(3)をもう1度微分すれば、
です。の微分は、ベクトルをベクトルで微分の定義とヘッセ行列の式(1)の定義より計算し、
です。
ここで、シグモイド関数は]の範囲の値をとります。対角行列の固有値は対角成分そのものですから、は正定値行列であることがわかります。また、はガウス過程による分類(2)の式(8)より正定値行列です。そして正定値行列の逆行列よりもまた正定値行列です。さらに正定値行列の和も正定値行列ですから、は負定値行列であることがわかります。するとヘッセ行列で最大/最小値の存在を判定より、2次関数のヘッセ行列が負定値行列の場合は唯一の最大値を持ちますから、は唯一の最適解を持っているといえます。
さて、式(3)と式(6)より、更新式の式(5)は、
となります。このまま使うと何か数値計算的に問題があるのか?計算量の無駄があるのか?わかりませんが、参考書ではさらに式変形をします。
となります。式(14)→式(15)の式変形には逆行列の定理の式(1)を使っています。
ガウス過程による分類(4)の最後の部分と重複しますが、これにより求められるとなる点を用いて、
と書けます。ここでです。
前回の以下の記事の続きです。
訓練データ、が与えられたとき、新たな入力に対するの確率、すなわちを求めることが目標です。そしてこれは、いくつかの式変形によって以下のように表せました。
式(1)下線部はシグモイド関数の出力ですが、は解析的に求めらません。これは
と変形することができました。さらに式(2)下線部Aは
と求めることができました。そして式(2)下線部Bのをラプラス近似を使うために対数をとったを考え、それが、
となりました。今回はこの計算の続きで、式中の正規分布の表現に定義通り代入して計算するのみです。そろそろおさらいのほうが長くなってきているという。
式(4)におけるは、多変量正規分布の式をそのままあてはめれば*1、
です。そしてはシグモイド関数ですから、式(4)は
です。これを展開してけば、
です。ラプラス近似をするためには、となる点と、の値が必要になります。それが求められれば、は
と近似できます。ここでです。さらに、は確率密度関数ですから、
と書けます。
さて、を求めていきたいのですが、これは解析的に求めることができないためニュートン法(多変数の場合)を使います。
続きは次回