ラグランジュの未定乗数法にて等式制約条件下における解の求め方を確認しました。今回は条件が不等式の場合を考えます。の条件においての最大値を求める問題です。 個の変数を持つ関数を考えるので引数はベクトルです。前提条件としては下に凸、は上に凸とし…

制約条件のもとで関数の極値を求める手法です。グラフで図示しやすいので2変数関数を考えます。という制約条件のもとでを最大にするを求めることが目標です。 まずは問題の前提を再確認。は曲面、は曲線で表されます。つまりこの問題は、曲線上でが最大とな…

曲線の点における法線ベクトルの１つは である。 という、基本的な公式の話なんですが、最初混乱してしまいました。というのも、「は勾配を表すんじゃなかったのか？法線ベクトルと方向が一致するわけないじゃないか、なぜこれが法線となるんだ？」と、恥ず…

訓練データ数に対して多項式の次元数が大きすぎると、過学習が発生することを以前確認しました。（参考：線形回帰を最小二乗法で解く） 過学習が発生するとき、係数が大きな値をとる傾向があるようです。よって、係数を小さい値に制限することができれば過学…

ベイズ線形回帰を勉強しようと思っています。そのために必要な知識を遡っていると、確率の定義まで行き着いてしまった。しかも確率は、本来非常に高度な学問であるということを知った。背景に集合論や測度論、ルベーグ積分などがあるんだとか。興味はあるが…

変数が１つの回帰分析は単回帰と呼ばれ（参考：線形回帰を最小二乗法で解く）、複数の変数を使うものは重回帰分析と呼ばれます。今回は重回帰分析を最小二乗法で解いてみたいと思います。と言っても、重回帰分析でも係数が線形結合されていれば、その解は最…

線形回帰の最小二乗法による解を導出します。 N個の訓練データを、M-1次多項式 で近似することを考えます。 ここで二乗和誤差 を最小にする係数を求めることが目標です。なぜ二乗和誤差を計算するのか？は最小二乗法はなぜ二乗和誤差（残差平方和）を計算す…

"二乗法"なんだから"二乗和"だろうという話ではなく。最小二乗法は、誤差の二乗和を計算するわけですが、そもそもなんで二乗するのか？絶対値ではダメなのか？和ではなく積ではダメなのか？疑問に思ったことはないでしょうか。大きな理由は2つあるそうです。…

ベクトルの微分の定義 スカラを返す関数において、ベクトルでの微分係数は以下のように定義されます。 ベクトル,に対して、ですから、式(1)の定義と、転置行列の定理の式(5)より、 となることがわかります。で微分すれば、その係数のみ残りますので、解はk番…

ベクトルに対して、以下で定義されるものをノルムと呼びます。 特に、の場合は と定義されます。 ノルムとは、ベクトル空間における長さを表すものです。特にノルムはユークリッド距離を表します。いわゆる、普段我々が「距離」と認識しているものです。一般…

今回も最小二乗法の解の導出に必要な数学準備。 非常に初歩的な内容ですが、忘れていると計算式の変形で戸惑ってしまう。 ベクトル と に対して、内積 は以下の式で与えられます。 よって、であるから、内積はの各要素の2乗和に等しい。 また、式(1)は行列の…

いきなり結論ですが、行列A,Bに対して以下の等式が成り立ちます。 また式(1)を用いれば、 となり、3つの行列でも同様の性質が成り立ちます。 さらに同じ式変形を繰り返せば、n個の行列に対して、 が成り立ちます。式(1)は、実際に適当な行列で計算してみれば…

これも機械学習の１つなんですね。統計学のものだと思っていました。 線形回帰とは何か まず回帰分析というのは、目的変数と説明変数の間の関係を求めること。との間にどのような関係があるか、つまりで表されるとき、はどのような関数になるか？を求めるも…