機械学習に詳しくなりたいブログ

機械学習や数学について勉強した内容を中心に書きます。100%趣味です。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。

線形識別を最小二乗法で解く

線形識別の最小二乗法による解を求めましたので(参考:線形識別 最小二乗法の解の導出)、今回はそれを用いて実際にいくつか識別させてみたいと思います。

まずは単純な直線y=xで分離される識別を解いてみました。点が教師データで、塗りつぶされている領域が識別結果です。 f:id:opabinia2:20180506224636p:plain ちゃんと識別できていますね。左側だと、ちょっと分離面がズレていますが、教師データ数を増やしてみたらきっちり分離できました。

しかし線形識別を最小二乗法で解くのは問題があるようです。なぜなら、最小二乗法とは何であったかを思い出してみると、真値からの誤差が正規分布に従っているときに使えるものでした。(参考:最小二乗法はなぜ二乗和誤差(残差平方和)を計算するのか) 線形識別において、この前提は明らかに成り立っていないため、最小二乗法は適していないということです。教師データの中に大きく外れている値が含まれていると、以下のように簡単に識別がズレてしまします。(外れ値はグラフ外のため表示されていません)外れている値といっても、y=xで適切に分類される正しい教師データですが、二乗誤差が大きくなってしまい、その影響を受けてしまうんですね。 f:id:opabinia2:20180506225427p:plain

外れている値であれば、事前に選別して取り除くことができると思いますが、教師データに偏りがあっても以下のように全然識別できませんでした。 f:id:opabinia2:20180506225518p:plain これもうまくいかないのは同じ理屈です。

さらに、クラス数を増やしてみると論外なほど識別がうまくいかない場合があります。 f:id:opabinia2:20180506225625p:plain

ということで、線形識別に対して最小二乗法は使えない、ということが確認できました。

線形識別勉強のまとめ:線形識別の目次

今回のコードです。3クラスでは全くうまくいかない、と本文で書きましたが、今回のコードのような教師データの与え方では、データ数を増やしたらそれっぽくなりました。いずれにしても使えないことには違いありません。

# 最小二乗法による線形識別
import matplotlib.pyplot as plt
import numpy as np


# 教師データの属するクラスを返す
def teaching(x, y):
    if y > x + 0.3:
        return 0
    if y > x - 0.3:
        return 1
    return 2


# 判別したクラス返す
def f(x0, x1):
    return np.argmax(np.dot(w.T, np.array([1.0, x0, x1])))


# ランダムシードを固定
np.random.seed(0)

# 訓練データ数
N = 40

# 入力次元数(ダミー入力を含めて)
M = 3

# クラス数
K = 3

# 教師データ作成
T = np.zeros([N, K])
t = np.empty(N)
xt = np.random.uniform(0, 1, N)
yt = np.random.uniform(0, 1, N)

# 外れ値
# xt[0] = 8
# yt[0] = 0.2

for i in range(N):
    t[i] = teaching(xt[i], yt[i])
    T[i, int(t[i])] = 1


# Xを作る
X = np.hstack([np.ones([N, 1]), xt.reshape([N, 1]), yt.reshape([N, 1])])

# 係数wを求める
w = np.linalg.solve(np.dot(X.T, X), np.dot(X.T, T))

# グラフ表示用の判別結果
a, b = np.meshgrid(np.linspace(0, 1, 1000), np.linspace(0, 1, 1000))
vec_f = np.vectorize(f)
c = vec_f(a, b)

plt.xlim(0, 1)
plt.ylim(0, 1)
plt.scatter(xt[t == 0], yt[t == 0], color="blue", alpha=0.5)
plt.scatter(xt[t == 1], yt[t == 1], color="green", alpha=0.5)
plt.scatter(xt[t == 2], yt[t == 2], color="red", alpha=0.5)
plt.contourf(a, b, c, alpha=0.2)
plt.show()