多項式回帰

M次多項式回帰モデルによる回帰。

1次元特徴

• 特徴量関数 $\psi :\mathbb{R}\to {\mathbb{R}}^{M+1}$
• 多項式特徴量 $\psi (x)=(x^0,x^1,x^2,\dots ,x^M)$
• 線形回帰モデル $t={\mathbf{w}}^T\psi (x)$

$$t=w_0+w_{1}x+w_2{x}^2+\cdots +w_M{x}^M$$

D次元特徴

$$t=w_0+\sum _{m=1}^M\sum _{d=1}^D{w}_{md}{x}_d^m$$

あるデータが与えられたときに、次元を上げて複雑にすればするほどにその訓練データを上手く説明することはできるが、overfittingを起こすので、適切な複雑さを選ぶ必要がある。

多項式次元を上げるほど訓練誤差は小さくなり、最終的に0にできる。 しかし、テスト誤差は最初は大きく、次元を上げるごとに徐々に小さくなるが、必要以上に多項式次元を上げると増加する。