平均二乗誤差

実際の目標値 $t_i$ と予測した目標値 $wx+b$ の差を誤差という。 誤差 $e$ は、次のように計算できる。

$$e=\left|t_i-(wx+b)\right|$$

ここで、全訓練事例に対する二乗誤差の平均を平均二乗誤差という。 線形モデル $wx+b$ における平均二乗誤差 $E(w)$ は、次のように計算できる。

$$E(w)=\frac{1}{N}\sum _{i=1}^N(t_i-(w{x}_i+b){)}^2$$

平均二乗誤差を最小化するようなモデルが良いモデルであると言える。 したがって、次のような $w,b$ を求めたい。

$$\underset{w,b}{\min }\frac{1}{N}\sum _{i=1}^N(t_i-(w{x}_i+b){)}^2$$

これは、最急降下法を用いることで求められる。