Softmax回帰

多クラス分類を行う際に利用する回帰。

Softmax関数

Sigmoid関数を多ラベルに拡張した関数をSoftmax関数という。 Softmax関数の $j$ 番目の出力は以下のようになる。

$$\sigma (\mathbf{z}{)}_j=\frac{\exp (z_j)}{{\sum }_d\exp (z_d)}$$

全ての成分が0以上で、和が1になるK次元ベクトル全体の集合をK-1シンプレクスという。 K-1シンプレクス上の任意の点は、K次元確率ベクトルである。

$$\sum _k\sigma (\mathbf{z}{)}_k=1$$

Softmax関数は ${\mathbb{R}}^D$ をK-1シンプレクスに写像する。

Softmax回帰

1-of-k表記（1 hot vector）の訓練データを用いて、以下の予測 ${\hat{t}}_{nk}$ を計算する。

$${\hat{t}}_{nk}=\text{Pr}(k\mid {\mathbf{x}}_n)=\frac{\exp ({\mathbf{w}}_k^T{\mathbf{x}}_n)}{{\sum }_{k=1}^K\exp ({\mathbf{w}}_k^T{\mathbf{x}}_n)}$$

次に、訓練データ集合全体に対する尤度 $L(\mathbf{w})$ を計算する。

$$L(\mathbf{w})=\prod _{n=1}^N\prod _{k=1}^{K}Pr(k\mid {\mathbf{x}}_n{)}^{t_{n,k}}=\prod _{n=1}^N\prod _{k=1}^K({\hat{t}}_{n,k}{)}^{t_{n,k}}$$

最後に、誤差関数（交差エントロピー）を得る。

$$E(\mathbf{w})=-\log L(\mathbf{w})=-\sum _{n=1}^N\sum _{k=1}^K{t}_{nk}\log {\hat{t}}_{nk}$$