多类 SVM 的损失函数及其梯度计算

CS231n Convolutional Neural Networks for Visual Recognition —— optimization

1. 多类 SVM 的损失函数（Multiclass SVM loss）

在给出类别预测前的输出结果是实数值，也即根据 score function 得到的 score（s=f(xi,W)s=f(x_i, W)），

Li=∑j≠yimax(0,sj−syi+Δ),Δ=1（一般情况下）

L_i=\sum_{j\neq y_i}\max(0, s_j-s_{y_i}+\Delta), \quad \Delta=1（一般情况下）

yiy_i 表示真实的类别，syis_{y_i} 在真实类别上的得分；
sj,j≠yis_j, j\neq y_i 在其他非真实类别上的得分，也即预测错误时的得分；

则在全体训练样本上的平均损失为：

L=1N∑i=1NLi

L = \frac1N\sum_{i=1}^NL_i

delta = 1
scores = np.dot(W, X)
correct_scores = scores[y, np.arange(num_samples)]diff = score - correct_scores + delta
diff[y, np.arange(num_samples)] = 0thresh = np.maximum(0, diff)
loss = np.sum(thresh)
loss /= num_samples

2. 优化（optimization）：梯度计算

首先来看损失函数的定义，如下为第 ii 个样本的损失值（Wc×d⋅Xd×NW_{c\times d}\cdot X_{d\times N}，dd 特征向量的维度，cc：输出类别的个数）：

Li==∑j≠yimax(0,sj−syi+1)∑j≠yi[max(0,wTjxi−wTyixi+1)]

\begin{split} L_i =&\sum_{j\neq y_i}\max(0, s_j-s_{y_i}+1)\\ =&\sum_{j\neq y_i} \left[ \max(0, w_j^Tx_i - w_{y_i}^Tx_i + 1) \right] \end{split}

遍历 jj，就是遍历 WW 每一列的每一个元素， wTjxi⇒j=1,…,c;i=1,…,Nw_j^Tx_i ⇒ j=1,\ldots,c; i=1,\ldots,N
wTjw_j^T 表示 WW 的每一行，共 cc 行；

下面的额关键是如何求得损失函数关于参数 wj,wyiw{j, w_{y_i}} 的梯度：

∇wyiLi=−⎛⎝∑j≠yi1(wTjxi−wTyixi+Δ>0)⎞⎠xi∇wjLi=1(wTjxi−wTyixi+Δ>0)xij≠yi

\begin{split} &\nabla_{w_{y_i}} L_i = - \left( \sum_{j\neq y_i} \mathbb{1}(w_j^Tx_i - w_{y_i}^Tx_i + \Delta > 0) \right) x_i\\ &\nabla_{w_j} L_i = \mathbb{1}(w_j^Tx_i - w_{y_i}^Tx_i + \Delta > 0) x_i\quad j\neq y_i \end{split}

binary = thresh
binary[thresh > 0] = 1          # 实现 indicator 函数col_sum = np.sum(binary, axis=0)
binary[y, np.arange(num_samples)] = -col_sumdW = np.dot(binary, X.T)        # binary 维度信息：c*N, X 维度信息：d*N
dW /= NdW += reg * W