cs231n作业——softmax

cs231n

cs231n作业——softmax
- 1.基础知识
- 2.使用循环进行求loss和求导
- 3.向量化进行求导和loss

1.基础知识

Inputs:

- W: A numpy array of shape (D, C) containing weights.

- X: A numpy array of shape (N, D) containing a minibatch of data.

- y: A numpy array of shape (N,) containing training labels; y[i] = c means

that X[i] has label c, where 0 <= c < C.

- reg: (float) regularization strength

Returns a tuple of:

- loss as single float

- gradient with respect to weights W; an array of same shape as W

“”"

输入的w是d个属性和c个类别，x是n给样本和d个属性，输出loss和梯度

softmax公式如上所示，可以把所有的输出y值，进行变成概率，且都是正概率，相加的概率和为1

2.使用循环进行求loss和求导

求loss，我们一般使用交叉熵进行验证损失，交叉熵

计算两个概率之间的距离。因为yi为标签值，只有为真实标签时yi才wei1，其他为0.，所以这个就可以简化为-lnai。

求导是链式求导法则，-lnai求导就是 -1/ai。

z4 = w41o1+w42o2+w43*o3

下面应该是ez4

接下来就是对z4进行求导

z4在上下都有，那么我们使用导数进行求导，上下求导。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZBmT36SP-1631159742076)(https://z3.ax1x.com/2021/09/09/hqKRZ6.png)]

可以发现就是aj（1-aj）

如果是对z5进行求导，那么就是-aj*ai。剩下的链式求导就是x自己。

整体代码如下。

num_train = X.shape[0]
num_class = W.shape[1]for i in range(num_train):scores = X[i, :].dot(W) # (1, C)p = np.exp(scores) / np.sum(np.exp(scores))loss += -np.log(p[y[i]])for j in range(num_class):if j == y[i]:dW[:, j] += (p[j] - 1) * X[i, :].T else:dW[:, j] += p[j] * X[i, :].Tloss /= num_traindW /= num_trainloss += reg * np.sum(np.square(W))dW += 2 * reg * W

3.向量化进行求导和loss

由于是链式求导，我们第一步就是求出所有的得分在c个类别里。

 num_train = X.shape[0]scores = X.dot(W) # (N, C)

生成n*c的矩阵

第二部就是进行softmax，进行输出概率。

 p = np.exp(scores) / np.sum(np.exp(scores), axis=1, keepdims=True)

进行求和是消灭列，并且保持二维矩阵的特性，使他可以通过广播机制，生成n*c的矩阵

第三步就是进行求loss，我们只需要使用choose函数，挑选出样本标签纸的概率进行-ln求和就行

correct_p = p[np.arange(num_train), y]loss -= np.sum(np.log(correct_p))

接下来就是求导。

导数，我们根据loss进行求导，由上面的链式求导，我们知道-lnai求导是-1/ai

ai对标签纸求导就是ai*（1-ai），非标签值求导就是-aj *ai ，最后是乘以x。t

链式复合就是标签纸是（ai-1）*x，非标签就是aj本身。

p[np.arange(num_train), y] -= 1dW += X.T.dot(p)

最后就是正则项相关的代码了

loss /= num_traindW /= num_trainloss += reg * np.sum(np.square(W))dW += 2 * reg * W