python计算ex函数_python – numpy：计算softmax函数的导数

我试图用MNIST理解一个简单的3层神经网络中的反向传播.

输入层有权重和偏差.标签是MNIST,因此它是10类向量.

第二层是线性转变.第三层是softmax激活,以获得输出作为概率.

反向传播计算每一步的导数并将其称为梯度.

以前的图层将全局或上一个渐变附加到局部渐变.我无法计算softmax的局部梯度

在线的几个资源通过对softmax及其衍生物的解释,甚至给出了softmax本身的代码样本

def softmax(x):

"""Compute the softmax of vector x."""

exps = np.exp(x)

return exps / np.sum(exps)

关于何时i = j和何时i！= j来解释导数.这是一个我想出的简单代码片段,希望能够验证我的理解：

def softmax(self, x):

"""Compute the softmax of vector x."""

exps = np.exp(x)

return exps / np.sum(exps)

def forward(self):

# self.input is a vector of length 10

# and is the output of

# (w * x) + b

self.value = self.softmax(self.input)

def backward(self):

for i in range(len(self.value)):

for j in range(len(self.input)):

if i == j:

self.gradient[i] = self.value[i] * (1-self.input[i))

else:

self.gradient[i] = -self.value[i]*self.input[j]

然后self.gradient是局部渐变,它是一个向量.它是否正确？有没有更好的方法来写这个？

python计算ex函数_python – numpy：计算softmax函数的导数相关推荐

python中的f函数_Python/numpy/pandas中函数f（x，y）结果的矩阵
我有两个系列X和Y,在Python中有一个函数f(X,Y).我想生成一个矩阵,其中包含X和Y的每个组合的函数的输出.例如,如果函数只是一个简单的乘法,它将如下所示:1 2 3 4 5 -------- ...
python数组去重函数_Python科学计算库Numpy之数组操作
操作ndarray 的方法 numpy.reshape:这个函数在不改变数据的条件下修改形状 numpy.ndarray.flat:该函数返回数组上的一维迭代器,行为类似 Python 内建的迭代器 ...
python np dot函数_python科学计算之Numpy
Numpy的组成与功能 Numpy(Numeric Python)可以被理解为一个用python实现的科学计算包,包括: 1.强大的N维数组对象Array: 2.成熟的函数库: 3.实用的线性代数.傅 ...
python公式计算_Python Numpy计算各类距离的方法
详细: 1.闵可夫斯基距离(Minkowski Distance) 2.欧氏距离(Euclidean Distance) 3.曼哈顿距离(Manhattan Distance) 4.切比雪夫距离(Ch ...
python方差函数_python numpy实现标准差，方差
使用numpy可以做很多事情,在这篇文章中简单介绍一下如何使用numpy进行方差/标准方差/样本标准方差/协方差的计算. variance: 方差方差(Variance)是概率论中最基础的概念之一, ...
python中ndarray除_python科学计算_numpy_ndarray
ndarray:n-dimensional array object,即多维数组对象,是python自带的array对象的扩展,array对象和list对象的区别是array对象的每一个元素都是数值, ...
python矩阵sin计算器_Python科学计算工具
Python科学计算工具-Numpy入门 2017.07.02 20:29:14字数 1,404阅读 2,509 一:前言学了中国大学mooc的Python数据分析与展示课程感觉挺不错的,记录下来以 ...
python row函数_Python numpy 常用函数总结
Numpy是什么在没给大家介绍numpy之前先给大家说下python的基本概念. Python 是一种高级的,动态的,多泛型的编程语言.Python代码很多时候看起来就像是伪代码一样,因此你可以使用 ...
python排大小函数_python numpy 一些函数大小排序和统计
排序大小函数 import numpy as np size = 100 a = np.random.randint(0, 1000, size=size) print(a) # 排序之后的前k个元素 ...
用python实现分段函数_python：集成分段函数
我想把一个定义好的函数分段积分,这个函数乘以勒让德多项式. 不幸的是,我找不到如何在documentation中使用x的第n个勒让德多项式.当n = 1,..., 50时,我要对x的每个Legendr ...

python计算ex函数_python – numpy：计算softmax函数的导数

python计算ex函数_python – numpy：计算softmax函数的导数相关推荐

最新文章

热门文章