mxnet基础到提高(15)--梯度与反向传播

#!/usr/bin/env python2
# -*- coding: utf-8 -*-
"""
Created on Fri Aug 10 16:13:29 2018@author: myhaspl
"""
from mxnet import nd
from mxnet import autograd
x = nd.array([[1, 2], [3, 4]])
x.attach_grad()#在ndarray里准备存储梯度
with autograd.record():#定义f(x)y=2*x*x
#反向传播backward()
y.backward()
#f'(x)=4*x
z=x.grad
print x
print z

[[1. 2.]
[3. 4.]]
<NDArray 2x2 @cpu(0)>

[[ 4. 8.]
[12. 16.]]
<NDArray 2x2 @cpu(0)>

######################

#!/usr/bin/env python2
# -*- coding: utf-8 -*-
"""
Created on Fri Aug 10 16:13:29 2018@author: myhaspl
"""
from mxnet import nd
from mxnet import autograddef f(x): b=xwhile b.norm().asscalar() < 100: #计算欧氏距离(norm)b=b*2#y=ax  ,a=2*2*.....*2print bif b.sum().asscalar() >= 0: y = b[0]else:y = b[1]return yx = nd.array([1,4])
x.attach_grad()#在ndarray里准备存储梯度
with autograd.record():#定义f(x)y=f(x)
#反向传播backward()
y.backward()
#f'(x)=a,y=ax
z=x.grad
print "======="
print [z,x,y,y/x]#a=y/x

[2. 8.]
<NDArray 2 @cpu(0)>

[ 4. 16.]
<NDArray 2 @cpu(0)>

[ 8. 32.]
<NDArray 2 @cpu(0)>

[16. 64.]
<NDArray 2 @cpu(0)>

[ 32. 128.]
<NDArray 2 @cpu(0)>

=======
[
[32. 0.]
<NDArray 2 @cpu(0)>,
[1. 4.]
<NDArray 2 @cpu(0)>,
[32.]
<NDArray 1 @cpu(0)>,
[32. 8.]
<NDArray 2 @cpu(0)>]

mxnet基础到提高(15)--梯度与反向传播相关推荐

mxnet基础到提高(6)--梯度,反馈与标准化（归一化）
1.attach_grad(grad_req='write', stype=None) 附加一个梯度缓存在NDArray上,这样,回退(反馈)能计算相应的梯度参数: grad_req ({'writ ...
深度学习（30）随机梯度下降七: 多层感知机梯度（反向传播算法）
深度学习(30)随机梯度下降八: 多层感知机梯度(反向传播算法) 1. 多层感知机模型 2. 多层感知机梯度 3. 传播规律小结 tens Recap Chain Rule Multi-output ...
mxnet基础到提高(38)-自动梯度计算
from mxnet import nd from mxnet import autograd import math x=nd.array([[10,20],[1,2]]) x.attach_gra ...
mxnet基础到提高(5)-－卷积神经网络基础(1)
通过nn.Sequential构造LeNet ,MXNet将自动构造向前函数,按顺序执行添加的LeNet 卷积神经网络是一种特殊的多层神经网络.与几乎所有其他神经网络一样,它们都经过了反向传播算法的训 ...
神经网络动物园-逻辑回归-激活函数-梯度下降-反向传播-链式法则
转载源自: [日更]子豪兄深度学习与神经网络系列教程_哔哩哔哩_bilibili 神经网络动物园链接: The Neural Network Zoo - The Asimov Institute 其中 ...
mxnet基础到提高(44)-ndarray.arange创建行向量
mxnet.ndarray.arange(start, stop=None, step=1.0, repeat=1, infer_range=None, ctx=None, dtype=<cla ...
mxnet基础到提高(51)-Activation激活函数
mxnet.ndarray.Activation(data=None, act_type=_Null, out=None, name=None, **kwargs) Applies an activa ...
mxnet基础到提高(49)-使用免费的云jupyter
强大而免费的GOOGLE 云jupyter notebook https://colab.research.google.com/notebooks/intro.ipynb#recent=true 什 ...
mxnet基础到提高(48)-ones和ones_like
返回全1元素矩阵 mxnet.ndarray.ones(shape, ctx=None, dtype=None, **kwargs)[source] Returns a new array fille ...

mxnet基础到提高(15)--梯度与反向传播

mxnet基础到提高(15)--梯度与反向传播相关推荐

最新文章

热门文章