mxnet基础到提高(38)-自动梯度计算

from mxnet import nd
from mxnet import autograd
import math
x=nd.array([[10,20],[1,2]])
x.attach_grad()#在ndarray里准备存储梯度
with autograd.record():c=nd.log(x)
#反向传播backward()
c.backward()
#f'(x)=1/x
z=x.grad
print(x)
print(z)

[[10. 20.]
[ 1. 2.]]
<NDArray 2x2 @cpu(0)>

[[0.1 0.05]
[1. 0.5 ]]
<NDArray 2x2 @cpu(0)>

from mxnet import nd
from mxnet import autograd
import math
x1=nd.array([[1,2],[3,4]])
x2=nd.array([[10,20],[30,40]])
x1.attach_grad()#在ndarray里准备存储梯度
x2.attach_grad()#在ndarray里准备存储梯度
def f(x): if x.sum()>20:y=3*x*xelse:y=nd.log(x)return y
with autograd.record():c1=f(x1)c2=f(x2)
#反向传播backward()
c1.backward()
c2.backward()
#f'(x)=1/x or f'(x)=3*2*x
z1=x1.grad
z2=x2.grad
print(x1)
print(z1)
print(x2)
print(z2)

[[1. 2.]
[3. 4.]]
<NDArray 2x2 @cpu(0)>

[[1. 0.5 ]
[0.33333334 0.25 ]]
<NDArray 2x2 @cpu(0)>

[[10. 20.]
[30. 40.]]
<NDArray 2x2 @cpu(0)>

[[ 60. 120.]
[180. 240.]]
<NDArray 2x2 @cpu(0)>

mxnet基础到提高(38)-自动梯度计算相关推荐

NNDL 实验五前馈神经网络（2）自动梯度计算优化问题
目录 4.3 自动梯度计算 1. 使用pytorch的预定义算子来重新实现二分类任务.(必做) 4.3.1 利用预定义算子重新实现前馈神经网络 4.3.2 完善Runner类 4.3.3 模型训练 4 ...
实验五前馈神经网络（2）自动梯度计算优化问题
一.自动梯度计算和预定义算子虽然我们能够通过模块化的方式比较好地对神经网络进行组装,但是每个模块的梯度计算过程仍然十分繁琐且容易出错.在深度学习框架中,已经封装了自动梯度计算的功能,我们只需要聚焦模 ...
神经网络与深度学习（五）前馈神经网络（2）自动梯度计算和优化问题
注:本次使用的数据集依旧是前两章的Moon1000数据集 from nndl.dataset import make_moons [详细代码见神经网络与深度学习(五)前馈神经网络(1)--二分类任 ...
NNDL实验五前馈神经网络（2）自动梯度计算优化问题
4.3 自动梯度计算虽然我们能够通过模块化的方式比较好地对神经网络进行组装,但是每个模块的梯度计算过程仍然十分繁琐且容易出错.在深度学习框架中,已经封装了自动梯度计算的功能,我们只需要聚焦模型架构, ...
mxnet基础到提高(15)--梯度与反向传播
#!/usr/bin/env python2 # -*- coding: utf-8 -*- """ Created on Fri Aug 10 16:13:29 201 ...
mxnet基础到提高(6)--梯度,反馈与标准化（归一化）
1.attach_grad(grad_req='write', stype=None) 附加一个梯度缓存在NDArray上,这样,回退(反馈)能计算相应的梯度参数: grad_req ({'writ ...
mxnet基础到提高(36)-单层神经网络
构造一个4个输出的单层网络, import mxnet.ndarray as nd from mxnet.gluon import nnlayer1=nn.Dense(4)#权重默认为平均分布的[-0 ...
mxnet基础到提高(11)--循环
mxnet.ndarray.contrib.foreach(body, data, init_states) 运行循环,在NDArrays在0维度上使用用户定义的计算这个操作这个操作符模拟了一个f ...
mxnet基础到提高(5)-－卷积神经网络基础(1)
通过nn.Sequential构造LeNet ,MXNet将自动构造向前函数,按顺序执行添加的LeNet 卷积神经网络是一种特殊的多层神经网络.与几乎所有其他神经网络一样,它们都经过了反向传播算法的训 ...

mxnet基础到提高(38)-自动梯度计算

mxnet基础到提高(38)-自动梯度计算相关推荐

最新文章

热门文章