DL之DNN优化技术：神经网络算法简介之数据训练优化【mini-batch技术+etc】

1、mini-batch技术

输出结果

实现代码

1、mini-batch技术

输出结果

实现代码

# coding: utf-8
#DL之mini-batch：理解深度学习算法中的优化技术【mini-batch技术+etc】import numpy as np
from DIY_module.mnist import load_mnist(x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, one_hot_label=True)
#设定参数one_hot_label=True，可以得到one-hot 表示（即仅正确解标签为1，其余为0 的数据结构）。print(x_train.shape) # (60000, 784)
print(t_train.shape) # (60000, 10)#从训练数据中随机抽取10笔数据，只需指定这些随机选出的索引，取出mini-batch，然后使用这个mini-batch 计算损失函数即可！
train_size = x_train.shape[0]
batch_size = 10
batch_mask = np.random.choice(train_size, batch_size)
#np.random.choice(60000, 10)会从0 到59999 之间随机选择10 个数字x_batch = x_train[batch_mask]
t_batch = t_train[batch_mask]#实现mini-batch版交叉熵误差
#同时处理单个数据和批量数据（数据作为batch集中输入）两种情况的函数。
def cross_entropy_error(y, t):if y.ndim == 1: #if判断y的维度为1 时，即求单个数据的交叉熵误差时，需要改变数据的形状t = t.reshape(1, t.size)y = y.reshape(1, y.size) #当输入为mini-batch 时，要用batch 的个数进行正规化，计算单个数据的平均交叉熵误差。batch_size = y.shape[0]return -np.sum(t * np.log(y + 1e-7)) / batch_size#当监督数据是标签形式（非one-hot 表示，而是像“2”“7”这样的标签）时，交叉熵误差可通过如下代码实现。
#(1)、实现的要点是，由于one-hot表示中t为0的元素的交叉熵误差也为0，因此针对这些元素的计算可以忽略。即如果可以获得神经网络在正确解标签处的输出，就可以计算交叉熵误差。
def cross_entropy_error(y, t):if y.ndim == 1:t = t.reshape(1, t.size)y = y.reshape(1, y.size)batch_size = y.shape[0]return -np.sum(np.log(y[np.arange(batch_size), t] + 1e-7)) / batch_size  #微小值1e-7#np.log(y[np.arange(batch_size),t]) #np.arange(batch_size)会生成一个从0到batch_size-1的数组
#y[np.arange(batch_size),t]  #会生成NumPy数组[y[0,2], y[1,7], y[2,0],y[3,9], y[4,4]])。

DL之DNN优化技术：神经网络算法简介之数据训练优化【mini-batch技术+etc】相关推荐

DL之CNN优化技术：卷积神经网络算法简介之特有的优化技术及其代码实现——im2col技术等技术
DL之CNN优化技术:卷积神经网络算法简介之特有的优化技术及其代码实现--im2col技术等技术目录 im2col技术 im2col简介 im2col代码实现 im2col技术 im2col简介 1 ...
DL框架之MXNet ：神经网络算法简介之MXNet 常见使用方法总结(神经网络DNN、CNN、RNN算法)之详细攻略(个人使用)
DL框架之MXNet :神经网络算法简介之MXNet 常见使用方法总结(神经网络DNN.CNN.RNN算法)之详细攻略(个人使用) 相关文章 DL框架之MXNet :深度学习框架之MXNet 的简介. ...
DL之CNN：卷积神经网络算法简介之原理简介——CNN网络的3D可视化(LeNet-5为例可视化)
DL之CNN:卷积神经网络算法简介之原理简介--CNN网络的3D可视化(LeNet-5为例可视化) CNN网络的3D可视化 3D可视化地址:http://scs.ryerson.ca/~aharley ...
DL之CNN：卷积神经网络算法简介之卷积矩阵、转置卷积(反卷积Transpose)、膨胀卷积(扩张卷积Dilated/带孔卷积atrous)之详细攻略
DL之CNN:卷积神经网络算法简介之卷积矩阵.转置卷积(反卷积Transpose).膨胀卷积(扩张卷积Dilated/带孔卷积atrous)之详细攻略目录卷积矩阵的简介卷积.转置卷积--Tran ...
DL之CNN：卷积神经网络算法简介之原理简介(步幅/填充/特征图)、七大层级结构(动态图详解卷积/池化+方块法理解卷积运算)、CNN各层作用及其可视化等之详细攻略
DL之CNN:卷积神经网络算法简介之原理简介(步幅/填充/特征图).七大层级结构(动态图详解卷积/池化+方块法理解卷积运算).CNN各层作用及其可视化等之详细攻略目录 CNN 的层级结构及相关概念 ...
DL之DNN优化技术：神经网络算法简介之GD/SGD算法(BP的梯度下降算法)的简介、理解、代码实现、SGD缺点及改进(Momentum/NAG/Ada系列/RMSProp)之详细攻略
DL之DNN优化技术:神经网络算法简介之GD/SGD算法(BP的梯度下降算法)的简介.理解.代码实现.SGD缺点及改进(Momentum/NAG/Ada系列/RMSProp)之详细攻略目录 GD算法 ...
DL之DNN优化技术：神经网络算法简介之GD/SGD算法的简介、代码实现、代码调参之详细攻略
DL之DNN优化技术:神经网络算法简介之GD/SGD算法的简介.代码实现.代码调参之详细攻略目录 GD算法的简介 GD/SGD算法的代码实现 1.Matlab编程实现 GD算法的改进算法 GD算法中 ...
DL之CNN：卷积神经网络算法应用之卷积神经网络实践技巧(DA/DP/WI/BN/H/O/R)、优化技术经验之详细攻略
DL之CNN:卷积神经网络算法应用之卷积神经网络实践技巧(DA/DP/WI/BN/Hyperparameter/Overfitting/Regularization).优化技术经验之详细攻略目录卷 ...
DL之DNN之BP：神经网络算法简介之BP算法/GD算法之不需要额外任何文字，只需要八张图讲清楚BP类神经网络的工作原理
DL之DNN之BP:神经网络算法简介之BP算法/GD算法之不需要额外任何文字,只需要八张图讲清楚BP类神经网络的工作原理目录 BP类神经网络理解 1.信号正向传播FP 2.误差反向传播BP+GD B ...

DL之DNN优化技术：神经网络算法简介之数据训练优化【mini-batch技术+etc】

1、mini-batch技术

输出结果

实现代码

DL之DNN优化技术：神经网络算法简介之数据训练优化【mini-batch技术+etc】相关推荐

最新文章

热门文章