DL之NN：NN算法(本地数据集50000张训练集图片)进阶优化之三种参数改进，进一步提高手写数字图片识别的准确率

导读
上一篇文章，比较了三种算法实现对手写数字识别，其中，SVM和神经网络算法表现非常好准确率都在90%以上，本文章进一步探讨对神经网络算法优化，进一步提高准确率，通过测试发现，准确率提高了很多。

相关文章
CNN：人工智能之神经网络算法进阶优化，六种不同优化算法实现手写数字识别逐步提高，应用案例自动驾驶之捕捉并识别周围车牌号

思路设计

首先，改变之一：

先在初始化权重的部分，采取一种更为好的随机初始化方法，我们依旧保持正态分布的均值不变，只对标准差进行改动，

初始化权重改变前，

 def large_weight_initializer(self):  self.biases = [np.random.randn(y, 1) for y in self.sizes[1:]]self.weights = [np.random.randn(y, x)  for x, y in zip(self.sizes[:-1], self.sizes[1:])]

初始化权重改变后，

    def default_weight_initializer(self): self.biases = [np.random.randn(y, 1) for y in self.sizes[1:]]self.weights = [np.random.randn(y, x)/np.sqrt(x)  for x, y in zip(self.sizes[:-1], self.sizes[1:])]

改变之二：

为了减少Overfitting，降低数据局部噪音影响，将原先的目标函数由 quadratic cost 改为 cross-enrtopy cost

class CrossEntropyCost(object): def fn(a, y):return np.sum(np.nan_to_num(-y*np.log(a)-(1-y)*np.log(1-a)))def delta(z, a, y):return (a-y)

改变之三：

将S函数改为Softmax函数

class SoftmaxLayer(object):def __init__(self, n_in, n_out, p_dropout=0.0):self.n_in = n_inself.n_out = n_outself.p_dropout = p_dropoutself.w = theano.shared(np.zeros((n_in, n_out), dtype=theano.config.floatX),name='w', borrow=True)self.b = theano.shared(np.zeros((n_out,), dtype=theano.config.floatX),name='b', borrow=True)self.params = [self.w, self.b]def set_inpt(self, inpt, inpt_dropout, mini_batch_size):self.inpt = inpt.reshape((mini_batch_size, self.n_in))self.output = softmax((1-self.p_dropout)*T.dot(self.inpt, self.w) + self.b)self.y_out = T.argmax(self.output, axis=1)self.inpt_dropout = dropout_layer(inpt_dropout.reshape((mini_batch_size, self.n_in)), self.p_dropout)self.output_dropout = softmax(T.dot(self.inpt_dropout, self.w) + self.b)def cost(self, net):"Return the log-likelihood cost."return -T.mean(T.log(self.output_dropout)[T.arange(net.y.shape[0]), net.y])def accuracy(self, y):"Return the accuracy for the mini-batch."return T.mean(T.eq(y, self.y_out))

DL之NN：NN算法(本地数据集50000张训练集图片)进阶优化之三种参数改进，进一步提高手写数字图片识别的准确率相关推荐

DL之NN/CNN：NN算法进阶优化(本地数据集50000张训练集图片)，六种不同优化算法实现手写数字图片识别逐步提高99.6%准确率
DL之NN/CNN:NN算法进阶优化(本地数据集50000张训练集图片),六种不同优化算法实现手写数字图片识别逐步提高99.6%准确率目录设计思路设计代码设计思路设计代码 import mn ...
DL之NN：利用(本地数据集50000张数据集)调用自定义神经网络network.py实现手写数字图片识别94%准确率
DL之NN:利用(本地数据集50000张数据集)调用自定义神经网络network.py实现手写数字图片识别94%准确率目录输出结果代码设计输出结果更新-- 代码设计 import mnist ...
DL之NN/Average_Darkness/SVM：手写数字图片识别(本地数据集50000训练集+数据集加4倍)比较3种算法Average_Darkness、SVM、NN各自的准确率
DL之NN/Average_Darkness/SVM:手写数字图片识别(本地数据集50000训练集+数据集加4倍)比较3种算法Average_Darkness.SVM.NN各自的准确率目录数据集下 ...
DL之NN：基于(sklearn自带手写数字图片识别数据集)+自定义NN类(三层64→100→10)实现97.5%准确率
DL之NN:基于(sklearn自带手写数字图片识别数据集)+自定义NN类(三层64→100→10)实现97.5%准确率目录输出结果核心代码输出结果核心代码 #DL之NN:基于sklearn ...
DL之DNN：利用DNN算法对mnist手写数字图片识别数据集(sklearn自带,1797*64)训练、预测(95%)
DL之DNN:利用DNN算法对mnist手写数字图片识别数据集(sklearn自带,1797*64)训练.预测(95%) 目录数据集展示输出结果设计代码数据集展示先查看sklearn自带di ...
DL之CNN：利用卷积神经网络算法(2→2,基于Keras的API-Functional)利用MNIST(手写数字图片识别)数据集实现多分类预测
DL之CNN:利用卷积神经网络算法(2→2,基于Keras的API-Functional)利用MNIST(手写数字图片识别)数据集实现多分类预测目录输出结果设计思路核心代码输出结果下边两张 ...
DL之CNN：利用卷积神经网络算法(2→2,基于Keras的API-Sequential)利用MNIST(手写数字图片识别)数据集实现多分类预测
DL之CNN:利用卷积神经网络算法(2→2,基于Keras的API-Sequential)利用MNIST(手写数字图片识别)数据集实现多分类预测目录输出结果设计思路核心代码输出结果 1.10 ...
DL之DNN：利用DNN【784→50→100→10】算法对MNIST手写数字图片识别数据集进行预测、模型优化
DL之DNN:利用DNN[784→50→100→10]算法对MNIST手写数字图片识别数据集进行预测.模型优化导读目的是建立三层神经网络,进一步理解DNN内部的运作机制目录输出结果设计思路 ...
DL之LiRDNNCNN：利用LiR、DNN、CNN算法对MNIST手写数字图片(csv)识别数据集实现(10)分类预测
DL之LiR&DNN&CNN:利用LiR.DNN.CNN算法对MNIST手写数字图片(csv)识别数据集实现(10)分类预测目录输出结果设计思路核心代码输出结果数据集:Da ...

DL之NN：NN算法(本地数据集50000张训练集图片)进阶优化之三种参数改进，进一步提高手写数字图片识别的准确率

思路设计

DL之NN：NN算法(本地数据集50000张训练集图片)进阶优化之三种参数改进，进一步提高手写数字图片识别的准确率相关推荐

最新文章

热门文章