DL之NN/CNN：NN算法进阶优化(本地数据集50000张训练集图片)，六种不同优化算法实现手写数字图片识别逐步提高99.6%准确率
DL之NN/CNN：NN算法进阶优化(本地数据集50000张训练集图片)，六种不同优化算法实现手写数字图片识别逐步提高99.6%准确率
目录
设计思路
设计代码
设计思路
设计代码
import mnist_loader
from network3 import Network
from network3 import ConvPoolLayer, FullyConnectedLayer, SoftmaxLayer training_data, validation_data, test_data = mnist_loader.load_data_wrapper()
mini_batch_size = 10 #NN算法：sigmoid函数；准确率97%
net = Network([ FullyConnectedLayer(n_in=784, n_out=100), SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)
net.SGD(training_data, 60, mini_batch_size, 0.1, validation_data, test_data) #CNN算法：1层Convolution+sigmoid函数；准确率98.78%
net = Network([ ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28), filter_shape=(20, 1, 5, 5), poolsize=(2, 2)), FullyConnectedLayer(n_in=20*12*12, n_out=100), SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size) #CNN算法：2层Convolution+sigmoid函数；准确率99.06%。层数过多并不会使准确率大幅度提高，有可能overfit，合适的层数需要通过实验验证出来，并不是越多越好
net = Network([ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28), filter_shape=(20, 1, 5, 5), poolsize=(2, 2)),ConvPoolLayer(image_shape=(mini_batch_size, 20, 12, 12), filter_shape=(40, 20, 5, 5), poolsize=(2, 2)),FullyConnectedLayer(n_in=40*4*4, n_out=100),SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)#CNN算法：用Rectified Linear Units即f(z) = max(0, z)，代替sigmoid函数；准确率99.23%
net = Network([ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28), filter_shape=(20, 1, 5, 5), poolsize=(2, 2), activation_fn=ReLU), #激活函数采用ReLU函数ConvPoolLayer(image_shape=(mini_batch_size, 20, 12, 12), filter_shape=(40, 20, 5, 5), poolsize=(2, 2), activation_fn=ReLU),FullyConnectedLayer(n_in=40*4*4, n_out=100, activation_fn=ReLU),SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)#CNN算法：用ReLU函数+增大训练集25万(原先50000*5，只需将每个像素向上下左右移动一个像素)；准确率99.37%
$ python expand_mnist.py #将图片像素向上下左右移动
expanded_training_data, _, _ = network3.load_data_shared("../data/mnist_expanded.pkl.gz")
net = Network([ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28), filter_shape=(20, 1, 5, 5), poolsize=(2, 2), activation_fn=ReLU),ConvPoolLayer(image_shape=(mini_batch_size, 20, 12, 12), filter_shape=(40, 20, 5, 5), poolsize=(2, 2), activation_fn=ReLU),FullyConnectedLayer(n_in=40*4*4, n_out=100, activation_fn=ReLU),SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)
net.SGD(expanded_training_data, 60, mini_batch_size, 0.03,validation_data, test_data, lmbda=0.1)#CNN算法：用ReLU函数+增大训练集25万+dropout(随机选取一半神经元)用在最后的FullyConnected层；准确率99.60%
expanded_training_data, _, _ = network3.load_data_shared("../data/mnist_expanded.pkl.gz")
net = Network([ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28), filter_shape=(20, 1, 5, 5), poolsize=(2, 2), activation_fn=ReLU),ConvPoolLayer(image_shape=(mini_batch_size, 20, 12, 12), filter_shape=(40, 20, 5, 5), poolsize=(2, 2), activation_fn=ReLU),FullyConnectedLayer(n_in=40*4*4, n_out=1000, activation_fn=ReLU, p_dropout=0.5),FullyConnectedLayer(n_in=1000, n_out=1000, activation_fn=ReLU, p_dropout=0.5),SoftmaxLayer(n_in=1000, n_out=10, p_dropout=0.5)], mini_batch_size)
net.SGD(expanded_training_data, 40, mini_batch_size, 0.03,validation_data, test_data)相关文章
DL之NN/CNN：NN算法进阶优化(本地数据集50000张训练集图片)，六种不同优化算法实现手写数字识别逐步提高，应用案例自动驾驶之识别周围车牌号
DL之NN/CNN：NN算法进阶优化(本地数据集50000张训练集图片)，六种不同优化算法实现手写数字图片识别逐步提高99.6%准确率相关推荐
- DL之NN：NN算法(本地数据集50000张训练集图片)进阶优化之三种参数改进，进一步提高手写数字图片识别的准确率
DL之NN:NN算法(本地数据集50000张训练集图片)进阶优化之三种参数改进,进一步提高手写数字图片识别的准确率 导读 上一篇文章,比较了三种算法实现对手写数字识别,其中,SVM和神经网络算法表现非 ...
- DL之NN/Average_Darkness/SVM：手写数字图片识别(本地数据集50000训练集+数据集加4倍)比较3种算法Average_Darkness、SVM、NN各自的准确率
DL之NN/Average_Darkness/SVM:手写数字图片识别(本地数据集50000训练集+数据集加4倍)比较3种算法Average_Darkness.SVM.NN各自的准确率 目录 数据集下 ...
- DL之CNN：利用卷积神经网络算法(2→2,基于Keras的API-Functional)利用MNIST(手写数字图片识别)数据集实现多分类预测
DL之CNN:利用卷积神经网络算法(2→2,基于Keras的API-Functional)利用MNIST(手写数字图片识别)数据集实现多分类预测 目录 输出结果 设计思路 核心代码 输出结果 下边两张 ...
- DL之CNN：利用卷积神经网络算法(2→2,基于Keras的API-Sequential)利用MNIST(手写数字图片识别)数据集实现多分类预测
DL之CNN:利用卷积神经网络算法(2→2,基于Keras的API-Sequential)利用MNIST(手写数字图片识别)数据集实现多分类预测 目录 输出结果 设计思路 核心代码 输出结果 1.10 ...
- DL之DNN：利用DNN【784→50→100→10】算法对MNIST手写数字图片识别数据集进行预测、模型优化
DL之DNN:利用DNN[784→50→100→10]算法对MNIST手写数字图片识别数据集进行预测.模型优化 导读 目的是建立三层神经网络,进一步理解DNN内部的运作机制 目录 输出结果 设计思路 ...
- DL之LiRDNNCNN：利用LiR、DNN、CNN算法对MNIST手写数字图片(csv)识别数据集实现(10)分类预测
DL之LiR&DNN&CNN:利用LiR.DNN.CNN算法对MNIST手写数字图片(csv)识别数据集实现(10)分类预测 目录 输出结果 设计思路 核心代码 输出结果 数据集:Da ...
- TF之NN：利用DNN算法(SGD+softmax+cross_entropy)对mnist手写数字图片识别训练集(TF自带函数下载)实现87.4%识别
TF之NN:利用DNN算法(SGD+softmax+cross_entropy)对mnist手写数字图片识别训练集(TF自带函数下载)实现87.4%识别 目录 输出结果 代码设计 输出结果 代码设计 ...
- DL之NN：基于(sklearn自带手写数字图片识别数据集)+自定义NN类(三层64→100→10)实现97.5%准确率
DL之NN:基于(sklearn自带手写数字图片识别数据集)+自定义NN类(三层64→100→10)实现97.5%准确率 目录 输出结果 核心代码 输出结果 核心代码 #DL之NN:基于sklearn ...
- DL之NN：利用(本地数据集50000张数据集)调用自定义神经网络network.py实现手写数字图片识别94%准确率
DL之NN:利用(本地数据集50000张数据集)调用自定义神经网络network.py实现手写数字图片识别94%准确率 目录 输出结果 代码设计 输出结果 更新-- 代码设计 import mnist ...
最新文章
- 科大星云诗社动态20210312
- 11.2.7 练习题
- JAVA中的方法和构造方法有什么区别
- java（5）---Java基础知识大全
- 使用脚本控制网页Table的显示隐藏(全代码)_AX
- C#winfrom播放音乐
- OWASP Hakcing Lab在线漏洞环境
- android生成错误日志文件,android Crash日志写入文件
- 远程计算机无法操作,win7系统的QQ远程协助无法控制计算机的问题的解决方法
- 咸鱼CAD笔记—CAD快捷键
- 教师语言表达-语言互动
- AlertManager实现企业微信报警（十三）
- 化工园区危化品企业安全风险智能化管控平台建设四大目标
- windows串口调试linux工具,推荐一款好用的串口调试软件PuTTY
- nvidia驱动卸载与安装
- socket error 10053,10054究竟是怎么引起的
- iOS仿抖音点赞动画、波浪图、主张图、3D旋转、图片处理、播放器等源码
- 【笔记】拜占庭将军问题与共识算法
- 使用普通账户安装 Redis 服务
- diff 比较两个文件夹下各个文件的内容（差别）