这次用于实验隐藏层节点数对网络性能的影响，训练集用的是mnist的训练集的0和1，测试集用的mnist的测试集的0和1，学习率固定位0.1，batchsize=20，训练集不加噪音。得到的数据

网络结构	81*1*2	81*2*2	81*5*2	81*10*2	81*20*2	81*60*2	81*100*2	81*200*2
训练集	全样品集	全样品集	全样品集	全样品集	全样品集	全样品集	全样品集	全样品集
测试集	全测试集	全测试集	全测试集	全测试集	全测试集	全测试集	全测试集	全测试集
学习率	ret=0.1	ret=0.1	ret=0.1	ret=0.1	ret=0.1	ret=0.1	ret=0.1	ret=0.1
batchsize	z=20	z=20	z=20	z=20	z=20	z=20	z=20	z=20
*	it=10000	it=10000	it=10000	it=10000	it=10000	it=10000	it=10000	it=10000
平均值	0.890799	0.897682	0.885218	0.894702	0.888931	0.894205	0.898368	0.900473
标准差	0.025011	0.014667	0.020437	0.015017	0.030596	0.019669	0.019298	0.018502
最大值	0.910596	0.911069	0.901135	0.913434	0.913434	0.913907	0.912961	0.912961
训练集噪音比例	zx=0	zx=0	zx=0	zx=0	zx=0	zx=0	zx=0	zx=0
测试集噪音比例	zy=0	zy=0	zy=0	zy=0	zy=0	zy=0	zy=0	zy=0

得到结论隐藏层的节点数对网络性能没有太大影响，是多少不重要，甚至很让人意外的是即便隐藏层只有1个节点网络的性能也可能很好，虽然一个节点的隐藏层很容易过拟合，但是隐藏层节点少一点无疑会极大的加快速度，综合前两次实验，很显然一个好的网络就是一个大的batchsize和一个小的隐藏层节点数同时训练集不加噪音。

具体数据

81*1*2	0.805109	0	81*2*2	0.853832	0	81*5*2	0.885525	0	81*10*2	0.878903	0
全样品集	0.871334	1	全样品集	0.899243	1	全样品集	0.864711	1	全样品集	0.879376	1
全测试集	0.879376	2	全测试集	0.897824	2	全测试集	0.866604	2	全测试集	0.896405	2
ret=0.1	0.902081	3	ret=0.1	0.900189	3	ret=0.1	0.810785	3	ret=0.1	0.886471	3
z=20	0.880322	4	z=20	0.906339	4	z=20	0.901135	4	z=20	0.892148	4
it=10000	0.845317	5	it=10000	0.894513	5	it=10000	0.881741	5	it=10000	0.9035	5
average	0.892621	6	average	0.901135	6	average	0.89877	6	average	0.866604	6
0.890799	0.896878	7	0.897682	0.899243	7	0.885218	0.895459	7	0.894702	0.886471	7
stdevp	0.893567	8	stdevp	0.903974	8	stdevp	0.890728	8	stdevp	0.900189	8
0.025011	0.910596	9	0.014667	0.892148	9	0.020437	0.895459	9	0.015017	0.899243	9
max	0.899716	10	max	0.899716	10	max	0.883633	10	max	0.905866	10
0.910596	0.907285	11	0.911069	0.858562	11	0.901135	0.899716	11	0.913434	0.859981	11
*	0.894513	12	*	0.908231	12	*	0.890255	12	*	0.909177	12
zx=0	0.905866	13	zx=0	0.910596	13	zx=0	0.89404	13	zx=0	0.906339	13
zy=0	0.903027	14	zy=0	0.908231	14	zy=0	0.885998	14	zy=0	0.913434	14
*	0.902081	15	*	0.900189	15	*	0.866604	15	*	0.903027	15
*	0.900662	16	*	0.904447	16	*	0.900662	16	*	0.90492	16
*	0.90965	17	*	0.900189	17	*	0.896878	17	*	0.879849	17
*	0.907758	18	*	0.903974	18	*	0.89877	18	*	0.909177	18
*	0.908231	19	*	0.911069	19	*	0.896878	19	*	0.912961	19

81*20*2	0.83964	0	81*60*2	0.829234	0	81*100*2	0.885052	0	81*200*2	0.828288	0
全样品集	0.877956	1	全样品集	0.891202	1	全样品集	0.857616	1	全样品集	0.891675	1
全测试集	0.891675	2	全测试集	0.905393	2	全测试集	0.905393	2	全测试集	0.90965	2
ret=0.1	0.883633	3	ret=0.1	0.900662	3	ret=0.1	0.907758	3	ret=0.1	0.909177	3
z=20	0.894986	4	z=20	0.888363	4	z=20	0.904447	4	z=20	0.905393	4
it=10000	0.787133	5	it=10000	0.866604	5	it=10000	0.906812	5	it=10000	0.888363	5
average	0.901608	6	average	0.900189	6	average	0.908704	6	average	0.894513	6
0.888931	0.865184	7	0.894205	0.893567	7	0.898368	0.905393	7	0.900473	0.902081	7
stdevp	0.85667	8	stdevp	0.903974	8	stdevp	0.888363	8	stdevp	0.911542	8
0.030596	0.906339	9	0.019669	0.871334	9	0.019298	0.9035	9	0.018502	0.90492	9
max	0.909177	10	max	0.906339	10	max	0.888363	10	max	0.912488	10
0.913434	0.897824	11	0.913907	0.907285	11	0.912961	0.904447	11	0.912961	0.912961	11
*	0.912961	12	*	0.910596	12	*	0.910596	12	*	0.882214	12
zx=0	0.901135	13	zx=0	0.912488	13	zx=0	0.912488	13	zx=0	0.905393	13
zy=0	0.906812	14	zy=0	0.901135	14	zy=0	0.83491	14	zy=0	0.909177	14
*	0.911069	15	*	0.906339	15	*	0.905393	15	*	0.908704	15
*	0.906339	16	*	0.877483	16	*	0.912961	16	*	0.907758	16
*	0.912488	17	*	0.913907	17	*	0.906812	17	*	0.910123	17
*	0.902554	18	*	0.904447	18	*	0.908231	18	*	0.907758	18
*	0.913434	19	*	0.893567	19	*	0.910123	19	*	0.907285	19

深度学习DL调参隐藏层节点数对网络性能的影响相关推荐

1. 神经网络隐藏层节点数效率最优值

   本文通过调节神经网络隐藏层节点数观察隐藏层节点数对神经网络性能的影响,并通过实验找到隐藏层节点数的收敛效率最优值. 首先构造一个二分类网络区分minst数据集的0和2,实验将28*28的图片缩小到9* ...

2. 平均分辨准确率对网络隐藏层节点数的非线性变化关系03

   (0,3)-81*n*2-(1,0)(0,1) 制作一个二分类的网络分类mnist的0和3,收敛标准1e-6,收敛次数是1999次,隐藏层节点数从3到1000共实验了79组值.统计每次收敛的迭代次数, ...

3. 【深度学习】知乎高赞：深度学习如何调参？

   深度学习如何调参?看看高赞的回答: 高赞回答一 作者:Towser 链接:https://www.zhihu.com/question/41631631/answer/862075836 总结一下我遇 ...

4. 由隐藏层节点数引起的网络准确率的不规则变化02

   (0,2)-81*n*2-(1,0)(0,1) 做一个分类mnist 0,2的二分类三层网络,隐藏层节点数由3-1000共实验了59组值.固定收敛标准δ=1e-6,每组值迭代1999次,统计平均分类准 ...

5. 隐藏层节点数对迭代次数分布规律的影响

   制作一个二分类网络 (mnist 0 ,2)-81*n*2-(1,0)(0,1) 让n分别等于3,5,10,20,30,40,50,60,70,80,90,100,100,110,120,130, 让 ...

6. 计算神经网络隐藏层节点数极小值

   神经网络的隐藏层的节点数越少网络的速度越快,那么神经网络的隐藏层的节点数是否有一个可以保证性能的极小值,本文用mnist数据集做了实验. 首先制作一个784*n*2的神经网络,用于测试0-9中的任意两 ...

7. 神经网络调参训练集噪音比例对网络性能的影响

   这次用于实验训练集噪音比例对网络性能的影响,网络结构81*60*2,训练集用的是mnist的训练集的0和1,测试集用的mnist的测试集的0和1,学习率固定位0.1,batchsize=20,试验了训 ...

8. 一文整理深度学习【调参小技巧】

   调参小技巧 一.训练加速篇 1.1. 数据加载加速 1.1.1. 数据转为npy或npz格式加速 1.1.2. 多核并行多进程图像读取 1.1.3. numba代替CPython编译 1.2. 分布式 ...

9. 深度学习自动调参工具，NNI使用

   向AI转型的程序员都关注了这个号

最新文章

1. linux下挂载nas存储异常处理
2. CDQ 分治解决和点对有关的问题
3. 你的公司内卷化了吗？
4. iNeuOS工业互联操作系统，图表与数据点组合成新组件，进行项目复用
5. 批量删除HTML链接软件,3种方法教你一次性删除word文档中的所有超链接
6. android gps 案例_GPS学习要点10
7. MyBatis 配置sql语句输出
8. SpringCloud项目：实现推送消息到RabbitMQ消息中间件
9. PMOS做固态继电器，PMOS做高侧双向开关电路，PMOS防电流倒灌电路，PMOS电源防反接电路
10. Python 使用Protobuf(struct模块)
11. Android布局(4)--相对布局(RelativeLayout)
12. 三级数据库考mysql_计算机三级MySQL数据库试题及答案
13. 创业者如何吸引风险投资商
14. ❤️❤️❤️Unity废柴看过来，手把手教你做植物大战僵尸（十四）—— 游戏胜利和失败界面
15. 解决tomcat在pycharm中的初始化报错“ Failed to transfer file”“could not create folder”“(Permission denied)”
16. 遇到问题--python-- pandas--常见问题积累
17. 七年级 电子计算机 教材分析,七年级信息技术教学计划表
18. WIFI P2P原理深入解析
19. 楼天成男人8题（树的分治-POJ1741）
20. qiankun框架: vue2 主应用访问子应用报错 [import-html-entry]:error occurs 或 died in status LOADING_SOURCE_CODE

热门文章

1. 正则表达式的匹配模式
2. 现在c++链接oracle,C++ 连接Oracle
3. mailmessage html编码,C＃MailMessage顯示HTML標記的AlternateViews
4. 数据结构(python)
5. vue中的computed 与 watch
6. 微信小微商户获取申请状态
7. mingw编译boost_1_66_0
8. 关于定位的一些知识：
9. 关于对象、构造函数、原型、原型链、继承
10. linux下听MP3