计算神经网络隐藏层节点数极小值
神经网络的隐藏层的节点数越少网络的速度越快，那么神经网络的隐藏层的节点数是否有一个可以保证性能的极小值，本文用mnist数据集做了实验。
首先制作一个784*n*2的神经网络，用于测试0-9中的任意两个数的隐藏层的极小值。后经实验证明0-9中任意两个数的784*n*2的神经网络的隐藏层的极小值都是2，也就是说784*2*2的神经网络可以区分从0-9的任意两个数的组合。
比如这组数据，表明可以用784*2*2的网络来区分5和8,0.91是可以达到的准确率，统计方法是当准确率>0.98时停止，或者取几次计算得到的最大值，5-8这个结果0.91，表明mnist的5和8的图片看起来很像，相比较其他数字的组合特征要模糊一些。
由此很容易推算如果计算0,1,2三个数的784*n*3的神经网络的隐藏层的节点数的极小值一定是一个小于等于6的数，经实测这个数是4.说明0-1,0-2,1-2这几组神经网络的特征有重叠。
用实验数据去验证这个方法
测试集4，是0,1,2,3
比如制作一个784*2*4的神经网络用来区分mnist的0,1,2,3可能达到的最大值是53.07，当n=9时，准确率可以达到90.56，这个不是最大值，只是可以达到的值。或许有n<9的点也可以达到>90%的准确率。784*9*4只是可能的最小网络，是理论最小值的9/（4*3）*2/2 =75%，
同样784*n*5网络测得的隐藏层节点数的可能最小值是15，是理论值的75%。
用这种方法估算784*n*6的网络的隐藏层节点数的最小值应该小于等于30个，实测值是16个，是理论值的53%。
所以一个神经网络的任意两个测试元素的隐藏层的极小值的平均值是a，目标函数的数量是y个，那这个神经网络的隐藏层节点数的极小值是一个小于等于
y*（y-1）*a/2的值.
实验数据784*n*3，784*n*4，784*n*5，784*n*6的n的极小值
实验测量0-9中任意两组数据的784*n*2的神经网络的隐藏层的极小值
计算神经网络隐藏层节点数极小值相关推荐
- 神经网络隐藏层节点数效率最优值
本文通过调节神经网络隐藏层节点数观察隐藏层节点数对神经网络性能的影响,并通过实验找到隐藏层节点数的收敛效率最优值. 首先构造一个二分类网络区分minst数据集的0和2,实验将28*28的图片缩小到9* ...
- 隐藏层节点数对迭代次数分布规律的影响
制作一个二分类网络 (mnist 0 ,2)-81*n*2-(1,0)(0,1) 让n分别等于3,5,10,20,30,40,50,60,70,80,90,100,100,110,120,130, 让 ...
- 由隐藏层节点数引起的网络准确率的不规则变化02
(0,2)-81*n*2-(1,0)(0,1) 做一个分类mnist 0,2的二分类三层网络,隐藏层节点数由3-1000共实验了59组值.固定收敛标准δ=1e-6,每组值迭代1999次,统计平均分类准 ...
- 平均分辨准确率对网络隐藏层节点数的非线性变化关系03
(0,3)-81*n*2-(1,0)(0,1) 制作一个二分类的网络分类mnist的0和3,收敛标准1e-6,收敛次数是1999次,隐藏层节点数从3到1000共实验了79组值.统计每次收敛的迭代次数, ...
- 深度学习DL调参隐藏层节点数对网络性能的影响
这次用于实验隐藏层节点数对网络性能的影响,训练集用的是mnist的训练集的0和1,测试集用的mnist的测试集的0和1,学习率固定位0.1,batchsize=20,训练集不加噪音.得到的数据 网络结 ...
- BP神经网络隐含层节点数的确定
BP神经网络隐含层节点数的确定 (1)构造法 首先运用三种确定隐含层层数的方法得到三个隐含层层数,找到最小值和最大值,然后从最小值开始逐个验证模型预测误差,直到达到最大值.最后选取模型误差最小的那个隐 ...
- BP神经网络隐藏层单元数的选择--（1）
1. 参考文献1-08年,沈花玉等 1.1 简述 隐含层单元的数目与问题的要求.输入.输出单元的数目都有直接关系,数目太少,所获取的信息太少,出现欠拟合.数目太多,增加训练时间,容易出现过拟合,泛化能 ...
- 神经网络隐藏层节点个数
根据经验公式,逐步试验法确定隐层节点数.,逐步试验得到隐层节点数就是先设置一个初始值,然后在这个值的基础上逐渐增加,比较每次网络的预测性能,选择性能最好的对应的节点数作为隐含层神经元节点数. 在确定隐 ...
- BP神经网络隐藏层的作用,bp神经网络输出层函数
matlab bp神经网络只能输入一组预测一组吗 可以用前面很多数据建立网络后预测下几组数据吗 当然可以,这就是输入模式和输出模式的制定,可以自由设置,多输入多输出.但要注意如果预测多组,输入必须要提 ...
最新文章
- 【模板】树链剖分 P3384
- 在 Linux中find命令使用技巧
- 经常造轮子的 AI 工程师水平通常不会太差
- Struct2小结：
- unity打包模型存在的一个问题
- 三目运算法求一个大值，以及指定位数的应用，以及函数的声明，以及函数的嵌套，以及函数的递归，以及用递归法求阶乘
- ai背景合成_智能合成AI主播很危险，应立即取消！
- 《构建之法》8、9、10
- 数商云制药医药供应链erp管理系统解决方案
- 7.STC15W408AS单片机串口通信
- “拼多多”的假面人生
- 一元三次方程求解matlab_为什么一元n次代数方程必有n个根？
- 忽忽，抢楼机完成……
- 在Textview中获取指定文字位置（兼顾网址链接和emoji表情），并在其附近展示图片
- 空指针异常的原因分析
- 【美团秋招笔试】美团第一次笔试 2022-8-20
- SC系列 (SC-16S) 低频率小型SMD石英晶振 SC-16S 32.768KHZ 12.5PF/20PPM
- 【历史上的今天】11 月 5 日：初代安卓系统公开发布；诺基亚更名为微软 Lumia；开放手持设备联盟成立
- [蓝桥杯2020初赛] 成绩统计
- SSO单点退出的方案