平均分辨准确率对网络隐藏层节点数的非线性变化关系03

（0，3）-81*n*2-(1,0)(0,1)

制作一个二分类的网络分类mnist的0和3，收敛标准1e-6,收敛次数是1999次，隐藏层节点数从3到1000共实验了79组值。统计每次收敛的迭代次数，观察分辨准确率和迭代次数对同一收敛标准的对应规律。

隐藏层节点数	迭代次数的均值	平均分类准确率	δ	耗时ms/次	最大峰值占比%	不同峰值数量
3	225528.8639	0.99216191	1E-06	1017.794397	3.2	920
4	180492.6073	0.992873572	1E-06	874.8694347	1	977
5	153176.2796	0.993332093	1E-06	849.8394197	2.5	701
6	140841.2446	0.993333601	1E-06	823.3416708	2.9	505
7	132496.8744	0.993346673	1E-06	850.7328664	3.7	376
8	127019.8734	0.993389157	1E-06	890.1555778	6	292
9	121743.1321	0.993315502	1E-06	855.1110555	6.4	245
10	117795.6293	0.99328609	1E-06	869.6633317	5.6	205
20	91179.56428	0.992468345	1E-06	1202.25913	14.3	87
30	71645.70185	0.990856735	1E-06	1283.252626	34.9	47
40	52466.62381	0.98786001	1E-06	1286.266133	40.5	21
50	28288.04652	0.985970372	1E-06	844.4602301	35.3	10
60	14117.54027	0.984868816	1E-06	533.1965983	53.1	7
70	10979.98449	0.985028192	1E-06	445.3021511	62	6
80	10638.81541	0.984156903	1E-06	524.6763382	69.6	8
90	9757.722361	0.982007335	1E-06	570.4182091	29.2	7
100	8878.603802	0.977207951	1E-06	648.2546273	90.6	7
110	7560.581791	0.970227073	1E-06	551.4747374	50.2	7
120	6046.066533	0.961413621	1E-06	571.1925963	89.1	3
130	5021.085543	0.970240899	1E-06	508.1095548	53.1	3
140	4089.464732	0.980966865	1E-06	427.3106553	91.8	3
150	3914.265133	0.982963341	1E-06	450.4702351	99.2	3
160	3897	0.983089283	1E-06	538.0455228	100	1
200	3871.009005	0.977139575	1E-06	639.2601301	93.1	4
210	3696.18009	0.974980204	1E-06	671.5392696	72.3	6
215	3286.678339	0.94333423	1E-06	641.4507254	38	4
220	2702.929465	0.853601172	1E-06	567.7673837	86.5	4
240	2596	0.814743804	1E-06	601.4292146	100	1
260	2596	0.795055317	1E-06	640.7138569	100	1
280	2595.533267	0.783086015	1E-06	722.8294147	99.9	2
290	2566.129065	0.782319803	1E-06	765.3481741	96.8	2
295	2482.834417	0.797667929	1E-06	762.1890945	87.4	4
300	2293.785393	0.837000661	1E-06	730.7393697	66	5
301	2244.909955	0.847812097	1E-06	655.6713357	60.3	4
302	2177.41921	0.864338451	1E-06	677.3711856	51.4	6
305	2022.012006	0.899884113	1E-06	695.0115058	57.8	5
310	1803.558779	0.944903105	1E-06	659.4802401	81.1	6
320	1673.505253	0.96343071	1E-06	611.7878939	98.2	5
340	1663	0.962203715	1E-06	685.9094547	100	1
360	1663	0.960327903	1E-06	733.4092046	100	1
380	1663	0.958766821	1E-06	717.7158579	100	1
400	1663	0.957284421	1E-06	859.5852926	100	1
420	1662.861931	0.955882967	1E-06	817.0575288	99.9	2
440	1646.682341	0.951288207	1E-06	834.7243622	93.9	3
460	1472.213607	0.915313938	1E-06	897.7098549	68.3	5
480	1389.0005	0.89510509	1E-06	824.6728364	83.7	5
500	1385.537269	0.880267772	1E-06	932.2776388	100	1
520	1378.798899	0.854598153	1E-06	778.1770885	79.2	3
540	1353.688344	0.779361037	1E-06	839.8534267	97.8	2
560	1352.927464	0.767775345	1E-06	756.9969985	99.9	2
580	1346.689345	0.766967906	1E-06	854.7538769	95.6	2
590	1332.218609	0.784895966	1E-06	824.3956978	85.8	3
595	1315.088044	0.810554775	1E-06	887.1685843	74.1	3
600	1297.293647	0.833875983	1.00E-06	864.6323162	62.6	3
610	1251.265133	0.884327842	1E-06	799.5957979	58	3
620	1202.116558	0.909436879	1E-06	847.2341171	67.3	3
630	1148.246623	0.891357236	1E-06	868.3021511	56.9	3
640	1102.215608	0.847185402	1E-06	830.2316158	62.9	5
650	1062.614307	0.797253149	1E-06	859.0775388	85.6	5
660	1042.4007	0.755573515	1E-06	810.5287644	88.6	5
670	1018.533767	0.671164728	1E-06	832.953977	65.4	4
680	993.12006	0.563521208	1E-06	856.5077539	74.2	3
690	978.7268634	0.510132453	1E-06	848.3081541	94.9	3
700	968.6573287	0.512699314	1E-06	877.2486243	96	3
720	920.2506253	0.606602045	1E-06	815.4517259	74.1	2
740	850.9024512	0.746866901	1E-06	827.106053	57.6	2
760	792.8514257	0.86296314	1E-06	873.7658829	83.1	4
780	604.5072536	0.741864148	1E-06	758.8714357	55.1	4
800	405.188094	0.516227209	1E-06	690.7433717	95.1	2
820	387	0.493433651	1E-06	728.7133567	100	1
840	387	0.493246623	1E-06	749.058029	100	1
860	387	0.493043758	1E-06	766.5687844	100	1
880	386.877939	0.492933401	1E-06	820.8094047	99.9	2
900	379.066033	0.492794136	1E-06	797.971986	93.5	2
920	349.4052026	0.492643055	1E-06	743.5397699	69.2	2
940	303.2661331	0.492528676	1E-06	793.4982491	68.6	2
960	275.1310655	0.492479908	1E-06	792.1855928	91.7	2
980	266.5837919	0.492474378	1E-06	800.042021	98.5	3
1000	264.821911	0.492487953	1E-06	819.8394197	98.8	3

一个很意外的发现，网络的平均分辨准确率随着隐藏层节点数n的增加并不是简单的线性变化的，在3-1000这个区段至少发现了5个精细结构

分别是n=100，290，580，690.在这个4个节点数分辨准确率对隐藏层节点数有明确的拐点，也就表明隐藏层节点数对网络的分辨准确率不存在简单的线性关系。当n=6时pave=0.993389156890011是最大值，也就是在3-1000这个区段上至少有1个峰，4个谷。

峰值占比

当n=6时网络pave取得最大值，这个网络收敛了1999次产生了505个不同的峰值，其中最大峰136347也只不过占了总数的2.9%，综合所有实验数据表明pave比较大的网络峰值占比都显著的比较低.

峰值占比低于10的网络的pave都显著的更高。当n>800以后峰值占比接近100，也就是只有一个特征主峰。这时的pave约为0.5.如果不同的峰值越多表明网络的不同特征越多，则这个实验表明随着n的增加网络的特征反而降低了。或者说隐藏层节点数越小网络可以表现出越多的特征，不同的特征越多越有利分类。

不同峰值数量

当n=4时不同峰值数量为977是实验的79组数据中不同峰值数量最大的。

特别是当n大于10以后不同峰值数量就已经下降到个位数。表明网络随着n的增加正变得更加特征单一，而单一的特征却不利于分类。

观察不同峰值数量表格

隐藏层节点数 n	峰值占比%	不同峰值数量	1/n^2	不同峰值数量/(1/n^2)
3	3.2	920
4	1	977	0.0625	15632
5	2.5	701	0.04	17525
6	2.9	505	0.027778	18180
7	3.7	376	0.020408	18424
8	6	292	0.015625	18688
9	6.4	245	0.012346	19845
10	5.6	205	0.01	20500
20	14.3	87	0.0025	34800
30	34.9	47	0.001111	42300
40	40.5	21	0.000625	33600
50	35.3	10	0.0004	25000
60	53.1	7	0.000278	25200
70	62	6	0.000204	29400
80	69.6	8	0.000156	51200
90	29.2	7	0.000123	56700
100	90.6	7	0.0001	70000
110	50.2	7	8.26E-05	84700
120	89.1	3	6.94E-05	43200
130	53.1	3	5.92E-05	50700
140	91.8	3	5.1E-05	58800

可以非常明确的观察到不同峰值数量与1/n^2有非常明显的对应关系。

由此可以假设一个关系式

num是不同峰值数量

C03是mnist的0和3之间的特征差异总量

假设C03是一个定值，而将一次收敛理解成是一次跃迁，有n*n种可能的跃迁路径也就是能级，如n=4则共有4*4个能级，这个假设可以解释特征峰数量随着n的增加而减小的现象。

平均分辨准确率对网络隐藏层节点数的非线性变化关系03相关推荐

由隐藏层节点数引起的网络准确率的不规则变化02
(0,2)-81*n*2-(1,0)(0,1) 做一个分类mnist 0,2的二分类三层网络,隐藏层节点数由3-1000共实验了59组值.固定收敛标准δ=1e-6,每组值迭代1999次,统计平均分类准 ...
深度学习DL调参隐藏层节点数对网络性能的影响
这次用于实验隐藏层节点数对网络性能的影响,训练集用的是mnist的训练集的0和1,测试集用的mnist的测试集的0和1,学习率固定位0.1,batchsize=20,训练集不加噪音.得到的数据网络结 ...
隐藏层节点数对迭代次数分布规律的影响
制作一个二分类网络 (mnist 0 ,2)-81*n*2-(1,0)(0,1) 让n分别等于3,5,10,20,30,40,50,60,70,80,90,100,100,110,120,130, 让 ...
神经网络隐藏层节点数效率最优值
本文通过调节神经网络隐藏层节点数观察隐藏层节点数对神经网络性能的影响,并通过实验找到隐藏层节点数的收敛效率最优值. 首先构造一个二分类网络区分minst数据集的0和2,实验将28*28的图片缩小到9* ...
计算神经网络隐藏层节点数极小值
神经网络的隐藏层的节点数越少网络的速度越快,那么神经网络的隐藏层的节点数是否有一个可以保证性能的极小值,本文用mnist数据集做了实验. 首先制作一个784*n*2的神经网络,用于测试0-9中的任意两 ...
神经网络隐藏层节点个数
根据经验公式,逐步试验法确定隐层节点数.,逐步试验得到隐层节点数就是先设置一个初始值,然后在这个值的基础上逐渐增加,比较每次网络的预测性能,选择性能最好的对应的节点数作为隐含层神经元节点数. 在确定隐 ...
BP神经网络隐藏层单元数的选择--（1）
1. 参考文献1-08年,沈花玉等 1.1 简述隐含层单元的数目与问题的要求.输入.输出单元的数目都有直接关系,数目太少,所获取的信息太少,出现欠拟合.数目太多,增加训练时间,容易出现过拟合,泛化能 ...
BP神经网络隐含层节点数的确定
BP神经网络隐含层节点数的确定 (1)构造法首先运用三种确定隐含层层数的方法得到三个隐含层层数,找到最小值和最大值,然后从最小值开始逐个验证模型预测误差,直到达到最大值.最后选取模型误差最小的那个隐 ...
java 二叉树第n层节点数及层序遍历
层序遍历简化代码 import java.util.LinkedList;public class TreeBi {TreeBi leftTree;TreeBi rightTree;int data; ...

平均分辨准确率对网络隐藏层节点数的非线性变化关系03

平均分辨准确率对网络隐藏层节点数的非线性变化关系03相关推荐

最新文章

热门文章