神经网络训练集最少可以是多少个？

(mnist 0 ,2)---81*30*2---(1,0)(0,1)

用81*30*2的网络分类mnist的0和2。让训练集的数量n分别等于5000,4500,4000,3500,3000,2500,2000,1500,1000,500,400,300,200,100,50,40,30,20,10,5,4,3,2，共22个值。看看训练集的大小对分类结果到底有什么影响。

让收敛标准δ等于0.5到1e-5的25个值，每个值收敛199次，取平均值。因此共收敛了25*199*22次，首先比较迭代次数

	5000	4500	4000	3500	3000	2500	2000	1500	1000	500	400	300	200	100	50	40	30	20	10	5	4	3	2
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.5	8.5025126	8.6834171	9.5778894	9.4371859	7.8341709	9.6934673	9.8140704	8.8341709	9.7537688	10.095477	10.065327	9.4974874	9.0150754	8.4572864	10.482412	9.0251256	9.3417085	8.321608	8.6030151	9.5778894	8.6633166	8.1758794	7.9447236
0.4	211.40201	210.37688	212.00503	210.46231	212.63317	213.46231	211.74874	213.21106	213.30653	210.75377	211.64322	211.88442	212.9397	213.55276	227.33166	235.95477	211.8794	195.67337	174.76382	171.79397	150.35176	129.59296	118.9799
0.3	271.01508	271.75377	272.50251	269.72362	269.22613	268.26131	267.67839	268.72864	268.68844	270.77889	269.22111	267.52764	268.20603	281.98492	295.76382	294.37186	272.61809	249.99497	225.26131	217.75377	195.09045	167.88442	157.98492
0.2	325.13568	325.26131	325.52261	321.67839	324.00503	325.17085	325.0804	325.42211	325.43216	325.38693	325.78392	325.87437	328.44724	322.22111	349.41206	340.33166	324.15578	298.72362	271.43216	261.93467	233.53266	204.02513	195.34673
0.1	410.8593	410.97487	409.00503	410.27638	411.20101	411.34673	409.16583	411.29146	409.62814	410.60302	410.75879	410.36181	408.59296	397.97487	418.71357	420.41206	396.0804	366.27136	335.72362	330.03518	296.15578	262.67839	262.76382
0.01	688.45226	695.28643	693.63317	689.74372	688.12563	688.92462	686.01508	692.93467	688.88945	687.72362	685.58291	745.15578	651.65829	720.39196	790.16583	785.43719	799.26633	691.66834	670.41709	785.43216	724.11558	688.52764	890.45729
0.001	1435.1357	1435.3719	1435.201	1440.8643	1441.4623	1434.4824	1440.0101	1432.7688	1441.0553	1372.9447	1359.8392	1413.9849	1443.7588	1736.0101	1960.397	1815.5025	2019.0402	1686.5829	1910.7889	3384.2462	3165.5729	3392.8693	5421.1558
9.00E-04	1459.3266	1450.7739	1468.0905	1458.8442	1457.2563	1470.3518	1455.9296	1445.6884	1454.2211	1430.8844	1389.608	1450.3116	1468.3719	1820.4874	2014.6432	1913.0905	2106.3719	1744.2513	2038.8693	3644.6784	3416.3367	3675.3417	5947.9045
8.00E-04	1474.7739	1495.1457	1480.4523	1472.9146	1512.7688	1498.4221	1479.7387	1487.8392	1492.2312	1494.603	1444.0503	1502.7688	1522.6834	1928.2764	2115.6281	1992.995	2198.5779	1875.2965	2170.5678	3979.9095	3711.9045	4048.3266	6568.804
7.00E-04	1557.2563	1570.2211	1553.206	1561.4271	1545.005	1577.6583	1556	1545.8794	1556.5226	1577.5779	1537.0553	1560.7186	1608.9246	2056.5477	2240.6834	2128.3668	2295.397	1992.3518	2360.2462	4397.1508	4146.3769	4542.598	7411.608
6.00E-04	1742.1206	1725.6281	1732.7035	1713.0151	1718.4724	1696.7337	1694.7035	1762.8744	1697.3668	1656.5729	1646.2814	1646.2513	1741.7889	2170.3015	2367.4724	2263.5126	2439.3668	2148.1206	2561.6834	5037.7337	4643.9849	5188.4472	8466.9548
5.00E-04	1961.4472	2003.9598	1919.0955	2015.8894	1967.5678	1989.8693	1975.5276	1974.1307	2019.005	1741.9397	1780.8643	1751.2462	1858.5427	2375.7035	2552.4422	2439.3116	2615.4673	2381.7085	2918.7889	5764.6281	5407.3417	5969.9347	9980.6784
4.00E-04	2182.2111	2193.1256	2188.1206	2177.2362	2185.8995	2202.2814	2203.3769	2175.4874	2203.2764	1914.0201	1870.3819	1922.8945	1983.4271	2638.9598	2779.7789	2657.8442	2848.3417	2701.5578	3299.7739	6930.2412	6531.9648	7238.2764	12146.844
3.00E-04	2349.397	2365.7085	2347.1055	2334.2814	2349.1558	2342.8844	2349.809	2358.3518	2296.6533	2164.8643	1993.0452	2099.2563	2178.7538	2920.5578	3172.4121	2973.4271	3210.1106	3099.1005	3957.5427	8742.0452	8331.7839	9349.6533	15832.533
2.00E-04	2731.1457	2733.6784	2744.7035	2708.7035	2710.7337	2732.3216	2728.5126	2718.4724	2498.7638	2442.8342	2314.2211	2451.2462	2522.1407	3393.6784	3674.1608	3478.8442	3757.196	3898.1055	5219.3518	12351.271	11827.01	13288.427	22821.206
1.00E-04	3228.6935	3250.1809	3276.6533	3237.2261	3259.5779	3205.6181	3128.9447	3242.2814	3391.1055	3194.1508	2912.3216	3138.4523	3102.8543	4219.8392	4922.4472	4632.4171	5125.1809	5944.3266	8577.8442	22394.99	21686.98	24946.296	43436.141
9.00E-05	3358.2915	3326.8744	3366.3317	3375.3367	3367.4573	3343.4372	3330.9347	3476.9849	3506.593	3296.1709	3048.7638	3277.6683	3177.5377	4403.1256	5123.799	4878.5327	5354.3367	6259.9497	9137.0201	24672.975	23955.583	27614.417	47741.548
8.00E-05	3521.9698	3551.1759	3578.4121	3543.4774	3531.3065	3544.1206	3512.6834	3647.005	3581.0452	3399.598	3149.5176	3389.196	3287.4673	4554.3618	5447.5678	5158.5025	5615.3467	6859.7638	10056.377	27109.884	26445.668	30678.457	53467.683
7.00E-05	3729.4673	3740.1106	3751.6884	3720.4422	3728.593	3650.9246	3736.804	3816.392	3720.9548	3598.4623	3305.4975	3528.3216	3436.3116	4761.8894	5758.6985	5453.1558	6047.2513	7309.8191	10892.879	30726.698	29946.859	34728.467	60645.221
6.00E-05	3914.7538	3968.6432	3917.2563	3929.3668	3919.6884	3932.6834	3901.6884	4179.6482	3994.2211	3802.9146	3488.3317	3693.6985	3584.4925	4960.7337	6122.407	5816.1859	6527.1558	8279.3467	12253.643	35125.136	34565.025	40030.739	69679.583
5.00E-05	4198.8342	4177.9698	4215.9196	4147.9598	4163.2261	4167.0452	4220.8643	4471.206	4295.4271	4119.5578	3688.5226	3944.8744	3733.9196	5270.7437	6528.407	6223.6985	7145.8492	9307.0653	14100.136	41277.849	41131.583	48023.04	82621.377
4.00E-05	4530.1407	4611.2362	4602.402	4561.7186	4567.1357	4505.3467	4659.2965	5006.3719	4719.8291	4415.7789	3869.608	4218.4221	3981.8191	5719.8995	7258.2312	6933.598	8020.7739	10533.543	16602.588	49964.261	49754.824	57922.136	101854.19
3.00E-05	5094.4824	5060.1106	5054.5025	5015.5578	5106.3216	4995.9698	5403.407	5719.2462	5226.7236	4860.6332	4238.7035	4659.7889	4302.7136	6179.5779	8160.0302	7968.0101	9089.201	13021.302	20963.653	64935.221	63982.342	76814.055	133678.95
2.00E-05	6474.4322	6472.8643	6431.8894	6435.7889	6231.4271	5973.5678	6456.4623	7055.2261	6338.1206	5585.0653	4811.0653	5317.5176	4768.8844	7156.6432	10168.864	9704.9799	11167.347	17203.809	28678.688	94762.523	94579.935	112784.95	196678.68
1.00E-05	8638.3719	8853.1457	8095.7387	8804.1809	8577.8995	8696.2312	9096.5427	11118.04	8461.6583	7061.0151	5876.6633	6564.2613	5674.8141	9151.5678	14010.166	13193.216	16357.859	27801.749	49539.965	175852.4	180663.83	215775.98	381101.72

迭代次数的最大值出现在训练集n的数量等于2的时候，而迭代次数最小的值出现在约n=200的位置。

训练集n=5000到n=200的图。也就是迭代次数随着训练集n的数量的减小，是先减小后增大的。

再比较分类准确率的平均值pave

	5000	4500	4000	3500	3000	2500	2000	1500	1000	500	400	300	200	100	50	40	30	20	10	5	4	3	2
δ	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave
0.5	0.5192888	0.5285348	0.5225431	0.5110218	0.5205626	0.5269464	0.5150129	0.529359	0.5204577	0.5326708	0.5165015	0.5238219	0.5275857	0.5167088	0.5261022	0.5116312	0.5162068	0.5160669	0.5263744	0.5172308	0.5183722	0.5139565	0.5109294
0.4	0.874694	0.8783655	0.873665	0.8743843	0.8749063	0.8618365	0.8783905	0.8645414	0.8673237	0.8849141	0.8682703	0.8716045	0.8712724	0.8914178	0.8951492	0.9167932	0.8807532	0.8607401	0.7406915	0.7705426	0.7312931	0.7919943	0.7101337
0.3	0.9513447	0.9512398	0.9501034	0.9513872	0.9521639	0.9489121	0.9501334	0.9506204	0.9490269	0.9503881	0.951075	0.9491044	0.9506654	0.9516344	0.9533503	0.9506504	0.9350855	0.9299554	0.8990229	0.8930487	0.8706655	0.8753434	0.778902
0.2	0.9366539	0.9373757	0.9373757	0.9366739	0.9378428	0.9383048	0.9406626	0.9376505	0.9378028	0.9374906	0.9389592	0.9386545	0.9394862	0.9592096	0.9579233	0.9530705	0.9394862	0.9416191	0.9253549	0.9018777	0.8931437	0.8569063	0.7845065
0.1	0.9586551	0.958218	0.9571516	0.9574188	0.9584103	0.9579733	0.9575936	0.958283	0.9574338	0.9584378	0.9579533	0.9580931	0.9514521	0.9609429	0.9647092	0.9584628	0.9415817	0.9471388	0.9354301	0.9012708	0.8983586	0.8439838	0.7785049
0.01	0.9359122	0.939656	0.9367139	0.940765	0.9369062	0.9365665	0.9397459	0.9374557	0.9365316	0.9390866	0.9408449	0.9758359	0.9614924	0.9696145	0.9737954	0.9642122	0.9532853	0.9521115	0.942281	0.901508	0.8995574	0.835025	0.7750132
0.001	0.9765053	0.9765153	0.9765228	0.9766127	0.9766027	0.9764928	0.9764329	0.97676	0.9766751	0.9783485	0.9784759	0.9770273	0.9771896	0.9752515	0.9702663	0.9666149	0.9532953	0.9535351	0.9444789	0.9020001	0.8999171	0.8353922	0.7743139
9.00E-04	0.9767725	0.9766526	0.9767101	0.9766576	0.9766526	0.9767476	0.9767625	0.9766626	0.9766177	0.9779064	0.9785058	0.9782486	0.9769998	0.9751841	0.9700241	0.9670295	0.9531554	0.9534751	0.9445263	0.9022573	0.8997497	0.8354771	0.7748459
8.00E-04	0.9767476	0.9767001	0.976775	0.9765028	0.976795	0.976835	0.9766826	0.9766402	0.976765	0.9780913	0.9785009	0.9784459	0.9772021	0.9749343	0.9700241	0.9673142	0.9529581	0.9534976	0.9445388	0.9028792	0.9001643	0.8352523	0.7750182
7.00E-04	0.9769798	0.9767675	0.9768799	0.9769948	0.9769349	0.9769574	0.9769623	0.9768749	0.9769798	0.9780962	0.9782186	0.9779814	0.9770997	0.974732	0.9698193	0.967529	0.9525435	0.9534052	0.9446986	0.9023272	0.8996623	0.8352823	0.7756651
6.00E-04	0.9775418	0.9777166	0.9776792	0.9775992	0.9778065	0.9777666	0.9774694	0.9779089	0.9781712	0.978366	0.9783035	0.9781287	0.9770098	0.9748369	0.9696719	0.9676489	0.9518942	0.9535476	0.944806	0.9026494	0.8998571	0.8348927	0.7756102
5.00E-04	0.977809	0.9776092	0.9779913	0.9779264	0.9775768	0.9777641	0.978361	0.9778215	0.9798296	0.9785158	0.9786632	0.9786157	0.9776692	0.9749343	0.9697294	0.9676089	0.9514296	0.9534676	0.9448235	0.9024446	0.899977	0.8349476	0.7769264
4.00E-04	0.9756261	0.9753639	0.9753964	0.9754963	0.9752915	0.9761381	0.9755962	0.9753864	0.9798271	0.9784484	0.9788455	0.9786457	0.977814	0.9746321	0.9700515	0.967564	0.9507403	0.9533952	0.9450233	0.9023422	0.8998796	0.8352049	0.7751231
3.00E-04	0.9738104	0.9743149	0.9742075	0.9739877	0.9735232	0.9740427	0.9738853	0.9743049	0.9783435	0.9784534	0.9778815	0.9771821	0.9771472	0.9739053	0.9698393	0.9676988	0.9500734	0.953048	0.9454304	0.9028867	0.8997697	0.8353048	0.7744263
2.00E-04	0.9798296	0.9802467	0.9797996	0.9794424	0.979405	0.9797821	0.9798346	0.9793375	0.9789804	0.9770772	0.9783535	0.9765502	0.9760482	0.9735407	0.969567	0.9675415	0.950051	0.9528108	0.9456702	0.9028492	0.9001868	0.8352298	0.7748584
1.00E-04	0.9809535	0.9808111	0.9808885	0.9809984	0.980916	0.980936	0.9812082	0.980931	0.9789229	0.9767476	0.9756911	0.9735207	0.9745971	0.9730636	0.9686055	0.9668746	0.9501933	0.9524936	0.9461622	0.9037184	0.9007887	0.8344831	0.7744013
9.00E-05	0.9807462	0.9807712	0.9805089	0.9807412	0.9807162	0.9807362	0.9806962	0.9807262	0.9787706	0.9763929	0.9753914	0.9730062	0.9745647	0.9728214	0.968523	0.9666998	0.9500085	0.9524511	0.9463021	0.9032114	0.9007013	0.8351	0.774219
8.00E-05	0.9807237	0.9804465	0.9805688	0.9805214	0.9805639	0.9806613	0.9803016	0.9805564	0.978858	0.9759034	0.9755687	0.9725616	0.9744598	0.9727839	0.9684631	0.9665924	0.9499635	0.9523812	0.946402	0.9032838	0.9003392	0.8343682	0.7755552
7.00E-05	0.9807437	0.9806563	0.9806663	0.9808161	0.9807761	0.9805788	0.980409	0.9804764	0.9791228	0.9757285	0.9762181	0.9722145	0.974275	0.9725766	0.9682958	0.9664475	0.9499186	0.9525435	0.9464669	0.9039956	0.9007188	0.8348402	0.7744538
6.00E-05	0.9812232	0.981408	0.9812232	0.9812931	0.981443	0.9812632	0.9807212	0.9807487	0.9786632	0.9754288	0.9751416	0.9716525	0.9741426	0.9725591	0.9682333	0.9662927	0.9498187	0.9521989	0.9464744	0.9037434	0.9003292	0.834558	0.7767016
5.00E-05	0.9823172	0.9823022	0.9821948	0.982005	0.9821173	0.9822322	0.9808486	0.9808686	0.9782336	0.9750217	0.9737405	0.9714677	0.9739178	0.9725966	0.9683257	0.9662502	0.9495739	0.9520041	0.9466567	0.9037783	0.9004166	0.8348727	0.7755677
4.00E-05	0.9830939	0.9831538	0.9829091	0.9828991	0.9828192	0.9824245	0.9808186	0.9809035	0.978316	0.9746671	0.9732984	0.9707709	0.9736006	0.972714	0.9681709	0.9661428	0.9495864	0.9520615	0.9467292	0.9035935	0.9006064	0.8346179	0.7746211
3.00E-05	0.9828616	0.9830764	0.9830215	0.9826293	0.9826418	0.9817527	0.9814755	0.9812307	0.9791802	0.9739628	0.9727489	0.970064	0.9731585	0.9729662	0.9680785	0.9660454	0.9494016	0.9520465	0.946944	0.9039282	0.9007463	0.8347403	0.7752405
2.00E-05	0.9834086	0.983551	0.9835035	0.9803541	0.9821248	0.980921	0.9812682	0.9813881	0.9789155	0.9731835	0.9722045	0.9694247	0.9724667	0.9732185	0.9678936	0.965968	0.9495315	0.9517643	0.9470539	0.9039756	0.9007338	0.8342483	0.774761
1.00E-05	0.9823072	0.9822722	0.9812332	0.979892	0.9826968	0.9822322	0.9803466	0.9804814	0.9778015	0.970616	0.9718323	0.9689027	0.9713728	0.9728813	0.9678262	0.9659805	0.9493292	0.9515645	0.9473311	0.9045501	0.9011159	0.835025	0.7762346

随着训练集n的减小分类准确率是减小的，

训练集数量n=5000到n=500的图像，

	5000	500
5.00E-05	0.982317	0.975022	0.992573
4.00E-05	0.983094	0.974667	0.991428
3.00E-05	0.982862	0.973963	0.990946
2.00E-05	0.983409	0.973184	0.989602
1.00E-05	0.982307	0.970616	0.988098
			0.99053

比较n=500和n=5000的数据，虽然将训练集的数量减小到原来的1/10，但分类准确率只下降了约1%。再比较n=5000和n=2500的数据

	5000	2500	2500/5000
5.00E-05	0.982317	0.982232	0.999914
4.00E-05	0.983094	0.982425	0.999319
3.00E-05	0.982862	0.981753	0.998872
2.00E-05	0.983409	0.980921	0.99747
1.00E-05	0.982307	0.982232	0.999924
			0.9991

训练集数量下降到一半，分类准确率下降约1‰，也就表明对这个网络完全可以将训练集的数量减到一半，分类差异不大。

Mnist的数据集的图片是从1开始编号，因此训练集的数量n=2意味着可以用1张图片实现分类。尽管分类准确率损失比较大。

因此对这个网络来说，从实用角度训练集数量的最小值可以是原来的50%，甚至是10%。但如果仅让网络保持基本的分类能力，训练集数量的最小值是1个。

神经网络训练集最少可以是多少个？相关推荐

神经网络训练集与Fock矩阵
如果将神经网络的训练集理解成哈密顿量,但是哈密顿算符并不是矩阵形式,比如拉普拉斯算符而神经网络的训练集都是矩阵,如何才能将数学解析式变成矩阵的形式? 一种可能的办法是Fock矩阵方法,比如假设波函数 ...
神经网络训练集两张图片之间的相互作用
在<神经网络分类训练集的图片到底是如何相互影响的?>中得到了一个经验关系,如果(两张图片)混合后的迭代次数变小了,分类准确率可能变大:如果二者混合后迭代次数变大,分类准确率可能会变小.但上 ...
深度神经网络(训练集，验证集，测试集), 提升模型效果，交叉验证
随笔神经网络训练确实是loss越小,效果越好,但不是绝对的. 因为损失小只是对训练集而言,所以要划出部分数据不做训练,只做验证,即为验证集,验证集对网络训练是没影响的, 所以要将数据集分成:训练集, ...
神经网络训练数据集下载,神经网络训练集数量
200组数据可以训练神经网络吗谷歌人工智能写作项目:神经网络伪原创 BP神经网络的训练集需要大样本吗?一般样本个数为多少? BP神经网络的训练集需要大样本吗?一般样本个数为多少? BP神经网络样本数 ...
神经网络训练集的图片到底是如何相互作用的？
本次实验分别让0的第1张图片到第9张图片和2的第1张图片分类.然后再让0的第1,2张,3,4张-8,9张图片和2的第1张图片分类,看看两组数据有什么关系. 第一部分数据,1张图片和1张图片分类 (0[ ...
人工构造迭代次数高度简并的神经网络训练集
(x)---81*30*2---(1,0) 做一个结构是81*30*2的网络,人工构造一个训练集x,并让这个训练集向(1,0)收敛,不分类.让收敛标准为1e-4.使得迭代次数高度简并,有明显的谱线特征 ...
训练集数量对神经网络光谱的影响
(mnist 0 ,2)---81*30*2---(1,0)(0,1) 分类mnist的0和2.让训练集的数量n分别等于5000,4500,4000,3500,3000,2500,2000,1500, ...
神经网络一般训练次数,神经网络训练时间
为什么要批量训练神经网络谷歌人工智能写作项目:小发猫神经网络中学习率.批处理样本数量.迭代次数有什么意义和影响? 学习率是指每次训练过程中(迭代)变量改变(更新)的比率,例如x(t+1)=x(t) ...
一个训练集未知的神经网络
如有一个神经网络已经训练好了,则可以通过改变测试集与训练集相似程度的办法改变这个网络的分类准确率. (0,1)---m*n*k---(1,0)(0,1) 比如一个分类0和1的网络,如果测试集的图片写的 ...

神经网络训练集最少可以是多少个？

神经网络训练集最少可以是多少个？相关推荐

最新文章

热门文章