关于神经网络分类特征平移不变性的实验

用分类映射的方法分类两条直线y=n和y=x*tanθ+n-n* tanθ，两条直线的交点是（n，n）

设r为0到1之间的随机数，两个训练集为

A:[r+n][(r+n)*tanθ+n-n*tanθ]

B:[r+n][n]

训练集有5000个，测试集初始化方式相同，有1000个。

网络结构为

(A,B)—2*2*2—(1,0)(0,1)（有java代码）

让n=0，0.1，0.2---3.75共28个值收敛了28*16*199次，观察网络的分辨准确率和迭代次数是如何随着n的变化而变化的。

迭代次数数据

	0	0.1	0.2	0.3	0.4	0.5	0.6	0.7	0.8	0.9	1	1.1	1.2	1.3	1.4	1.5	1.6	1.7	1.8	1.9	2	2.25	2.5	2.75	3	3.25	3.5	3.75
δ	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数
0.5	162.8894	164.5126	173.7337	198.1256	151.4171	184.6332	197.0603	184.8844	193.2663	175.4673	172.1256	175.7588	191.0553	161.809	185.3668	185.2915	186.8392	180.6332	212.7035	158.3216	174.5226	162.8744	164.0101	161.9196	193.392	163.4673	216.6683	190.3216
0.4	6704.146	6490.226	6637.407	6727.462	6666.809	6844.698	6890.98	6392.296	6630.437	6781.975	6724.075	6616.377	6766.497	7085.342	6754.156	6720.367	6939.161	6785.312	7147.201	6915.965	6956.347	6895.995	7057.633	7232.457	7232.839	7136.367	7247	7292.357
0.3	7304.402	7001.166	7157.362	7156.93	7105.06	7459.372	7378.92	7158.045	7264.367	7366.598	7364.347	7562.859	7572.146	7742.256	7471.291	7671.844	7575.231	7815.322	8015.533	7648.286	8000.166	7636.608	7947.472	8032.357	8395.513	8250.397	7990.447	8218.568
0.2	7750.874	7688.97	7370.518	7612.598	7611.251	7923.603	7961.864	7657.07	7935.432	8124.327	8062.548	7867.101	8206.246	8153.925	8253.754	8416.206	8411.191	8543.322	8621.211	8253.462	8485.382	8432.497	8614.719	8880.698	9131.281	8943.894	8946.136	9060.166
0.1	8472.106	8269.894	8233.03	8181.714	8494.276	8572.849	8661.09	8662.186	8944.789	8864.166	8999.623	9102.93	9174.759	9436.246	9369.492	9359	9500.759	9490.005	9876.015	9440.065	10039.34	9581.281	10087.47	10232.95	10197.8	9932.055	9785.603	10498.63
0.01	11047.28	10357.41	10170.2	10556.95	10806.76	11853.69	12115.44	12264.74	12383.84	13008.01	13273.24	13742.86	13567.55	14700.41	15082.85	14469.93	15302.01	14963.52	15488.99	15585.62	15674.84	16024.77	17250.85	17635.41	17885.5	18331.95	19037.56	20527.45
0.001	15949.57	13360.87	13337.84	14327.5	15936.8	17060.02	18192.05	19825.59	19596.83	20945.23	21276.32	21661.59	21949.58	24102.88	24715.26	23972.36	25780.18	25750.23	25414.93	26795.01	26204.04	28462.87	31650.29	32803	37622.27	43100.07	47126.66	57652.27
9.00E-04	16385.22	13499.85	13523.93	14469.42	16208.01	17673.69	18811	20234.31	20429.3	21318.24	22062.96	22064.83	22265.53	24699.91	25443.71	24799.55	26532.65	26398.36	26273.75	27044.83	27157.91	29405.29	32223.79	35087.71	38718.29	45488.8	50564.61	62426.83
8.00E-04	16601.06	13576.7	13715.1	14830.07	16641.85	18125.7	19234.12	20670.59	21194.7	21667.38	23042.04	23027.08	22527.95	25541.54	25938.52	25060.44	27449.43	26978.64	27324.3	27376.21	27996.3	30659.38	32953.21	37565.75	39376.84	48518.29	53240.52	65967.03
7.00E-04	17169.87	13883.84	13797.62	14899.34	17045.29	18856.1	19680.52	22193.4	21753.6	22407.31	23864.82	24536.36	23337.46	26046.39	26326.63	25560.93	27915.89	27531.1	28906.37	28171.08	29449.63	31405.35	35119.82	39227.15	41040.77	51903.32	56343.2	70393.14
6.00E-04	17630.13	14085.33	14188.31	15252.83	17450.99	19841.57	20499.53	23464.46	22198.68	23100.08	24294.18	26045.34	24460.28	26721.26	27214.22	26123.77	28717.94	28185.94	30359.12	29353.96	31017.12	33431.16	37184.17	41485.41	44786.97	55527.96	61752.95	75898.69
5.00E-04	18631.19	14388.16	14477.67	15726.37	17931.69	21092.81	22039.63	23668.38	23273.93	23881.55	24841.09	26595.17	26450.83	27433.14	28729.05	27917.58	30113.31	29585.7	31671.36	31237.32	32934.65	34993.06	39004.11	42952.99	48441.56	60128.41	67817.84	86082.6
4.00E-04	19211.79	15077.17	14814.17	16235.16	18329.16	22687.1	24020.57	24152.28	24492.99	25529.53	26503.18	27330.49	29037.46	28277.25	30392.92	29703.87	31772.11	31210.92	32733.55	33470.89	35026.24	36856.95	42045.15	48070.57	52605.37	68022.45	76196.3	100852.2
3.00E-04	20484.61	15611.52	15433.74	17325.13	19516.9	26777.29	24841.73	25445.11	26230.2	30014.73	28002.16	29787.73	30969.93	30879.2	32052.68	32102.71	33974.42	34156.33	34362.58	36398.18	36508.85	40252.59	46247.39	52562.23	59314.3	78189.45	89947.53	125496.4
2.00E-04	22011.69	16338.01	16139.57	18703.34	21618.41	41873.07	27040.85	32110.6	29440.69	31735.22	30168.13	30484.64	31615.09	34439.91	35552.24	34938.9	37857.3	37220.8	38770.76	38741.2	41366.44	45719.87	52403.1	61832.09	70750.4	93253.14	110715.5	174654.9
1.00E-04	25422.17	17953.08	17744.19	21308.99	29550.53	52630.72	55579.81	61412.06	63599.88	60190.26	37802.84	38143.55	40581.46	38721.73	41285.62	40976.03	43785.39	45300.44	44978.88	47526.23	50649.24	57475.61	67941.38	81746.42	97458.47	137821	175270.3	283332.6

将迭代次数曲线画出来

随着n的增加迭代次数变大。

但在0<n<1区间内明显的有一个精细结构。如果将迭代次数理解成两个分类对象相似性的量度，至少对这个实验来说神经网络的分类特征并没有平移不变性，因为显然随着交点的移动两条线在夹角不变的情况下，迭代次数是变化的。

再观察分类准确率

	0	0.1	0.2	0.3	0.4	0.5	0.6	0.7	0.8	0.9	1	1.1	1.2	1.3	1.4	1.5	1.6	1.7	1.8	1.9	2	2.25	2.5	2.75	3	3.25	3.5	3.75
δ	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave
0.5	0.5	0.500168	0.501088	0.503161	0.5	0.5	0.500045	0.500518	0.502467	0.501231	0.500475	0.500201	0.500515	0.500681	0.501731	0.500116	0.50051	0.502304	0.501513	0.5	0.5	0.500515	0.501116	0.499452	0.5	0.501327	0.50058	0.49998
0.4	0.957869	0.977578	0.97105	0.90903	0.894774	0.90857	0.875766	0.877445	0.805384	0.762892	0.702799	0.705457	0.680593	0.652741	0.640955	0.644138	0.605332	0.605302	0.589528	0.586397	0.570553	0.578211	0.540676	0.537329	0.517352	0.50748	0.502638	0.500362
0.3	0.971862	0.970947	0.929477	0.883749	0.863563	0.882053	0.855505	0.852641	0.779399	0.745588	0.703852	0.701636	0.686553	0.654799	0.653935	0.646427	0.617766	0.613528	0.606055	0.606093	0.589357	0.593688	0.554809	0.558967	0.532472	0.53649	0.514462	0.506146
0.2	0.979193	0.95744	0.911907	0.874852	0.850244	0.87049	0.847236	0.838807	0.766857	0.740912	0.695636	0.704965	0.697485	0.659724	0.656048	0.650952	0.623116	0.617668	0.610575	0.609475	0.600492	0.59854	0.563857	0.571884	0.548038	0.559166	0.530445	0.524211
0.1	0.982327	0.947603	0.905553	0.875038	0.846186	0.869992	0.845495	0.831565	0.765972	0.748377	0.701344	0.708613	0.700545	0.668085	0.66305	0.650289	0.632068	0.621859	0.62059	0.612055	0.608332	0.60203	0.567736	0.576804	0.555261	0.567857	0.534442	0.536394
0.01	0.988756	0.952832	0.91201	0.891525	0.870299	0.879344	0.850583	0.826445	0.751681	0.728264	0.701734	0.706425	0.679043	0.67695	0.667736	0.653842	0.654736	0.629834	0.632	0.645771	0.611487	0.607435	0.612827	0.619899	0.570138	0.601211	0.574626	0.597598
0.001	0.996405	0.964633	0.932636	0.906053	0.8835	0.899764	0.865658	0.844407	0.745668	0.741776	0.686271	0.663558	0.688392	0.669399	0.673802	0.662962	0.677317	0.657183	0.637181	0.644671	0.612857	0.63753	0.651198	0.627198	0.625786	0.609553	0.630442	0.623148
9.00E-04	0.996824	0.964917	0.934178	0.907068	0.885435	0.899344	0.869289	0.844736	0.74995	0.733319	0.677359	0.671236	0.688397	0.670967	0.667729	0.664513	0.67948	0.665751	0.647467	0.643588	0.616623	0.64355	0.653437	0.638618	0.616397	0.632156	0.616141	0.653997
8.00E-04	0.997048	0.965945	0.934329	0.907698	0.88648	0.899357	0.866264	0.845678	0.751236	0.726769	0.674475	0.689661	0.674791	0.664877	0.664764	0.65645	0.675447	0.669296	0.659864	0.648704	0.619827	0.65098	0.650967	0.648367	0.583264	0.632573	0.629704	0.657317
7.00E-04	0.99704	0.96648	0.934844	0.909035	0.887626	0.899289	0.868028	0.837136	0.75157	0.71643	0.660467	0.704183	0.676897	0.656266	0.665842	0.648575	0.67041	0.664234	0.677075	0.656013	0.634209	0.65002	0.647812	0.650299	0.585691	0.629558	0.636736	0.651603
6.00E-04	0.996932	0.967181	0.935857	0.909925	0.888209	0.900008	0.866352	0.797761	0.751291	0.711008	0.642073	0.70999	0.686857	0.642362	0.670942	0.634975	0.672726	0.662917	0.686161	0.661035	0.64356	0.643028	0.648354	0.643435	0.619736	0.642437	0.639352	0.669822
5.00E-04	0.996126	0.967651	0.937043	0.911432	0.890095	0.90355	0.853683	0.791015	0.75393	0.716387	0.645565	0.685917	0.711445	0.637666	0.682631	0.65753	0.675312	0.665153	0.681186	0.671309	0.651648	0.637364	0.655839	0.641198	0.628485	0.63905	0.661015	0.676178
4.00E-04	0.995583	0.968357	0.938407	0.911842	0.892201	0.906319	0.823583	0.763857	0.755709	0.729048	0.657246	0.674035	0.726543	0.653108	0.700279	0.679008	0.671118	0.662771	0.644756	0.674078	0.633399	0.644289	0.666319	0.655201	0.613146	0.645874	0.673776	0.680877
3.00E-04	0.995128	0.968734	0.939907	0.913837	0.894005	0.927018	0.877756	0.713412	0.741427	0.747173	0.66607	0.63645	0.702221	0.671319	0.689377	0.677945	0.666106	0.664033	0.643045	0.658608	0.634779	0.660864	0.660284	0.652264	0.626405	0.658291	0.688226	0.686947
2.00E-04	0.995739	0.969513	0.942269	0.918008	0.905364	0.952254	0.849525	0.696739	0.744857	0.726035	0.667138	0.636917	0.696892	0.674111	0.672764	0.673736	0.677528	0.674673	0.67347	0.662181	0.643133	0.65544	0.671563	0.65405	0.628261	0.669284	0.675073	0.690221
1.00E-04	0.996427	0.971389	0.944603	0.919837	0.911176	0.964452	0.952053	0.909025	0.764367	0.71694	0.662932	0.654244	0.704907	0.658744	0.699683	0.689033	0.669729	0.686043	0.65209	0.670425	0.64908	0.665603	0.684518	0.667935	0.67653	0.691078	0.694033	0.683332

分类准确率随着n的增加不断的下降，这个现象也表明了平移对分类是有影响的。

因此这个实验表明神经网络的被分类特征并没有在二维平面内的平移不变性，分类特征对坐标的选择是高度敏感的。标尺的选择对分类效果有非常大的影响。这里所谓的标尺就是一种数值的大小比例，将数值理解成是二维空间的密度，这个结论就等价于表明空间的形状对分类有影响。

关于神经网络分类特征平移不变性的实验相关推荐

一个与神经网络分类特征旋转不变性有关的实验
继续用<用神经网络分类两条夹角为θ的直线>的办法分类两条直线. y=x*tanθ和y=x*tan(θ+20) 所不同的是这次让两条直线之间的夹角固定为20,让θ分别等于0,20...340 ...
分类预测 | MATLAB实现CNN-LSTM(卷积长短期记忆神经网络)多特征分类预测
分类预测 | MATLAB实现CNN-LSTM(卷积长短期记忆神经网络)多特征分类预测目录分类预测 | MATLAB实现CNN-LSTM(卷积长短期记忆神经网络)多特征分类预测预测效果基本介绍 ...
模式分类识别 | RBF径向基神经网络多特征分类预测（Matlab完整程序）
模式分类识别 | RBF径向基神经网络多特征分类预测(Matlab完整程序) 目录模式分类识别 | RBF径向基神经网络多特征分类预测(Matlab完整程序) 预测结果基本介绍程序设计参考资料 ...
分类预测 | MATLAB实现CNN卷积神经网络多特征分类预测
分类预测 | MATLAB实现CNN卷积神经网络多特征分类预测目录分类预测 | MATLAB实现CNN卷积神经网络多特征分类预测分类效果基本介绍程序设计参考资料致谢分类效果基本介绍 ...
用神经网络分类无理数2**0.5和3**0.5
(2**0.5,3**0.5)-100*10*2-(1,0)(0,1) 用神经网络分类分类2**0.5和3**0.5,2**0.5和3**0.5分别取3万位有效数字.每10位有效数字构成一张图片,共3 ...
新闻上的文本分类：机器学习大乱斗王岳王院长王岳王院长 5 个月前目标从头开始实践中文短文本分类，记录一下实验流程与遇到的坑运用多种机器学习（深度学习 + 传统机器学习）方法比较短文本分类处
新闻上的文本分类:机器学习大乱斗王岳王院长 5 个月前目标从头开始实践中文短文本分类,记录一下实验流程与遇到的坑运用多种机器学习(深度学习 + 传统机器学习)方法比较短文本分类处理过程与结果差 ...
可解释性：对神经网络中层特征复杂度的解释与拆分
文 | 任洁,李明杰,刘泽旭源 | 知乎大家好,我们是任洁,李明杰和刘泽旭,本研究是在张拳石老师 @Qs.Zhang张拳石指导下完成的工作. 随着深度神经网络的应用日益广泛,可解释性也逐渐受到更 ...
基于Python实现的卷积神经网络分类MNIST数据集
卷积神经网络分类MNIST数据集目录人工智能第七次实验报告 1 卷积神经网络分类MNIST数据集 1 一 .问题背景 1 1.1 卷积和卷积核 1 1.2 卷积神经网络简介 2 1.3 卷积神经网 ...
可解释性：对神经网络中层特征复杂度的解释与拆分丨ICML 2021
随着深度神经网络的应用日益广泛,可解释性也逐渐受到更多学者的关注. 近日,上海交通大学一年级博士生任洁.上海交大计算机系硕士生李明杰解读了团队发表于 ICML 2021的工作<对神经网络中层不同 ...

关于神经网络分类特征平移不变性的实验

关于神经网络分类特征平移不变性的实验相关推荐

最新文章

热门文章