一个与神经网络分类特征旋转不变性有关的实验

继续用《用神经网络分类两条夹角为θ的直线》的办法分类两条直线。

y=x*tanθ和y=x*tan(θ+20)

所不同的是这次让两条直线之间的夹角固定为20，让θ分别等于0，20...340，共18个值。观察网络迭代次数是否会随着θ的改变而改变。

得到的数据

	0	20	40	60	80	100	120	140	160	180	200	220	240	260	280	300	320	340
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
0.5	183.7437	174.7337	132.7638	51.0201	21.49246	46.23116	131.809	167.0251	176.3719	175.0905	163.2663	117.5578	43.77387	24.29146	47.94975	127.0955	149.4372	181.9045
0.4	6463.497	4839.407	2635.628	678.3769	145.2563	640.6382	2527.663	4584.739	6285.764	6307.126	4696.925	2431.477	695.2864	147.2714	675.2111	2511.668	4693.302	6486.025
0.3	7187.005	5663.256	3271.709	1135.869	210.1357	1115.668	3403.583	5306.648	7022.839	7268.864	5592.513	3096.452	1101.176	214.4774	1103.965	3174.739	5423.623	7131.663
0.2	7694.166	5980.442	3784.814	1417.477	300.2261	1520.256	3734.759	5964.92	7494.925	7713.915	6052.241	3634.261	1468.729	301.3719	1468.116	3684.286	6141.462	7687.322
0.1	8523.357	6744.332	4303.497	2097.704	528.1307	2221.884	4312.94	6724.246	8286.357	8421.166	6637.457	4099.668	2176.367	541.9598	2165.804	4190.678	6570.477	8427.055
0.01	11092.46	9211.055	6479.266	5400.181	9111.06	6526.307	6368.126	8905.221	11144.86	11222.1	9218.764	6324.874	5409.573	9033.136	5685.613	6259.563	9296.97	11036.3
0.001	16406.64	13799.87	11178.14	12984.04	90194.24	13322.17	11084.86	13740.24	16349.77	16252.28	13882.19	11009.56	12186.52	91557.81	13514.66	10861.02	13941.75	16058.69
9.00E-04	16656.88	14021.75	11547.07	15867.93	95077.97	13330.39	11527.73	14025.96	16721.31	16551.81	14081.7	11690.73	14364.44	118934.5	12176.46	11232.95	14285.61	16371.57
8.00E-04	16867.91	14545.45	12001.97	15595.08	124856.8	13729.79	11832.07	14496.26	16886.85	16755.82	14640.74	12029.25	13313.52	104256.4	15450.24	11624.08	14594.82	16878.63
7.00E-04	17469.43	14926.43	12373.55	17609.68	99316.23	14226.06	12166.15	14716.6	17321.31	17164.35	15079.52	12734.66	14149.2	137940.7	15032.8	12219.29	15058.62	17128.73
6.00E-04	17832.69	15491.31	12846.28	14680.06	107234.7	17264.59	12514.49	15154.94	17954.22	17634.17	15552.46	13314.08	15079.32	106885.5	15335.32	12870.77	15458.24	17905.65
5.00E-04	18730.19	16097.33	13634.06	17749.19	112417.5	16863.14	13269.44	15867.55	18333.61	18207.56	16195.79	13935.75	16474.55	131833.3	15697.25	13677.59	16003.11	18563.12
4.00E-04	19543.34	16987.46	14829.35	17721.2	123973.3	18916.87	14326.55	16557.45	19108.86	18921.52	16865.36	14650.08	19046.12	128215.1	18917.49	14652.08	16959.39	19523.26
3.00E-04	20722.5	18283.57	15955.3	21683.39	121096.5	21764.25	15959.52	18095.31	20368.87	20126.08	18131.64	15505.25	21190.66	120739	19454.93	15811.28	18153.76	20345.28
2.00E-04	22352.49	20154.09	17997.3	24049.25	194464.4	22251.16	18040.09	19814.57	22164.9	21960.05	19805.31	17945.96	21509.25	150811.1	23479.05	18057.3	19838.27	22240.5
1.00E-04	25682.17	23119.55	22530.28	29177.88	178503.8	32680.93	22100.06	23693.34	25407.28	25312.68	23311.04	23244.69	30022.71	183537.4	34095.23	22123.41	24014.31	25685.58

将收敛标准为3e-4,2e-4,1e-4的迭代次数画成图

很明显至少对这个实验而言，网络的分类特征是关于x轴对称，关于y轴对称，同时关于原点对称的。

但这个神经网路的分类特征关于旋转操作是不对称的。

比如两组直线

1：y=x*tan(0)和y=x*tan(20)

2：y=x*tan(20)和y=x*tan(20+20)

这两组直线之间的夹角都是20，但是δ=1e-4时这两组直线的迭代次数分别是25682和23119.也就表明对这个系统而言并没有分类特征的旋转不变性。旋转操作是有可能改变体系的分类特征的。

比如如果将迭代次数理解成是引力的一种外在表象，而将质量理解成正比于两个对象之间的交叉程度。在两条直线夹角不变的情况下，等效交叉如果是不变的，那只能是二者之间的距离发生了改变。

1：y=x*tan(0)和y=x*tan(20) 的距离r1

2：y=x*tan(20)和y=x*tan(20+20) 的距离r2

如果迭代次数n1>n2,表明引力G1>G2,在m1，m2不变的情况下，则可得到r2>r1.

表明随着角度的增加两个对象之间的距离实际上减小了。

但两条之间的夹角是不变的,距离为什么会减小，比如假设r1=r2，但测量r1的尺子的单位是厘米，而测量r2的尺子的单位是米。则在r1=r2的情况下将得到r2>r1.也就是假设这个空间的度规不是均匀的。

再比较分类准确率

	0	20	40	60	80	100	120	140	160	180	200	220	240	260	280	300	320	340
δ	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave	平均准确率p-ave
0.5	0.501332	0.500312	0.500698	0.512196	0.530452	0.502701	0.504497	0.500563	0.500389	0.500636	0.500508	0.503869	0.508809	0.525374	0.504153	0.501151	0.501367	0.502289
0.4	0.942379	0.849523	0.719271	0.648573	0.725598	0.634877	0.721209	0.805852	0.948726	0.927276	0.860927	0.683018	0.656606	0.754317	0.652239	0.697075	0.778711	0.949073
0.3	0.957653	0.888789	0.868407	0.854583	0.782151	0.861299	0.893879	0.893879	0.952719	0.95196	0.89955	0.857523	0.845779	0.801374	0.87742	0.879008	0.884033	0.964794
0.2	0.967598	0.920736	0.892585	0.878902	0.813251	0.879882	0.912736	0.924332	0.963746	0.967475	0.924485	0.887319	0.876872	0.8195	0.899661	0.906626	0.921616	0.977158
0.1	0.979417	0.949809	0.920264	0.904613	0.836902	0.897538	0.93551	0.952	0.981568	0.981822	0.952317	0.925427	0.89302	0.884304	0.905776	0.933497	0.950141	0.985658
0.01	0.995751	0.979126	0.970379	0.980271	0.870631	0.972942	0.966754	0.981394	0.991819	0.995405	0.983399	0.968492	0.978113	0.842621	0.979932	0.971198	0.978847	0.992075
0.001	0.997171	0.989126	0.986889	0.988131	0.996925	0.986827	0.982869	0.986389	0.997497	0.99652	0.993726	0.983467	0.988832	0.996467	0.986631	0.985505	0.984465	0.997789
9.00E-04	0.997435	0.988384	0.986796	0.989611	0.993736	0.986719	0.983176	0.986761	0.997281	0.996251	0.993807	0.981673	0.988485	0.992327	0.987274	0.985161	0.985008	0.997673
8.00E-04	0.997181	0.988128	0.987116	0.988894	0.992251	0.988704	0.983284	0.987394	0.997191	0.996249	0.99404	0.980621	0.988761	0.99796	0.989877	0.985339	0.985181	0.997553
7.00E-04	0.997033	0.988236	0.987869	0.988719	0.997296	0.989611	0.984095	0.987761	0.99707	0.995799	0.994015	0.979884	0.989048	0.990274	0.989188	0.984759	0.985691	0.99746
6.00E-04	0.997163	0.988751	0.988236	0.988558	0.996807	0.989819	0.986367	0.987706	0.997405	0.99609	0.993322	0.98002	0.988492	0.998327	0.988932	0.984764	0.986126	0.997819
5.00E-04	0.997791	0.989709	0.988281	0.990276	0.996497	0.989269	0.987422	0.98894	0.998025	0.99652	0.992794	0.981842	0.987668	0.992736	0.989113	0.984842	0.987455	0.997284
4.00E-04	0.998377	0.990601	0.988281	0.988842	0.996508	0.991201	0.987761	0.990377	0.998658	0.997716	0.992972	0.985256	0.990206	0.997472	0.990812	0.985236	0.989492	0.99708
3.00E-04	0.998573	0.990751	0.98997	0.990882	0.997776	0.992794	0.9875	0.991495	0.998606	0.997774	0.99354	0.988741	0.991286	0.999196	0.990761	0.986339	0.990774	0.997181
2.00E-04	0.998193	0.991442	0.992015	0.99095	0.993651	0.993317	0.988638	0.99045	0.998774	0.997364	0.994337	0.987686	0.992683	0.998475	0.990937	0.986784	0.992053	0.997307
1.00E-04	0.997568	0.994915	0.992425	0.991389	0.999116	0.994286	0.99053	0.990852	0.997962	0.998314	0.996495	0.986188	0.992769	0.999633	0.992962	0.989226	0.989575	0.998902

将pave画成图，观察到pave曲线有很强的周期性，有4个峰，4个谷，当θ=0，90，180，270时出现峰值，当θ=45，135，225，315时出现谷。也就是在一个象限内分辨准确率总是在峰-谷-峰之间震荡。

综合实验数据表明神经网络的分类特征不是旋转不变的，分类对象相对角度的改变对迭代次数和分类准确率都有非常明显的影响。

一个与神经网络分类特征旋转不变性有关的实验相关推荐

关于神经网络分类特征平移不变性的实验
用分类映射的方法分类两条直线y=n和y=x*tanθ+n-n* tanθ,两条直线的交点是(n,n) 设r为0到1之间的随机数,两个训练集为 A:[r+n][(r+n)*tanθ+n-n*tanθ] ...
关于卷积神经网络旋转不变性的一点研究
今天一直在思考CNN的旋转不变性,众所周知,CNN具有平移不变性,但是是否具有旋转不变性呢.我们来研究下吧. 1 查阅资料查阅了许多国内外资料,在解释旋转不变性的时候,普遍得出来,CNN具有一定的旋 ...
用机器学习的分类算法识别象棋棋子——兼论旋转不变性
文章目录 1. 前言 2. 图像的矩特征 3. 采集样本 4. 模型训练 5. 模型应用 1. 前言文本识别早已经不是问题了,不过却不能直接应用于象棋棋子的识别,因为棋盘上的棋子是随机摆放上去的,不 ...
ORB2单目读代码笔记5--利用灰度质心计算ORB特征点方向，实现旋转不变性
5.利用灰度质心计算ORB特征点方向,实现旋转不变性 ComputeKeyPointOctTree 跳转 computeOrientation computeOrientation 跳转 IC_Ang ...
卷积神经网络（CNN）的平移不变性和旋转不变性。
文章目录不变性的介绍不变性的原理不变性的介绍不变性意味着即使目标的外观发生了某种变化,但是你依然可以把它识别出来. 旋转不变性和平移不变性: 通俗的讲,我给你一张图片,你识别出来这是只狗,我将 ...
分类预测 | MATLAB实现CNN-LSTM(卷积长短期记忆神经网络)多特征分类预测
分类预测 | MATLAB实现CNN-LSTM(卷积长短期记忆神经网络)多特征分类预测目录分类预测 | MATLAB实现CNN-LSTM(卷积长短期记忆神经网络)多特征分类预测预测效果基本介绍 ...
模式分类识别 | RBF径向基神经网络多特征分类预测（Matlab完整程序）
模式分类识别 | RBF径向基神经网络多特征分类预测(Matlab完整程序) 目录模式分类识别 | RBF径向基神经网络多特征分类预测(Matlab完整程序) 预测结果基本介绍程序设计参考资料 ...
分类预测 | MATLAB实现CNN卷积神经网络多特征分类预测
分类预测 | MATLAB实现CNN卷积神经网络多特征分类预测目录分类预测 | MATLAB实现CNN卷积神经网络多特征分类预测分类效果基本介绍程序设计参考资料致谢分类效果基本介绍 ...
LBP特征提取算子光照不变性和旋转不变性的具体解释与detectMultiScale参数说明【DataWhale学习记录】
零前言 LBP曾广泛应用于人脸检测以及人脸识别应用中,但在深度学习和卷积神经网络迅猛发展的今天,以LBP为特征的检测以及识别算法并不具有竞争力,但是作为学习案例还是很有借鉴意义的. 本文的重点部分是 ...

一个与神经网络分类特征旋转不变性有关的实验

一个与神经网络分类特征旋转不变性有关的实验相关推荐

最新文章

热门文章