高斯定理在神经网络上的投影

电场强度对任意封闭曲面的通量只取决于该封闭曲面内电荷的代数和，与曲面内电荷的位置分布情况无关，与封闭曲面外的电荷亦无关。

---高斯定理

神经网络的分类过程就是用一套权重让形态A变换成形态B，再让形态B变换成形态A。也就是让组成A的粒子移动到（0，1）位，让组成B的粒子移动到（1，0）位。用电池做类比，A的粒子是由正极到负极，而B的粒子是由负极到正极,。所以A和B粒子的运动事实上形成了一个闭合的回路。而权重就是粒子运动的空间本身，按照高斯定律权重空间一定有一个仅仅和移位粒子数量有关的物理表象。

所以用此思路可以很自然的得到移位距离和假设

用神经网络分类A和B，把参与分类的A和B中的数字看作是组成A和B的粒子，分类的过程就是让A和B中的粒子互相交换位置，寻找最短移位路径的过程。而熵H与最短移位距离和成正比，迭代次数n和熵H成反比。

对二值化图片移位规则汇总

每个粒子移位一次，位置重合不移位，0不动，单次移位距离恒为1.

所以迭代次数可以理解为权重空间的通量，这个量仅与移位粒子数量有关。用实验去验证这个假设

用神经网络分类A和B让A有8个1，B有5个1，统计相同收敛误差下的迭代次数

	851	852	853	854
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n
5.00E-04	25288.76	25687.64	25628.29	22738.92
4.00E-04	31347.55	30984.3	31484.12	27653.1
3.00E-04	40549.93	40845.78	40562.37	36072.61
2.00E-04	59255.58	59526.14	59150.38	53116.99
1.00E-04	114094.8	111861.3	112058	100986.2
s	3	3	3	5

851，852，853不重合的需要移位的粒子都只有3个，因此他们的迭代次数相同。而854不重合粒子有5个，按照移位粒子数量和迭代次数之间的反比关系，854的迭代次数要小些。

做第二组

同样统计迭代次数

	851	852	853	854	855	856	857	858
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
5.00E-04	25288.76	25687.64	25628.29	22738.92	25451.39	22453.8	22649.25	22418.6
4.00E-04	31347.55	30984.3	31484.12	27653.1	31410.07	27650.26	27925.52	27807.69
3.00E-04	40549.93	40845.78	40562.37	36072.61	40813.36	36050.68	36206.22	36315.7
2.00E-04	59255.58	59526.14	59150.38	53116.99	59125.05	52699.7	52560.17	52650.34
1.00E-04	114094.8	111861.3	112058	100986.2	112628.3	101393.2	101142.5	101611.5
s	3	3	3	5	3	5	5	5

855的移位粒子数是3因此和851，852，853的迭代次数相同。而856，857，858的移位粒子数是5因此和854的迭代次数相同，数据符合假设。

再与前面实验数据横向比较

	981	871	971	881	861	122	961	875
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
5.00E-04	34219.01	34553.02	28229.22	27843.89	28270.21	25862.05	25523.99	25117.39
4.00E-04	41899.68	41568.85	34548.15	34511.79	34803.25	31524.1	30958.15	31102.23
3.00E-04	53474.56	54287.27	44497.27	44407.41	45065.05	41011.36	40262.78	40239.05
2.00E-04	77797.83	78173.77	64693.36	64832.42	64707.93	59270.11	59096.97	58618.7
1.00E-04	148175	146473.4	123601.3	122874.1	123288	112397.9	113446.1	111994.6
s	1	1	2	2	2	3	3	3


	851	951	866	941	854	931	921	911
δ	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n	迭代次数n
5.00E-04	25288.76	23904.73	23868.01	22959.57	22738.92	22166.65	22094.36	23575.86
4.00E-04	31347.55	28978.03	28820.87	27774.2	27653.1	27290.48	27253.6	28991.81
3.00E-04	40549.93	38252.24	37659.14	35993.35	36072.61	35639.73	35340.25	37399.98
2.00E-04	59255.58	55426.48	54661.18	52950.71	53116.99	51890.25	52155.43	54335.16
1.00E-04	114094.8	106880.8	106599.8	101146.2	100986.2	100158	98502.28	102787.2
s	3	4	4	5	5	6	7	8

数据符合假设。

高斯定理在神经网络上的投影相关推荐

点在平面上的投影坐标例题_光测力学-栅线投影(面结构光）技术
本文主要介绍了栅线投影方法的基本原理-三角测量与线性对应关系,以及栅线投影系统标定的细节.下一篇文章我们将介绍傅里叶与相移两种相位求解方法. 栅线投影可能在其他领域更多的被成为面结构光,其和DIC或者 ...
【GNN】谷歌、阿里、腾讯等在大规模图神经网络上必用的GNN加速算法
点击上方,选择星标或置顶,每天给你送上干货作者 | 对白出品 | 对白的算法屋今天我们来聊一聊在大规模图神经网络上必用的GNN加速算法.GNN在图结构的任务上取得了很好的结果,但由于需要将图加载 ...
线性代数 --- 投影与最小二乘上(一元一次方程组的最小二乘解与向量在一维子空间上的投影)
向量在子空间上的投影与最小二乘逼近对于一个mxn的非齐次线性方程组Ax=b而言,他可能有解,也可能没有解.如果A中各列通过线性组合可以得到b, 或者说b在A的列空间中,则方程组有解,即方程组相容.反 ...
平面几何中点到直线上的投影计算
已知直线AB上点A,点B的坐标,直线外一点P的坐标,如何计算点P在直线AB上的投影坐标: 使用向量表示的方法比较简单: ⎧⎩⎨⎪⎪AB−→−∙PP′−→−=0ya−yxa−x=yb−yaxb−xa \ ...
【C#】（二维）直线外一点在直线上的投影点
目录一.基本公式 A.直线公式 a.推理 B.向量垂直公式 a.推理二.结合公式1[直线公式]与公式2[向量垂直公式] 1.原始计算 2.替换计算三.简化计算结果四.公式在C#代码中的应用一 ...
已知法向量求投影_求点在平面上的投影点坐标
Q1:怎样求空间曲面在坐标平面上的投影? 求曲面z＝f(x,y)在XOY平面内的投影区域,只要把曲面的边界曲线投影到XOY平面,投影曲线在XOY平面内围成的区域就是所求.\x0d曲面z＝f(x,y)的 ...
求向量a在向量b上的投影
求向量a={4,-3,4}在向量b={2,2,1}上的投影. a在b上的投影等于|a|乘以ab夹角的余弦,然后再乘以b的单位向量即可! 因此等于|a| * a.b /|a||b| * b/|b| = ...
线性代数 --- 投影Projection 六（向量在子空间上的投影）
向量b在多维子空间上的投影回顾:任意向量b在另一个向量上(直线上)的投影在研究向量在子空间上的投影前,先回顾一下前面学习的一个任意向量b在另一个向量a上的投影,共三个部分. 1,求权重系数(A c ...
计算几何之点在直线上的投影代码模板与证明
点在直线上的投影已知直线上两点a.b和直线外一点p,求p在直线ab上的投影点代码模板 Point projection(Point p,Point a,Point b) {Vector v = b ...
三维空间：点到线的距离，点到面上的投影，直线在平面上的投影直线方程（平面束）
你好哦,这里是云切月斩(Echo_Fish),本文章如果能加深你对于高等数学知识点的理解,那么我将不胜荣幸!如果本文章存在错误请不吝赐教! 一.点到线的距离(已知一个点和直线的一般式) 已知点P(3, ...

高斯定理在神经网络上的投影

高斯定理在神经网络上的投影相关推荐

最新文章

热门文章