迭代次数和熵之间关系的一点联想
( A, B )---3*30*2---( 1, 0 )( 0, 1 )
做一个网络来分类A和B，网络输入只有3个节点，每个训练集只有3张图片。让B全为0，让A的3张图片中只有3个1，排列组合A的所有可能，固定收敛误差观察迭代次数平均值的变化。
|
A-B |
迭代次数 |
||||
|
18 |
1 |
0 |
0 |
4*0*6-0*0*0 |
13286.89 |
|
0 |
0 |
0 |
4*0*6-0*0*0 |
13286.89 |
|
|
1 |
1 |
0 |
4*0*6-0*0*0 |
13286.89 |
|
|
18 |
0 |
0 |
0 |
0*2*3-0*0*0 |
14368.13 |
|
0 |
1 |
0 |
0*2*3-0*0*0 |
14368.13 |
|
|
0 |
1 |
1 |
0*2*3-0*0*0 |
14368.13 |
|
|
8 |
0 |
1 |
0 |
2*0*5-0*0*0 |
24369.4 |
|
0 |
0 |
0 |
2*0*5-0*0*0 |
24369.4 |
|
|
1 |
0 |
1 |
2*0*5-0*0*0 |
24369.4 |
|
|
8 |
1 |
0 |
1 |
5*0*2-0*0*0 |
24797.43 |
|
0 |
0 |
0 |
5*0*2-0*0*0 |
24797.43 |
|
|
0 |
1 |
0 |
5*0*2-0*0*0 |
24797.43 |
|
|
18 |
1 |
0 |
0 |
4*1*4-0*0*0 |
26861.2 |
|
0 |
0 |
1 |
4*1*4-0*0*0 |
26861.2 |
|
|
1 |
0 |
0 |
4*1*4-0*0*0 |
26861.2 |
|
|
3 |
0 |
1 |
0 |
2*2*2-0*0*0 |
27189.46 |
|
0 |
1 |
0 |
2*2*2-0*0*0 |
27189.46 |
|
|
0 |
1 |
0 |
2*2*2-0*0*0 |
27189.46 |
|
|
6 |
0 |
0 |
1 |
1*2*4-0*0*0 |
38687.38 |
|
0 |
1 |
0 |
1*2*4-0*0*0 |
38687.38 |
|
|
1 |
0 |
0 |
1*2*4-0*0*0 |
38687.38 |
|
|
3 |
0 |
0 |
0 |
0*7*0-0*0*0 |
44792.64 |
|
1 |
1 |
1 |
0*7*0-0*0*0 |
44792.64 |
|
|
0 |
0 |
0 |
0*7*0-0*0*0 |
44792.64 |
共有82组，但只有8种不同的迭代次数。
|
0 |
1 |
0 |
2*2*2-0*0*0 |
27189.4623 |
|
0 |
1 |
0 |
2*2*2-0*0*0 |
27189.4623 |
|
0 |
1 |
0 |
2*2*2-0*0*0 |
27189.4623 |
|
|
||||
|
1 |
0 |
0 |
4*4*4-0*0*0 |
27206.1558 |
|
1 |
0 |
0 |
4*4*4-0*0*0 |
27206.1558 |
|
1 |
0 |
0 |
4*4*4-0*0*0 |
27206.1558 |
|
|
||||
|
0 |
0 |
1 |
1*1*1-0*0*0 |
27318.7588 |
|
0 |
0 |
1 |
1*1*1-0*0*0 |
27318.7588 |
|
0 |
0 |
1 |
1*1*1-0*0*0 |
27318.7588 |
按照对称性上面3组算作迭代次数相同。
假设有一个盒子，这个盒子里有9个不同的位置，里边有3个完全相同的粒子，并且两个粒子不能重叠，现在让这3个粒子在这个盒子里自由的运动。
按照热力学第二定律，一个孤立的系统的熵总是增加，这就意味着这个盒子里的3个粒子的相对位置关系的变化是唯一的，有一个特征的顺序。一定是按照有序到无序的顺序在排列。
由训练集AB组成的系统是一个孤立的系统吗？所谓孤立的系统要求不与外界产生物质交换和能量交换。训练集A中只有3个1不会增加，显然是没有物质交换的。训练集相对网络似乎是一个静态的对象，迭代次数再多对训练集也不会有任何影响。所以认为训练集AB组成的系统是一个孤立系统的假设似乎是可能的。
如果AB是一个孤立系统，那AB的排序就仅取决于熵，所以迭代次数不就是熵的倒数吗？
这就意味着迭代次数越小熵越大，信息量也越大，发生的概率越小。如果一次扔9枚硬币，其中3枚朝上，如果只考虑正面反面，那概率是相同的信息量也是相同的。但是如果加入空间变量，考虑硬币之间的位置关系，如果认为无论3枚朝上的硬币之间是如何排列的整体熵都相同，那就没有有序和无序的差别，熵就是定值，也就没有热力学第二定律了。
如果迭代次数表达的是一种包含空间变量的信息熵，那神经网络无比明确的表明，含空间位置的信息熵是相对的不是绝对的。比如3个粒子从3个一行变成3个一列，这个过程是熵增的还是熵减的还是不变？神经网络告诉我们这个排序取决于参照物B，空间的形态，如果B改变了迭代次数的排序就会变。
迭代次数和熵之间关系的一点联想相关推荐
- 神经网络迭代次数的一个近似关系
(A,B)---m*n*k---(1,0)(0,1) 移位距离和假设 用神经网络分类A和B,把参与分类的A和B中的数字看作是组成A和B的粒子,分类的过程就是让A和B中的粒子互相交换位置,寻找最短移位路 ...
- 详细解释：Epoch、batch_size批处理大小、迭代次数之间的关系
Epoch.batch_size批处理大小.迭代次数之间的关系 问题:当遇到参数Epoch时,我们应该将其具体设置多少呢?或者应该迭代多少次呢? 举例说明 问题:当遇到参数Epoch时,我们应该将其具 ...
- 测量一组5层网络的迭代次数
如图左边5层网络很显然可以看作是右边的3层网络两个组合而成的,所以左边的5层网络的迭代次数和右边的3层网络的迭代次数有没有什么关系? 5层 3层 2*10*2*10*2 2*10*2 3*10*3*1 ...
- 一个用于推算神经网络理论收敛迭代次数的方法
神经网络的收敛过程就是输出值从0或者1逐渐逼近0.5的过程,也就是1-δ→0.5或者0+δ→0.5,所以用δ表示收敛标准,假设神经网络收敛迭代次数n与δ的关系为 n=r*δ^( -1*π/2) r是系 ...
- 带卷积核的神经网络的迭代次数与收敛标准的关系
制作一个带有卷积核的神经网络让这个网络向1,0收敛,y[0]向1收敛,y[1]向0收敛.收敛标准用δ表示,当满足条件 while(Math.abs(y[0]-1)> δ || Math.abs ...
- Lr中脚本的迭代次数和场景运行时间的关系
Loadrunner中脚本的迭代次数和场景运行时间的关系 LR 的Vugen和controller中迭代是这样的: 当场景的持续时间为"运行至结束"时,以Vugen中设置的迭代次数 ...
- 交叉熵与KL散度和交叉熵之间的关系
1.熵 熵的本质是香农信息量log1plog\frac{1}{p}logp1 现有关于样本的两个概率分布ppp和qqq,其中ppp为真实分布,qqq为非真实分布.按照真实分布ppp来衡量识别一个样本 ...
- 决定迭代次数的两种效应
由于对称导致的空间结构耦合的不规则效应,和等位点数值差导致的线性效应共同决定了神经网络的迭代次数.而增加训练集图片数量和扩大图片的尺寸都可能弱化对称性,并同时弱化结构耦合的不规则效应,使得线性效应占优 ...
- 形态等位点对迭代次数的贡献
用神经网络分类8123*11和8123*99,在收敛误差一致的情况下他们的迭代次数之间有什么关系?哪个迭代次数更大些? 移位距离和假设 (A,B)---m*n*k---(1,0)(0,1) 用神经网络 ...
最新文章
- Winform根据控件名获取指定控件
- cmd运行python服务器,python如何利用paramiko执行服务器命令
- 神策数据入选“2021CCFA 零售行业技术新锐企业榜单”
- hdfs restful API：httpfs与webhdfs的简单使用
- 四种方式下创建线程启动的区别
- linux实验三makefile,实验平台上Makefile详细的解释
- 2021年第3周LDL方向的周报
- Qt使用socket通信时接收的汉字信息显示时乱码
- VCSA 6.5 HA配置 之四 开启vCenter HA
- 【报告分享】激荡2020--吴晓波疫情特别演讲PPT.pdf（附下载链接）
- sklearn datasets 库使用说明
- 斯坦福大学stanford
- 拓端tecdat|R语言highfrequency高频金融数据导入
- mysql 表的增删改查_MySQL数据表的增删改查
- 烟雾传感器应用程序linux,各种类型烟雾传感器的应用及原理解析
- SpringCachemanager使用Cache(redis作为缓存中间件)
- 北美周末票房榜TOP10 （06.21-23）
- 对话赫拉利与李飞飞：人工智能影响人类的四大问题
- CHM [CHM 电子书 文件格式 定义规范]
- Vue和SuperSlide做轮播效果