用神经网络二分类吸引子与排斥子
制作一个4*4*2结构的神经网络，向这个网络输入吸引子并让这个网络向1，0收敛
将这个网络简单表示成
s（c）-4-4-2-（2*k）,k∈(0,1)
用同样的办法制作一个4*4*2的网络向这个网络输入排斥子，并让这个网络向0，1收敛将这个网络表示成
s（p）-4-4-2-（2*k）,k∈(0,1)
现在用这两个网络组成一个网络，并让4*4*2部分的权重共享，前面大量实验表明这种效果相当于将两个弹性系数为k1，k2的弹簧并联成一个弹性系数为k的弹簧，并且让k1=k2=k/2的过程。
将这两个网络
s（c）-4-4-2-（2*k）,k∈(0,1)
s（p）-4-4-2-（2*k）,k∈(0,1)
合起来简化成
d（c，p）-4-4-2-（2*k）,k∈(0,1)
这个网络的收敛标准是
if (Math.abs(f2[0]-y[0])< δ && Math.abs(f2[1]-y[1])< δ )
因为对应每个收敛标准δ都有一个特征的迭代次数n与之对应因此可以用迭代次数曲线n(δ)来评价网络性能。
本文尝试了δ从0.5到1e-7在内的35个值.
|
具体进样顺序 |
|||
|
进样顺序 |
迭代次数 |
||
|
δ=0.5 |
|||
|
c |
1 |
判断是否达到收敛 |
|
|
p |
2 |
判断是否达到收敛 |
|
|
梯度下降 |
|||
|
c |
3 |
判断是否达到收敛 |
|
|
p |
4 |
判断是否达到收敛 |
|
|
梯度下降 |
|||
|
…… |
|||
|
达到收敛标准测量准确率,记录迭代次数，将这个过程重复199次 |
|||
|
δ=0.4 |
|||
|
… |
|||
|
δ=1e-7 |
|||
其中吸引子为
Random rand1 =new Random();
int ti1=rand1.nextInt(98)+1;
x[0]=((double)ti1/100);
Random rand2 =new Random();
int ti2=rand2.nextInt(98)+1;
x[3]=((double)ti2/100);
排斥子为
Random rand1 =new Random();
int ti1=rand1.nextInt(98)+1;
x[0]=1+((double)ti1/100);
Random rand2 =new Random();
int ti2=rand2.nextInt(98)+1;
x[3]=1+((double)ti2/100);
得到的数据
|
f2[0] |
f2[1] |
迭代次数n |
平均准确率p-ave |
δ |
耗时ms/次 |
耗时ms/199次 |
耗时 min/199 |
|
0.4971798 |
0.6221749 |
77.246231 |
0 |
0.5 |
0.9447236 |
188 |
0.003133333 |
|
0.3845949 |
0.6054663 |
714.47739 |
0 |
0.4 |
1.8542714 |
385 |
0.006416667 |
|
0.461226 |
0.542424 |
1496.4422 |
0 |
0.3 |
3.758794 |
748 |
0.012466667 |
|
0.8074469 |
0.2004141 |
2202.7136 |
0 |
0.2 |
4.9346734 |
982 |
0.016366667 |
|
0.9127876 |
0.091302 |
3383.8744 |
0 |
0.1 |
6.5477387 |
1303 |
0.021716667 |
|
0.9911862 |
0.0090039 |
8291.6432 |
0 |
0.01 |
13.889447 |
2765 |
0.046083333 |
|
0.9991082 |
9.02E-04 |
17873.312 |
0 |
0.001 |
28.422111 |
5704 |
0.095066667 |
|
0.9999093 |
9.12E-05 |
35607.754 |
0 |
1.00E-04 |
56.798995 |
11303 |
0.188383333 |
|
0.9999191 |
8.14E-05 |
37798.116 |
0 |
9.00E-05 |
60.125628 |
11965 |
0.199416667 |
|
0.999928 |
7.24E-05 |
37683.543 |
0 |
8.00E-05 |
59.643216 |
11886 |
0.1981 |
|
0.9999368 |
6.36E-05 |
41542.548 |
0 |
7.00E-05 |
66.874372 |
13308 |
0.2218 |
|
0.9999461 |
5.42E-05 |
40211.523 |
0 |
6.00E-05 |
64.030151 |
12742 |
0.212366667 |
|
0.9999553 |
4.49E-05 |
42300.095 |
0 |
5.00E-05 |
68.236181 |
13595 |
0.226583333 |
|
0.9999638 |
3.63E-05 |
47197.432 |
0 |
4.00E-05 |
76.834171 |
15290 |
0.254833333 |
|
0.9999733 |
2.69E-05 |
48845.975 |
0 |
3.00E-05 |
77.954774 |
15514 |
0.258566667 |
|
0.999982 |
1.81E-05 |
56957.04 |
0 |
2.00E-05 |
91.623116 |
18233 |
0.303883333 |
|
0.999991 |
9.00E-06 |
63660.739 |
0 |
1.00E-05 |
103.31658 |
20575 |
0.342916667 |
|
0.9999918 |
8.28E-06 |
65146.025 |
0 |
9.00E-06 |
104.68342 |
20864 |
0.347733333 |
|
0.9999928 |
7.22E-06 |
67970.698 |
0 |
8.00E-06 |
109.41206 |
21773 |
0.362883333 |
|
0.9999937 |
6.32E-06 |
70787.05 |
0 |
7.00E-06 |
114.21106 |
22728 |
0.3788 |
|
0.9999946 |
5.44E-06 |
74924.146 |
0 |
6.00E-06 |
120.14573 |
23925 |
0.39875 |
|
0.9999955 |
4.49E-06 |
77173.342 |
0 |
5.00E-06 |
123.59296 |
24612 |
0.4102 |
|
0.9999964 |
3.65E-06 |
78510.518 |
0 |
4.00E-06 |
126.51759 |
25193 |
0.419883333 |
|
0.9999973 |
2.71E-06 |
83886.447 |
0 |
3.00E-06 |
136.93467 |
27281 |
0.454683333 |
|
0.9999982 |
1.81E-06 |
97791.07 |
0 |
2.00E-06 |
157.86935 |
31417 |
0.523616667 |
|
0.9999991 |
8.99E-07 |
104116.33 |
0 |
1.00E-06 |
168.39698 |
33511 |
0.558516667 |
|
0.9999992 |
8.16E-07 |
113022.57 |
0 |
9.00E-07 |
182.17588 |
36285 |
0.60475 |
|
0.9999993 |
7.26E-07 |
113242.4 |
0 |
8.00E-07 |
181.37688 |
36094 |
0.601566667 |
|
0.9999994 |
6.35E-07 |
113600.84 |
0 |
7.00E-07 |
182.63317 |
36360 |
0.606 |
|
0.9999995 |
5.44E-07 |
125167.88 |
0 |
6.00E-07 |
202.27638 |
40253 |
0.670883333 |
|
0.9999995 |
4.56E-07 |
127589.14 |
0 |
5.00E-07 |
205.37186 |
40869 |
0.68115 |
|
0.9999996 |
3.64E-07 |
126430.22 |
0 |
4.00E-07 |
204.93467 |
40798 |
0.679966667 |
|
0.9999997 |
2.71E-07 |
133013.72 |
0 |
3.00E-07 |
214.10553 |
42607 |
0.710116667 |
|
0.9999998 |
1.83E-07 |
144383.77 |
0 |
2.00E-07 |
234.1809 |
46602 |
0.7767 |
|
0.9999999 |
9.06E-08 |
173535.34 |
0 |
1.00E-07 |
281.52764 |
56024 |
0.933733333 |
得到迭代次数曲线
迭代次数随着δ的减小不断增加。
从表格可以合理假设当δ无限减小的时候迭代次数n会随着无限增加，就向在吸引子和排斥子之间有一种排斥力随着两个分类对象的接近而增加；或者也可以理解成两个对象之间的排斥力之所以随着距离的减小而增加是因为两个对象在任意小的精度上的差别都在变小，但两个对象的差别在任意小的精度上一直存在。
实验参数
|
学习率 0.1 |
|
权重初始化方式 |
|
Random rand1 =new Random(); |
|
int ti1=rand1.nextInt(98)+1; |
|
tw[a][b]=xx*((double)ti1/100); |
用神经网络二分类吸引子与排斥子相关推荐
- 二分类吸引子，排斥子，鞍点和反鞍点数据汇总
r1 r2 <1 <1 吸引子 c >1 >1 排斥子 p >1 <1 鞍点 a <1 >1 反鞍点 fa 图中的2*2数组有可能构成4种对象, ...
- 用神经网络二分类人脑与电脑
如果一个对象A,无论与B或C分类,分类的准确率都是50%,则A为一个具有智慧的对象. 用符号表示 ∵ (A,B)-n*m*k-(1,0)(0,1) 50%:50% ① (A,C)-n* ...
- 用神经网络二分类理论重述双原子化合物的成键过程
电子是物质的共有成分,物质的化学性质完全由核外电子决定. 一个化合物的化学性质也当然的仅由核外电子决定,因此核外电子应该携带了实现成键原子彼此分类的全部信息. 比如Na和Cl成键,形成了一个公共的电子 ...
- 神经网络二分类问题范例,神经网络解决分类问题
求运用BP神经网络算法处理分类问题的源程序,例如输入蚊子的翼长和触角长,输出蚊子类型与此类似的源程序 30 这种分类的案例很多,附件里面就有这类案例.主要还是要形成样本,输入输出都做好,进行训练,训练 ...
- 吸引子矩阵和鞍点矩阵可以用神经网络二分类吗？
制作一个4*4*2结构的神经网络,向这个网络输入吸引子并让这个网络向1,0收敛 将这个网络简单表示成 s(c)-4-4-2-(2*k),k∈(0,1) 用同样的办法制作一个4*4*2的网络向这个网络输 ...
- 是否所有二分类神经网络的准确率都能无限趋近100%？
制作一个二分类的神经网络验证是否只要经过足够的迭代都能使准确率无限上升并接近1. r1 r2 <1 <1 吸引子 c >1 >1 排斥子 p >1 <1 鞍 ...
- 二分类排斥子和鞍点的准确率的表达式pa
r1 r2 <1 <1 吸引子 c >1 >1 排斥子 p >1 <1 鞍点 a <1 >1 反鞍点 fa 本文制作一个二分类网络用来分类p和a ...
- 【神经网络】(7) 迁移学习（CNN-MobileNetV2），案例：乳腺癌二分类
各位同学好,今天和大家分享一下Tensorflow2.0中如何使用迁移学习的方法构造神经网络.需要数据集的在评论区留个言. 1. 迁移学习 官方文档:Module: tf.keras.applicat ...
- 吴恩达老师深度学习视频课笔记：单隐含层神经网络公式推导及C++实现(二分类)
关于逻辑回归的公式推导和实现可以参考: http://blog.csdn.net/fengbingchun/article/details/79346691 下面是在逻辑回归的基础上,对单隐含层的神经 ...
最新文章
- 一图看懂BCH和BTC的区块费用差距到底有多大？
- 每天多一点（2016.12.04）》Javascript隐式转换
- UA OPTI570 量子力学 公式与结论总结1 角动量基础
- 垂直领域出海，多语言预训练好使吗？
- 如何使用SAP Cloud for Customer里的ABSL代码调用Web service
- TypeScript 联合类型(union type)
- Mac OS X Terminal 101：终端使用初级教程以及Xcode
- oracle 结果集已耗尽_java.sql.SQLException: 结果集已耗尽
- 基于mpi的奇偶排序_基于MPI的PSRS并行排序算法的实现
- 1.12 Linux查看用户信息
- Ubuntu命令技巧
- 深度学习：GAN案例练习-minst手写数字
- centos是什么操作系统
- 内存管理之页转换 virt_to_page
- 【C++】整型溢出问题
- 单载波频域均衡matlab仿真,包括卷积编码维特比译码,矩阵交织,QPSK调制解调,导频插入,MMSE-FDE频域均衡
- 阿里云边缘云场景化商业实践
- 94 年出生，她们如今都是 985 高校博士生导师
- 阿里SendSms短信服务
- 三种常见的移动底盘运动学模型分析
热门文章
- php v9 分页静态,PHPCMS V9自定义栏目伪静态实现方法(列表页/分页/内容页)
- linux node 文件存放目录_Linux文件与目录结构
- 全选或者单选checkbox的值动态添加到div
- idea 在tomcat中部署的时候 莫名其妙的错误
- ubuntu下virtualbox使用u盘
- css sprite css雪碧图生成工具
- My First Blog on cnblogs (现代程序设计 Homework-01)
- Xap packaging failed ， Object reference not set to an instance of an object.
- 这样保养让你皮肤变水嫩 - 健康程序员，至尚生活！
- VC++环境OpenSSL简单编程入门