二分类神经网络的特征光谱---1-2至1-9
制作一个二分类的神经网络来分类mnist的1和2到1和9,网络结构是
(mnist 0 ,mnist x)81-30-2-(1,0) || (0,1)
将28*28的图片压缩到9*9,三层网络的节点数量分别是81*30*2,让1向(1,0)收敛让x向(0,1)收敛,让x分别等于2-9.网络的迭代停止的标准是:
|输出函数-目标函数|<δ
让δ=1e-6,重复收敛999次,统计平均值和分布,然后用得到的迭代次数的分布数据画图
网络性能的综合数据
f2[0] |
f2[1] |
迭代次数n |
平均准确率p-ave |
δ |
耗时ms/次 |
耗时ms/999次 |
最大值p-max |
主峰位置 |
主峰强度 |
峰数量 |
|
1-2 |
0.999999 |
7.91E-07 |
28623.66 |
0.988459836 |
1.00E-06 |
550.6747 |
550142 |
0.993536 |
25547 |
80.10% |
8 |
1-3 |
0.004005 |
0.9959951 |
106917.1 |
0.993804439 |
1.00E-06 |
2078.573 |
2076495 |
0.998134 |
111024 |
28.10% |
38 |
1-4 |
0.999999 |
6.39E-07 |
22685.28 |
0.99255541 |
1.00E-06 |
247.5656 |
247350 |
0.994802 |
18067 |
51.70% |
4 |
1-5 |
0.826826 |
0.1731737 |
78103.31 |
0.993875909 |
1.00E-06 |
1479.884 |
1478416 |
0.996051 |
75699 |
13.40% |
56 |
1-6 |
0.999999 |
8.06E-07 |
20213.1 |
0.993139889 |
1.00E-06 |
345.5656 |
345240 |
0.994264 |
20187 |
68.20% |
9 |
1-7 |
0.999999 |
7.83E-07 |
24778.82 |
0.977754699 |
1.00E-06 |
464.7958 |
464363 |
0.987348 |
27857 |
49.50% |
9 |
1-8 |
0.010011 |
0.9899891 |
154130.7 |
0.991875707 |
1.00E-06 |
2846.962 |
2844120 |
0.996681 |
154366 |
19.80% |
53 |
1-9 |
0.997997 |
0.0020028 |
40372.43 |
0.9907244 |
1.00E-06 |
784.5295 |
783778 |
0.99347 |
35239 |
55.50% |
15 |
比如第一组数据用网络分类mnist的1和2,重复收敛了999次,平均迭代次数是28623次,平均准确率是98.8%,共耗时大约9分钟,准确率最大的一次是99.3%。
得到的迭代次数统计数据
1-2 |
25547 |
31479 |
32789 |
35543 |
40279 |
41475 |
42785 |
50275 |
||||||||||||||||||||||||||||||||||||||||||||||||||
801 |
1 |
5 |
7 |
82 |
34 |
66 |
3 |
|||||||||||||||||||||||||||||||||||||||||||||||||||
1-3 |
84958 |
88690 |
91032 |
91680 |
91706 |
93548 |
94900 |
94954 |
97972 |
98686 |
100876 |
101028 |
101676 |
101702 |
102049 |
103544 |
104810 |
104896 |
104950 |
105120 |
107968 |
108226 |
108682 |
109751 |
110872 |
111024 |
111698 |
113540 |
114624 |
114892 |
114946 |
115116 |
117964 |
119747 |
120868 |
121020 |
124942 |
130864 |
||||||||||||||||||||
1 |
2 |
5 |
3 |
4 |
1 |
1 |
43 |
1 |
2 |
2 |
221 |
10 |
18 |
1 |
6 |
2 |
10 |
213 |
1 |
3 |
2 |
2 |
1 |
35 |
281 |
4 |
1 |
1 |
3 |
54 |
1 |
1 |
2 |
28 |
28 |
1 |
4 |
|||||||||||||||||||||
1-4 |
18067 |
23467 |
25243 |
28063 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||
517 |
23 |
35 |
424 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||
1-5 |
48178 |
48398 |
57659 |
58394 |
65703 |
67655 |
68170 |
68304 |
68390 |
68748 |
69045 |
70499 |
70519 |
70813 |
72409 |
73431 |
75699 |
77651 |
78166 |
78274 |
78300 |
78386 |
78458 |
78744 |
79041 |
79121 |
79267 |
79587 |
80495 |
80515 |
80809 |
82405 |
83427 |
85302 |
85695 |
87647 |
88162 |
88270 |
88296 |
88382 |
88454 |
88740 |
89263 |
89583 |
90491 |
90805 |
92401 |
93423 |
95691 |
97643 |
98266 |
98292 |
98450 |
98736 |
103419 |
113415 |
||
1 |
2 |
3 |
10 |
106 |
66 |
10 |
10 |
14 |
1 |
1 |
1 |
1 |
94 |
1 |
1 |
134 |
51 |
20 |
1 |
25 |
10 |
1 |
2 |
1 |
1 |
4 |
11 |
15 |
1 |
111 |
11 |
57 |
1 |
20 |
19 |
14 |
4 |
21 |
8 |
2 |
2 |
1 |
7 |
7 |
6 |
6 |
69 |
1 |
4 |
3 |
8 |
1 |
2 |
13 |
2 |
|||
1-6 |
19407 |
19731 |
20187 |
20777 |
20803 |
27211 |
29403 |
29727 |
30183 |
|||||||||||||||||||||||||||||||||||||||||||||||||
135 |
59 |
682 |
86 |
26 |
5 |
4 |
1 |
1 |
||||||||||||||||||||||||||||||||||||||||||||||||||
1-7 |
17861 |
24259 |
25511 |
27857 |
34255 |
34827 |
43731 |
44251 |
44823 |
|||||||||||||||||||||||||||||||||||||||||||||||||
312 |
121 |
9 |
495 |
46 |
6 |
1 |
8 |
1 |
||||||||||||||||||||||||||||||||||||||||||||||||||
1-8 |
124378 |
126998 |
132682 |
132714 |
134374 |
136994 |
141292 |
141394 |
142286 |
142678 |
142710 |
144370 |
144686 |
146528 |
146990 |
148986 |
151288 |
151390 |
152282 |
152674 |
152706 |
154366 |
154682 |
156524 |
156986 |
158893 |
161090 |
161284 |
161386 |
162278 |
162670 |
162702 |
164362 |
166520 |
166982 |
167645 |
168889 |
171280 |
171382 |
172274 |
172666 |
172698 |
174358 |
176978 |
178885 |
180244 |
181276 |
181378 |
184354 |
186974 |
191374 |
194350 |
196970 |
|||||
4 |
4 |
2 |
5 |
47 |
27 |
4 |
1 |
1 |
4 |
11 |
176 |
1 |
1 |
75 |
1 |
7 |
7 |
2 |
26 |
27 |
198 |
1 |
2 |
83 |
6 |
1 |
7 |
11 |
1 |
12 |
14 |
87 |
2 |
41 |
1 |
1 |
4 |
9 |
3 |
1 |
1 |
38 |
18 |
2 |
1 |
2 |
2 |
7 |
5 |
2 |
1 |
2 |
||||||
1-9 |
25243 |
35239 |
45235 |
55231 |
65227 |
75223 |
85219 |
107303 |
115095 |
117299 |
119793 |
122751 |
129301 |
136446 |
156438 |
|||||||||||||||||||||||||||||||||||||||||||
68 |
555 |
266 |
77 |
18 |
4 |
2 |
1 |
1 |
1 |
1 |
2 |
1 |
1 |
1 |
比如第一组1-2,虽然平均值是28623但是只有8个离散的迭代次数,其中25547占比达到80.1%。
将1-2画成图
只有一个主峰非常明显,这也是1-2至1-9共8个谱中信号强度最强的一个主峰。虽然主峰如此明显但是1-2并不是分类准确率最高的。按照准确率排名1-2仅好于1-7
1-5>1-3>1-6>1-4>1-8>1-9>1-2>1-7
平均准确率p-ave |
最大值p-max |
主峰位置 |
主峰强度 |
峰数量 |
|
1-7 |
0.977755 |
0.987348 |
27857 |
49.50% |
9 |
1-2 |
0.98846 |
0.993536 |
25547 |
80.10% |
8 |
1-9 |
0.990724 |
0.99347 |
35239 |
55.50% |
15 |
1-8 |
0.991876 |
0.996681 |
154366 |
19.80% |
53 |
1-4 |
0.992555 |
0.994802 |
18067 |
51.70% |
4 |
1-6 |
0.99314 |
0.994264 |
20187 |
68.20% |
9 |
1-3 |
0.993804 |
0.998134 |
111024 |
28.10% |
38 |
1-5 |
0.993876 |
0.996051 |
75699 |
13.40% |
56 |
直观上2和7的外形与1比较相近,因而分辨准确率较低,因为外形相近峰数量比较少,并进而导致峰的分布比较集中。3和5的外形与1的外形差异比较大,因而有比较多的比较位点,并进而产生了更多的峰,并导致主峰相对强度不是很高,但是分辨准确率很高。
但这种方法不能解释1-4,1-6和1-8,1-9,因为1-4,1-6的峰数量更少但是准确率却更高,或许可以假设除了峰数量和峰强度外还有一个表示峰价值的参数存在,三个参数共同作用决定分类准确率。
1-3的谱
有3个明显的主峰分别是101028,104950,111024强度分别是22.1%,21.3%,28.1%,
这张图里有非常明显的一个等距的关系
101028-94954=111024-104950=121020-114946=6074
1-4的谱
这张谱只有4个峰值,18067占比51.7%,28063占比42.4%。
这个测试的网络的进样顺序是一样的,也就是999次的实验除了每次的权重不同以外没有其他的差别,但是只有明显的4个峰值,这个现象表明如果把权重看作一个随机数列,这个随机数列对网络
(mnist 0 ,mnist 4)81-30-2-(1,0) || (0,1)
只有4种可能。也就是可以把神经网络的迭代次数的分布理解成是对随机数列的分类。
1-5的谱
1-5的三个主峰分别是65703,75699,80809,强度分别是10.6%,13.4%,11.1%。这三个主峰分别有三个伴峰67655,77651,83427,这三个伴峰大约都在主峰1.03%的位置。
70813-65703,80809-75699这4个峰是等间距分布的,间距5110.
1-6的谱
1-6有一个非常明显的主峰20187,占比68.2%。8张图里峰值强度排名第二的峰,特征非常明显。
1-7的谱
1-7前3个主峰17861,24259,27857占比31.2%,12.1%,49.5%。
这张图里也有一个等距的关系24259-17861=34255-27857=6398
1-8的谱
1-8的谱中强度大于10%的只有两个峰144370,154366强度分别是17.6%,19.8%。
这张图的等距关系更为明显
主峰 |
伴峰 |
|
144370-134374 |
146990-136994 |
|
154366-144370 |
156986-146990 |
|
164362-154366 |
166982-156986 |
|
174358-164362 |
176978-166982 |
|
9996 |
9996 |
5个主峰和5个伴峰他们之间都是等间距分布。
1-9的谱
1-9中强度大于10%的峰值有两个35239,45235强度分布是55.5%,26.6%,
这张图的等距关系更为明显35239-25243=45235-35239=55231-45235=65227-55231=75223-65227=85219-75223=9996
这8张谱的峰值的位置和强度都特征明显,足以将对应的网络分开。
二分类神经网络的特征光谱---1-2至1-9相关推荐
- 二分类神经网络的特征光谱---2-3至2-9
用特征迭代次数的方法构造神经网络的光谱, 网络结构是 (mnist 2 ,mnist x)81-30-2-(1,0) || (0,1) 将28*28的图片压缩到9*9,三层网络的节点数量分别是81*3 ...
- Lesson 8.38.4 二分类神经网络torch.nn.functional实现单层二分类网络的正向传播
二.二分类神经网络:逻辑回归 1 二分类神经网络的理论基础 线性回归是统计学经典算法,它能够拟合出一条直线来描述变量之间的线性关系.但在实际中,变量之间的关系通常都不是一条直线,而是呈现出某种曲线关系 ...
- 用二分类神经网络估算多分类神经网络迭代次数的经验公式
神经网络的迭代次数n和收敛误差δ总能满足关系式 一个多分类网络的参数a至少大于对应二分类网络的参数a的和,参数b的绝对值约等于对应多个二分类网络b的绝对值的最大值 本文再次验证这个关系式,这次用的13 ...
- 是否所有二分类神经网络的准确率都能无限趋近100%?
制作一个二分类的神经网络验证是否只要经过足够的迭代都能使准确率无限上升并接近1. r1 r2 <1 <1 吸引子 c >1 >1 排斥子 p >1 <1 鞍 ...
- 二分类神经网络结果准确率50%,loss一直在0.69的解决方法
先参考这篇文章,了解为什么loss是0.69 链接:https://www.jianshu.com/p/45c2180cab17 这个问题很多人在训练自己或者迁移别的网络的时候都会遇到,特别是二分类这 ...
- LESSON 10.110.210.3 SSE与二分类交叉熵损失函数二分类交叉熵损失函数的pytorch实现多分类交叉熵损失函数
在之前的课程中,我们已经完成了从0建立深层神经网络,并完成正向传播的全过程.本节课开始,我们将以分类深层神经网络为例,为大家展示神经网络的学习和训练过程.在介绍PyTorch的基本工具AutoGrad ...
- 【神经网络】(7) 迁移学习(CNN-MobileNetV2),案例:乳腺癌二分类
各位同学好,今天和大家分享一下Tensorflow2.0中如何使用迁移学习的方法构造神经网络.需要数据集的在评论区留个言. 1. 迁移学习 官方文档:Module: tf.keras.applicat ...
- 吴恩达老师深度学习视频课笔记:单隐含层神经网络公式推导及C++实现(二分类)
关于逻辑回归的公式推导和实现可以参考: http://blog.csdn.net/fengbingchun/article/details/79346691 下面是在逻辑回归的基础上,对单隐含层的神经 ...
- 使用神经网络做二分类,输出层需要几个神经元?应该选择哪一种激活函数?如果要处理minst数据、输出层需要几个神经元?使用那种激活函数?如果使用神经网络预测房价,输出层需要几个神经元、使用什么激活函数?
使用神经网络做二分类,输出层需要几个神经元?应该选择哪一种激活函数?如果要处理minst数据.输出层需要几个神经元?使用那种激活函数?如果使用神经网络预测房价,输出层需要几个神经元.使用什么激活函数? ...
最新文章
- 六个方法助您优化云存储成本
- iOS架构-cocoaPods之自制私有库及管理(17)
- Excel exportExcel.cs 一个生成.xls文件的例子
- 社交电商这条路,也许只有腾讯能走远
- 使用timer定时器,防止事件重入
- 强化学习-动态规划_强化学习-第4部分
- spawn-fcgi 启动python 程序失败
- Flex与.NET互操作(十六):FluorineFx + Flex视频聊天室案例开发
- java编程——【Mybatis】之${}和#{}的区别
- 如何阻止EditText专注于Android中的Activity启动
- 基于Jupyter完成Iris数据集的 Fisher线性分类,学习数据可视化技术
- 2021-06-13读写锁=独占锁与共享锁
- html5文字游戏引擎,HTML5游戏实战(3): 60行代码实现水平跑酷游戏
- c语言汇率转换代码_拜求c语言编写的人民币大小写转换的代码!
- 神雕侠侣手游服务器维护,《神雕侠侣》2020年6月18日更新维护新服开启公告
- ppt怎么修改页面布局
- 华为路由器Talent服务配置
- java怎样找出迷宫中所有路径_Java寻找迷宫路径
- Vue中使用file类型input标签,无法使用reset方法清空已经选择的文件【简单粗暴的解决方案】
- [sdm660 android9.0]GPIO的使用配置方法
热门文章
- 正则表达式的匹配模式
- java mybatis拦截配置_SpringMvc拦截器配置_JavaEE框架(Maven+SpringMvc+Spring+MyBatis)全程实战教程_Java视频-51CTO学院...
- antv图例出现分页_2020,贴地飞行的 AntV 设计
- STM32F405的 ADC参考电压选择问题
- python csv 模块的使用
- Apache2.4中开通HTTP基本认证
- logrotate 进行nginx日志分割
- STL Priority_Queue
- Python 二维数组
- 矩阵分析与多元统计12 0-1矩阵 交换矩阵简介