虽然拿不出数学证明，但是现在我个人的实验表明对应特定的收敛标准神经网络的迭代次数和迭代次数的分布都是特征的。这种特征非常类似化学上的光谱，所以是否有可能利用这种光谱来分类神经网络？

(mnist 0 ,mnist x)81-30-2-(1,0) || (0,1)

分别制作了9个网络来二分类mnist的0-1到0-9.

网络结构是81*30*2，让0向（1，0）收敛，让x向（0，1）收敛。

设定这个网络停止迭代的标准是

|输出函数-目标函数|<δ

让δ=1e-6，重复999次，统计平均值和分布，然后用得到的数据画图。

得到的数据表格

0-1

53882

63878

72108

73874

75502

82104

83870

85498

92100

                                                                
 

5

348

1

435

68

30

74

36

2

                                                                

0-2

14610

17600

18466

24606

27596

28462

34602

37592

40288

44598

47502

47588

54594

57572

57584

                                                    
 

1

26

46

34

287

29

31

338

1

18

3

159

3

1

22

                                                    

0-3

50729

60411

60631

60725

68981

69862

70341

70407

70547

70605

70627

70721

76308

78977

79858

80337

80403

80425

80543

80623

80717

82132

84161

85946

86304

86375

87046

88973

89226

89854

90333

90399

90421

90619

90713

92128

95942

98969

1E+05

    
 

4

9

7

176

3

1

2

77

2

1

70

350

2

13

7

8

43

3

2

22

142

1

2

7

4

1

1

5

1

7

1

1

3

1

15

1

2

1

1

    

0-4

17072

23196

26250

27068

32080

33192

37064

42076

43188

47060

52072

53184

57056

                                                        
 

1

1

9

322

1

1

497

10

16

127

4

4

6

                                                        

0-5

14646

15898

19942

22618

24642

25816

25894

29478

29924

29938

32614

39934

39940

                                                        
 

199

70

241

59

32

2

2

1

1

376

9

6

1

                                                        

0-6

50757

52575

52621

57079

57275

58649

58791

58837

60463

60753

62571

62617

63525

67073

67075

67271

67349

68645

68787

68833

69117

69237

70459

70749

72567

72613

77071

77267

77345

78517

78641

78783

78829

79113

79233

80455

80745

87067

      
 

6

8

2

1

1

2

2

22

74

204

29

38

1

3

48

34

14

17

21

45

8

3

220

117

7

6

15

10

3

4

3

6

3

2

1

12

4

3

      

0-7

14416

15788

17210

18460

21218

24412

25784

27206

28456

34408

35780

38452

                                                          
 

6

3

82

538

54

160

8

51

91

3

2

1

                                                          

0-8

43373

43851

43963

50729

51547

51643

52485

52869

52905

53369

53469

53639

53643

53663

53847

53959

55743

55749

56805

57147

60725

60911

61543

61639

62481

63659

63843

63955

63997

65739

66109

66801

67143

71539

72477

73127

73655

73839

73993

75735

76797
 

1

1

2

24

13

44

1

1

1

2

3

2

1

94

100

57

58

3

37

39

54

2

134

36

20

102

65

7

2

50

2

16

4

4

1

1

1

3

2

5

4

0-9

50560

52046

52236

57582

60556

62042

62232

67578

70552

70870

70982

72038

72228

77574

80866

80914

80978

82034

90910

90974

92030

                                        
 

1

11

12

3

15

249

26

10

6

1

72

394

8

6

1

1

71

89

1

11

11

                                        
 

f2[0]

f2[1]

迭代次数n

平均准确率p-ave

δ

耗时ms/次

耗时ms/999次

最大值p-max

0-1

8.35E-07

0.999999

71843.86

0.999622

1.00E-06

1177.159

1175999

1

0-2

7.96E-07

0.999999

34757.467

0.985059

1.00E-06

647.1351

646488

0.988569

0-3

0.965965

0.034035

72074.481

0.990897

1.00E-06

1297.528

1296247

0.99397

0-4

7.68E-07

0.999999

35365.608

0.989317

1.00E-06

651.8589

651238

0.995413

0-5

7.46E-07

0.999999

22971.994

0.983244

1.00E-06

402.9279

402540

0.987714

0-6

0.999999

8.98E-07

66716.001

0.987435

1.00E-06

1219.633

1218413

0.990196

0-7

8.30E-07

0.999999

20945.708

0.991728

1.00E-06

401.4324

401047

0.994444

0-8

0.999999

8.97E-07

58868.173

0.99014

1.00E-06

1076.166

1075122

0.992835

0-9

8.56E-07

0.999999

70491.069

0.991119

1.00E-06

1296.209

1294918

0.992459

比如对应第一组数据0-1表明让网络分类0和1在δ=1e-6时迭代次数平均需要71843次，对应这71843次一共有9个值从53882到92100，而这9个值不是连续的，出现次数最多的是73874共出现了435次。出现次数最少的72108只出现了一次。

将第一组数据画成图

有两个明显的主峰分别是73874和63878，占比接近43.5%和34.8%

第二组数据

0-2的谱有明显的3个主峰分别是27596，37592，47588，占比分别是28.7%，33.8%，15.9%

0-3的谱

0-3的平均迭代次数为72074但出现了39个不同的数据，有3个明显的主峰本别是60725，70721，80717，占比分别是17.6%，35%，14.2%。另外在80543到100709这段高频区间出现了15个小于等于3的小峰。

0-4的谱

0-4的主峰也有3个，位置分别是27068，37064，47060，占比分别是32.2%，49.7%，12.7%。比较特别的这3个主峰的位置很接近0-2的主峰的位置

0-2

27596

37592

47588
 

287

338

159

0-4

27068

37064

47060
 

322

497

127
 

0.981

0.986

0.989

比较0-4和0-2三个数峰的位置，0-4的主峰比0-2的三个主峰的位置大约都小了1%-2%。0-4主峰37064的占比高达49.7%，是1-9所有统计中第二高的峰值。

0-5的谱

0-5有三处主峰14646，19942，29938，占比分别是19.9%，24.1%，37.6%

0-6的谱

0-6的迭代次数的平均值是68667，出现了38个值，峰值的数量和0-3的数量相差不多，有两个主峰60753和70459占比分别是20.4%，22%，比较特别的在这两个主峰的附近都有一个明显的伴峰占比7.4%的60463和占比11.7%的70749显示了一种精细的二级结构。在低频区和高频区还有两处强度小于等于3的小峰丛。

0-7的谱

0-7的谱只有一个非常明显的主峰18460占比53.8%这也是所有9张谱中最强的峰值，特征非常明显。

0-8的谱

0-8的平均迭代次数是60100，出现了41个峰值，这个也侧面佐证了相对0而言3，6，8的外形比较像。但与0-3和0-6不同0-8的主峰不明显，最大的峰值61543占比也仅有13..4%。在大于60911的高频区出现了8个小于等于3的小峰构成了一丛，在43373到55749的低频区有11个小于等于3的小峰构成了另一丛。

0-9的谱

0-9有两个明显的主峰62042和72038占比分别是24.9%和39.4%。这两个主峰的位置和0-6的两个主峰的位置很接近

0-6

60753

70459
 

204

220

0-9

62042

72038
 

249

394

1.021

1.022

但是0-9的主峰的位置比0-6的两个主峰的位置大了2%，0-9在低频区和高频区也有两个不是非常明显的两个小峰丛。侧面佐证了6和9结构上的对称关系。

因此这9张谱图都是高度特征的，主峰的强度和位置都不同，有稳定精细的结构，可以比较容易的用化学上的读谱法区分这9个网络，就像区分9种结构不同的分子。

用特征光谱分类神经网络相关推荐

  1. 机器学习 竞争神经网络与自组织特征映射神经网络(SOFM)

    本文按照 案例-分析-代码-原理 四段式进行介绍,为便于有一定理论基础的童鞋进行学习,将原理以链接其他博客的形式给出,有兴趣的童鞋可以跳转进行学习和推敲. [案例介绍]利用竞争神经网络和自组织特征隐射 ...

  2. 机器学习之自组织特征映射神经网络（SOM）

    SOM是一类"无监督学习"模型,一般的用法是将高维的input数据在低维的空间表示,因此SOM天然是一种降维方法.除了降维,SOM还可以用于数据可视化,以及聚类等应用中[2]. 定 ...

  3. 关于SOM（self-organized map）自组织特征映射神经网络的理解

    som网络结构 对SOM进行理解,首先要明确它的定位. 首先它是神经网络的一种,那么就有属于神经网络共同的性质.比如输入层,输出层.刚好,SOM网络只有这两层. (上面两张是典型的som网络结构图) ...

  4. 自组织特征映射神经网络（SOFM）

    1981年芬兰 Helsink 大学的 T·Kohonen 教授提出一种自组织特征映射网 (Self-Organizing Feature Map , SOFM ), 又称 Kohonen 网 . K ...

  5. 深度神经网络的特征表示,神经网络识别图像原理

    有哪些深度神经网络模型? 目前经常使用的深度神经网络模型主要有卷积神经网络(CNN).递归神经网络(RNN).深信度网络(DBN).深度自动编码器(AutoEncoder)和生成对抗网络(GAN)等. ...

  6. 揭秘自编码器，一种捕捉数据最重要特征的神经网络（视频+代码）

    YouTube网红小哥Siraj Raval系列视频又和大家见面啦!今天要讲的是自编码器Autoencoder. 时长8分钟 有中文字幕 点击观看 ▼ 首先,自编码器是一个神经网络. 如果我们得到的数 ...

  7. 可解释性：对神经网络中层特征复杂度的解释与拆分

    文 | 任洁,李明杰,刘泽旭 源 | 知乎 大家好,我们是任洁,李明杰和刘泽旭,本研究是在张拳石老师 @Qs.Zhang张拳石 指导下完成的工作. 随着深度神经网络的应用日益广泛,可解释性也逐渐受到更 ...

  8. 神经网络提取图片特征,神经网络算法识别图像

    如何用Python和深度神经网络寻找相似图像 代码首先,读入TuriCreate软件包import turicreate as tc我们指定图像所在的文件夹image,让TuriCreate读取所有的 ...

  9. 人工神经网络基本构成有哪些具有什么特征

    人工神经网络的特点有哪些 人工神经网络的特点和优越性,主要表现在三个方面: 第一,具有自学习功能.例如实现图像识别时,只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络,网络就会通过自学习 ...

最新文章

  1. Win7 一键获得管理所有权限（最高权限）注册表
  2. 如何根据SAP CRM扩展字段的UI标签找到其ID
  3. 记录请求的耗时（拦截器、过滤器、aspect）
  4. git fork clone 区别_我的Git笔记
  5. MaterialDesign之NavigationView和DrawerLayout实现侧滑菜单栏
  6. EF6 CodeFirst+Repository+Ninject+MVC4+EasyUI实践(九)
  7. 我是如何从通信成功转型为 Java 软件开发工程师的？
  8. 贺利坚老师汇编课程54笔记：OF溢出标志OVERFLOW FLAG
  9. hexo init报错
  10. matlab 均匀设计编程,均匀设计均匀设计表--方开泰.doc
  11. ccs加载out文件,TI CCS3.3 out文件转bin文件说明
  12. 电脑右下角没有看到小喇叭图标了该怎么办
  13. tomcat7 性能优化
  14. win10怎样设置远程桌面连接到服务器配置,win10设置远程桌面连接
  15. 面试必问题：缓存击穿、缓存穿透、缓存雪崩，你还傻傻分不清
  16. 为技术发声，因分享发光——最受开发者欢迎的“开发者布道师”评选结果来啦！...
  17. C++中的模板及其使用
  18. 面试题01.05.一次编辑
  19. 与Mr. Zuul男神的亲密接触 | 温哥华峰会Day3
  20. SQL Server 简单模式下，误删除堆表记录如何恢复（绕过页眉校验）

热门文章

  1. 1003 我要通过！ (20 分) python版答案（全部代码都有注释）
  2. 建立随机矩阵，及生成新矩阵
  3. 强连通分量的分解（转博客园）
  4. docker-部署elk-6.1.3
  5. 酷欧天气(CoolWeather)应用源码
  6. 获取Executor提交的并发执行的任务返回结果的两种方式/ExecutorCompletionService使用...
  7. delphi 16 网页缩放
  8. 顺子对百录收录的看法
  9. UA MATH575B 数值分析下 计算统计物理例题2
  10. ASP.NET Razor （标记）语言概要