作一个5分类网络分类mnist的0，1，2，3，4.用3*3的卷积核，卷积核数量从1个到36个，收敛标准为1e-4，每个网络收敛199次，共收敛了36*199次。比较平均分类准确率，来判断这个网络到底应该用多少个卷积核。

实验得到的数据

con

f2[0]

f2[1]

f2[2]

f2[3]

f2[4]

迭代次数n

平均准确率p-ave

δ

耗时ms/次

耗时ms/199次

耗时 min/199

最大值p-max

平均值标准差

1

0.3969992

3.98E-05

0.0503128

0.4673393

0.0854662

104470.93

0.9590255

1.00E-04

7423.3367

1477250

24.620833

0.9680872

0.0043556

2

0.5326588

4.04E-05

0.0603636

0.371877

0.0352327

91750.819

0.9702316

1.00E-04

12125.719

2413018

40.216967

0.9780113

0.0035651

3

0.6381764

0.0100856

0.0452943

0.2713923

0.035238

86584.065

0.9738819

1.00E-04

16815.226

3346247

55.770783

0.9820977

0.0040536

4

0.6381738

4.73E-05

0.1106123

0.2211455

0.0302111

86691.578

0.9767782

1.00E-04

22660.191

4509378

75.1563

0.9832652

0.0037532

5

0.6331478

0.0100947

0.075442

0.2512897

0.0302126

86251.307

0.9778187

1.00E-04

28140.724

5600006

93.333433

0.9844328

0.0038567

6

0.663292

0.0201439

0.0804656

0.2110933

0.0251883

87147.04

0.9782626

1.00E-04

34999.673

6964940

116.08233

0.9856003

0.0049456

7

0.6431916

0.0352167

0.1055901

0.1809471

0.0352373

88852.809

0.979523

1.00E-04

40875.286

8134201

135.57002

0.9875462

0.0036779

8

0.5929492

0.030195

0.1357355

0.2211434

0.0201619

89753.98

0.9798262

1.00E-04

47459.693

9444484

157.40807

0.9873516

0.0041034

9

0.7034819

0.0301944

0.0854927

0.1608519

0.0201675

87998.749

0.9798575

1.00E-04

54462.874

10838112

180.6352

0.9867679

0.0034211

10

0.6130412

0.0603421

0.1457836

0.1759217

0.0050887

89349.714

0.9803728

1.00E-04

59108.151

11762539

196.04232

0.9857949

0.0035238

11

0.5879192

0.0402465

0.1407561

0.2060706

0.0251908

90482.065

0.9803962

1.00E-04

67296.894

13392090

223.2015

0.9865733

0.0038802

12

0.6331418

0.0502906

0.0955387

0.2161208

0.0050907

89244.975

0.9797597

1.00E-04

70763.487

14081940

234.699

0.9875462

0.0044283

13

0.592942

0.0955135

0.1508071

0.1407538

0.020162

89329.613

0.9808901

1.00E-04

75231.442

14971057

249.51762

0.9869624

0.0033256

14

0.6230928

0.0804369

0.0854918

0.1909943

0.0201645

90552.005

0.9797753

1.00E-04

84153.206

16746520

279.10867

0.987157

0.0045751

15

0.5929442

0.0754167

0.1156359

0.1909996

0.0251897

93018.387

0.9802105

1.00E-04

91327.648

18174212

302.90353

0.9865733

0.0039654

16

0.5627995

0.0904876

0.1658809

0.1558236

0.0251893

92548.422

0.9797861

1.00E-04

94837.101

18872624

314.54373

0.9867679

0.0057113

17

0.5376756

0.1005396

0.1307096

0.1909953

0.0402658

94034.508

0.9804715

1.00E-04

102810.7

20459334

340.9889

0.98813

0.0039014

18

0.5226047

0.1055641

0.16588

0.1759218

0.0302125

93370.829

0.9794135

1.00E-04

108527.4

21596970

359.9495

0.9865733

0.0057292

19

0.4773845

0.1055662

0.1457795

0.2311939

0.040265

92563.859

0.9798262

1.00E-04

114088.12

22703535

378.39225

0.9865733

0.004553

20

0.5376743

0.1156157

0.1106088

0.1909971

0.0452859

93299.754

0.9796404

1.00E-04

121038.73

24086713

401.44522

0.987157

0.0045705

21

0.5226023

0.1206402

0.1357329

0.1960206

0.0251851

97356.729

0.9799376

1.00E-04

134315.59

26728803

445.48005

0.9867679

0.004487

22

0.5075321

0.1005449

0.1206582

0.2261668

0.045284

96326.749

0.9803376

1.00E-04

137166.5

27296139

454.93565

0.9869624

0.0044399

23

0.5025043

0.1507855

0.115633

0.1909954

0.0402654

97184.352

0.9800403

1.00E-04

145956.26

29045295

484.08825

0.9865733

0.0036915

24

0.4824062

0.1357126

0.1658767

0.2010443

0.015138

99128.06

0.9799279

1.00E-04

153790.74

30604360

510.07267

0.9867679

0.0040233

25

0.5276279

0.1507869

0.1156348

0.165873

0.040264

100264.15

0.9801645

1.00E-04

161833.56

32204878

536.74797

0.9869624

0.0039724

26

0.4924545

0.1206439

0.1457783

0.196021

0.0452845

99471.93

0.9799572

1.00E-04

168385.3

33508709

558.47848

0.9875462

0.0041268

27

0.4874312

0.1407408

0.1608527

0.1859737

0.0251922

102755.69

0.9799474

1.00E-04

178808.95

35582981

593.04968

0.9867679

0.0041321

28

0.4623089

0.1759113

0.1457781

0.1759214

0.0402655

100270.1

0.97939

1.00E-04

187493.72

37311250

621.85417

0.9859895

0.0049753

29

0.4723593

0.165862

0.1457793

0.1708976

0.0452927

104338.68

0.9799953

1.00E-04

197608.21

39324034

655.40057

0.9861841

0.0038264

30

0.4321601

0.1658635

0.1709047

0.1909934

0.040261

103310.58

0.979434

1.00E-04

201993.4

40196709

669.94515

0.987157

0.0040633

31

0.4673351

0.155815

0.1457778

0.1658707

0.0653866

102941.5

0.9791524

1.00E-04

208387.09

41469030

691.1505

0.9877408

0.0045501

32

0.517581

0.1105933

0.1055844

0.236215

0.0302168

101947.78

0.9791221

1.00E-04

213261.81

42439106

707.31843

0.9861841

0.0041763

33

0.4371863

0.1507924

0.1759286

0.1809449

0.0553372

107287.02

0.9798115

1.00E-04

231864.87

46141110

769.0185

0.9861841

0.0041173

34

0.4924578

0.1306948

0.1106064

0.2161159

0.0503128

107965.09

0.9797509

1.00E-04

236180.71

46999979

783.33298

0.9865733

0.0039793

35

0.5075315

0.1206431

0.1256796

0.150798

0.0955321

107841.65

0.9792522

1.00E-04

246869.31

41097532

684.95887

0.9859895

0.0047116

36

0.5125546

0.1457666

0.1307065

0.1608499

0.0503141

107752.64

0.9797509

1.00E-04

255624.7

50869316

847.82193

0.9867679

0.0042543

将pave画成图

网络峰值性能出现在con=13，峰值性能为0.9808901.当con<13时随着卷积核数量的增加网络性能迅速增加，当con>13随着卷积核数量的增加网络性能持续的减弱。

这张图是con=10到con=36的图片，当con=36时平均性能只有峰值性能的99.88%，但是耗时确是峰值耗时3.39倍，也就是用了3.39倍的时间但性能却下降了0.12%。

这个实验再次清晰的表明了卷积核数量存在最优值，卷积核数量超过最优值以后，继续增加卷积核会导致网络性能下降。

再比较前面的实验数据，用3*3的卷积核二分类0和2的卷积核最优值是4个，而10分类是最优值是47个，这次实验的5分类最优值13个。

可以用这3组数据得到一个近似的估算卷积核数量最优值的方法

Con=0.475*x**2-0.3250000000000002*x+2.7500000000000004

  1. ******  决定系数 r**2

con

  

分类数x
   

2

  

4

3

  

6.05

4

  

9.05

5

  

13

6

  

17.9

7

  

23.75

8

  

30.55

9

  

38.3

10

  

47

用这个方法估算一个6分类网络的卷积核数量的最优值大约为18个。

估算神经网络卷积核数量的近似方法相关推荐

  1. 强化学习（七） - 函数近似方法 - 随机梯度下降, 半梯度下降,及瓦片编码(Tile Coding)实例

    函数近似方法 7.1 目标预测(VE‾\overline{VE}VE) 7.2 随机梯度下降和半梯度下降 例7.1: 1000态随机行走的状态收敛 7.3 线性近似 7.4 线性方法的特征构造 7.4 ...

  2. 最新论文解读 | 神经网络“剪枝”的两个方法

    编译 | AI科技大本营 参与 |  刘 畅 编辑 |  明 明 [AI科技大本营导读]本文介绍了两篇自动学习神经网络架构方向的最新方法,他们主要是通过计算扔掉一些参数/特征来实现的.第一篇L0方法看 ...

  3. mlp 参数调优_积神经网络(CNN)的参数优化方法

    积神经网络(CNN)的参数优化方法 from:http://blog.csdn.net/u010900574/article/details/51992156 著名: 本文是从 Michael Nie ...

  4. 空间注意力机制sam_一种基于注意力机制的神经网络的人体动作识别方法与流程...

    本发明属于计算机视觉领域,具体来说是一种基于注意力机制的神经网络的人体动作识别的方法. 背景技术: 人体动作识别,具有着非常广阔的应用前景,如人机交互,视频监控.视频理解等方面.按目前的主流方法,可主 ...

  5. 收敛标准对卷积核数量最优值的影响

    (mnist 0,2)-con(3*3)*n-30*2-(1,0)(0,1) 用n的3*3的卷积核分类处理成9*9尺寸的mnist0和2的图片,n的数量从1到12个.收敛标准从1e-4到1e-6,共1 ...

  6. 实验：3*3卷积核10分类9*9图片卷积核数量最优值

    (0,1,2,3,4,5,6,7,8,9)--con(3*3)*n-49*n*30*10 将mnist的图片用间隔取点的办法处理成9*9,用3*3的卷积核,卷积核的数量从1个到57个,收敛标准是1e- ...

  7. 基于深度神经网络的高光谱影响分类方法研究---MNF+自动编码器+Softmax （准确率比较低，17年的论文）

    论文地址 基于深度神经网络的高光谱影响分类方法研究 装备学院学报 遥感影像分类的问题:预处理复杂,高维特征提取困难,分类不够精确等缺陷 首先采用最大噪声分数来降低特征空间维度,然后将自动编码器与sof ...

  8. 随机优化中的样本均值近似方法

    随机优化中的样本均值近似方法 1.SAA原理 2.使用Gurobi实操求解 2.1 问题求解 2.2 最坏的情况(worst case) 2.3 机会约束优化(chance constrained o ...

  9. [强化学习实战]函数近似方法-线性近似与函数近似的收敛性

    线性近似 最常使用的函数近似就是线性近似和人工神经网络.本节介绍线性近似.线性近似是用许多特征向量的线性组合来近似价值函数.特征向量则依赖于输入(即状态或状态动作对).以动作价值近似为例,我们可以为每 ...

最新文章

  1. sql文件与数据库的连接到服务器,如何：连接到基于文件的数据库
  2. python冒号错误-python冒号错误语法无效
  3. Hadoop安装记录（伪分布式）
  4. js小笔记 -- let const的理解
  5. 编写ShellCode
  6. 一步步学习如何安装并使用SAP HANA Express Edition
  7. 札记__ADT：URL，Lua：strlen方法
  8. 智能家居 (4) ——工厂模式火焰报警
  9. JavaFX真实世界应用程序：EIZO CuratOR Caliop
  10. 天猫整站SSM-分页-总结（做个人学习笔记整理用）
  11. Basic concepts behind Web Audio API
  12. python字符串isalnum()函数
  13. 自动驾驶 5-2 使用 PID 进行纵向速度控制 Longitudinal Speed Control with PID
  14. python股票交易系统实现_python实现股票自动交易,自动量化交易软件
  15. The program ‘roscore‘ is currently not installed 解决办法
  16. 插值器和估值器概述与使用
  17. Android 自定义TabLayout
  18. 出现身份验证错误。 要求的函数不受支持, 远程计算机 这可能是由于CredSSP加密数据库修正
  19. .idea文件在项目中的显示与隐藏
  20. python基础之--人机大战，编程思维

热门文章

  1. 优酷路由宝刷梅林_优酷路由宝刷breed（不死）教程
  2. 超级计算机预测2月有雪寒潮,神预测！中国超级计算提前半个月预测了美国的寒潮...
  3. ORM框架SQLAlchemy学习笔记
  4. spark RDD官网RDD编程指南
  5. [USACO15JAN]草鉴定Grass Cownoisseur
  6. Luogu1714 切蛋糕
  7. Median of Two Sorted Arrays
  8. 20150127--Session入库
  9. My First Blog on cnblogs (现代程序设计 Homework-01)
  10. mssql的T-SQL教程（从建登陆到建库、表和约束）