作一个5分类的三层网络，分类9*9的图片，收敛标准从0.5到6e-8，共47个收敛标准，每个收敛标准收敛199次，共收敛了47*199次。取平均值统计平均性能pave。观察pave是如何随着收敛标准改变的。

得到的表格

f2[0]

f2[1]

f2[2]

f2[3]

f2[4]

迭代次数n

平均准确率p-ave

δ

耗时ms/次

耗时ms/199次

耗时 min/199

最大值p-max

平均值标准差

0.4854799

0.1858553

0.272492

0.2602853

0.2563134

1084.7739

0.6110079

0.5

70.015075

13949

0.2324833

0.8237011

0.2530133

0.5326435

0.12101

0.1954744

0.1860563

0.1582058

1643.7136

0.778164

0.4

78.79397

15680

0.2613333

0.8505546

0.0234568

0.6958971

0.0446005

0.1856664

0.1821425

0.1503321

1914.8794

0.8280271

0.3

83.59799

16654

0.2775667

0.8669002

0.0191745

0.7952586

0.0322357

0.1595491

0.1555259

0.1254544

2235.7487

0.8500412

0.2

89.135678

17738

0.2956333

0.8898618

0.0184869

0.3876615

0.0156595

0.0816177

0.0503286

0.5872436

3160.2261

0.8985676

0.1

104.77387

20850

0.3475

0.9208017

0.0088857

0.0611409

0.0047451

0.0363387

0.0046498

0.9119949

6747.4322

0.9403243

0.01

166.92462

33218

0.5536333

0.9453201

0.0018007

0.3821803

4.17E-04

0.0911098

0.0609155

0.4675613

28730.467

0.9551943

0.001

550.80905

109626

1.8271

0.9620549

0.004127

0.3118726

3.98E-04

0.1211546

0.0457933

0.5227548

31145.402

0.9568312

9.00E-04

587.94975

117033

1.95055

0.9624441

0.0036683

0.2867465

3.69E-04

0.1261143

0.0858857

0.5026527

34822.437

0.9582198

8.00E-04

644.41709

128254

2.1375667

0.963417

0.0029477

0.3319181

3.20E-04

0.1361159

0.0406462

0.4925607

39842.181

0.9591331

7.00E-04

738.93467

147048

2.4508

0.96439

0.002471

0.3067792

2.99E-04

0.1159715

0.0656649

0.5126319

45219.985

0.9600444

6.00E-04

814.98995

162229

2.7038167

0.9657521

0.0024014

0.3268212

2.69E-04

0.1209193

0.0756559

0.4774668

53172.774

0.9615122

5.00E-04

951.00503

189281

3.1546833

0.9675034

0.0029077

0.251422

0.0052492

0.1811337

0.0605513

0.5025688

63857.302

0.9637104

4.00E-04

1132.3015

225328

3.7554667

0.9696439

0.0029834

0.2413307

0.0102346

0.2061994

0.0353675

0.5075742

80150.191

0.9662254

3.00E-04

1408.1156

280231

4.6705167

0.9747033

0.00291

0.1759618

1.33E-04

0.3669061

0.1257354

0.3317159

113404.32

0.9705993

2.00E-04

1971.5276

392334

6.5389

0.9766492

0.0027735

0.0301947

6.71E-05

0.5176071

0.1508071

0.3015366

178704.5

0.9755657

1.00E-04

3079.9296

612906

10.2151

0.9807356

0.0020734

0.0352193

6.16E-05

0.5728769

0.1558284

0.2362122

189645.84

0.9762081

9.00E-05

3289.3618

654583

10.909717

0.9801518

0.0017323

0.0301881

5.37E-05

0.5326786

0.1708962

0.2663572

199240.38

0.9767577

8.00E-05

3124.5779

621799

10.363317

0.980541

0.0016933

0.0201314

4.96E-05

0.5176013

0.1909908

0.2713782

213000.2

0.9770862

7.00E-05

3870.0804

770149

12.835817

0.9820977

0.0017903

0.0201276

4.13E-05

0.5377

0.1608375

0.2814242

232538.81

0.9775898

6.00E-05

4183.5427

832531

13.875517

0.9819031

0.0019222

0.0251499

3.54E-05

0.4321747

0.2914793

0.2512723

261837.84

0.9784054

5.00E-05

4671.7035

929680

15.494667

0.9824869

0.0017131

0.020118

0.0050529

0.4673476

0.2864494

0.2211226

293045.84

0.97917

4.00E-05

4496.6231

894833

14.913883

0.982876

0.0017905

0.0150892

2.13E-05

0.5125703

0.206044

0.266342

341946.9

0.9802202

3.00E-05

5834.7286

1161121

19.352017

0.9836544

0.0016258

8.67E-06

0.0050394

0.467342

0.2964908

0.2311632

408835.39

0.9810798

2.00E-05

6995.1508

1392042

23.2007

0.9846274

0.0016328

4.22E-06

7.36E-06

0.2663364

0.4673396

0.2663348

576604.23

0.9824663

1.00E-05

9819.1457

1954028

32.567133

0.9856003

0.0014906

0.005029

6.68E-06

0.3567873

0.3718623

0.266335

590518.09

0.9824595

9.00E-06

10070.03

2003949

33.39915

0.9861841

0.0016341

3.66E-06

6.13E-06

0.361812

0.4221129

0.2160835

609672.87

0.9826296

8.00E-06

10578.678

2105158

35.085967

0.9854057

0.0014217

0.0100532

5.28E-06

0.3517614

0.4321629

0.206033

649084.43

0.9828379

7.00E-06

11378.653

2264389

37.739817

0.9863787

0.0014723

2.51E-06

4.55E-06

0.3919619

0.402012

0.2060328

688141.75

0.9829699

6.00E-06

11112.593

2211411

36.85685

0.9863787

0.0013737

0.0050274

3.74E-06

0.366836

0.3919614

0.2361828

739405.14

0.983187

5.00E-06

13885.628

2763247

46.054117

0.9863787

0.0013701

0.0050268

2.85E-06

0.3165845

0.4221118

0.2562828

814895.43

0.9833523

4.00E-06

12441.407

2475855

41.26425

0.9875462

0.0013463

0.0100515

2.26E-06

0.3115589

0.4221114

0.2562826

898370.47

0.983451

3.00E-06

15068.241

2998588

49.976467

0.9867679

0.0012352

0.0100511

0.0050265

0.3065335

0.4422116

0.2361817

1018724.4

0.9834647

2.00E-06

17163.116

3415468

56.924467

0.9865733

0.0014891

0.0100506

6.75E-07

0.2462316

0.4422113

0.3015079

1244358.3

0.9834852

1.00E-06

20607.568

4100909

68.348483

0.9865733

0.001324

0.0100506

6.44E-07

0.3216084

0.4522616

0.2160808

1291161.7

0.9834999

9.00E-07

21746.186

4327501

72.125017

0.987157

0.0014341

0.0050255

5.71E-07

0.2512566

0.432161

0.311558

1360011.7

0.9835537

8.00E-07

22496.085

4476721

74.612017

0.9867679

0.0014877

0.0050254

4.83E-07

0.2412064

0.432161

0.3216083

1402576.1

0.9834344

7.00E-07

24104.799

4796856

79.9476

0.9865733

0.0014402

0.0100505

4.13E-07

0.3015078

0.4371861

0.2512565

1430741.6

0.9834246

6.00E-07

24127.779

4801430

80.023833

0.987157

0.0014815

0.0050253

0.0100506

0.3366836

0.3718594

0.2763821

1539160.9

0.9834148

5.00E-07

26017.894

5177575

86.292917

0.9867679

0.0013904

0.0100504

2.66E-07

0.2964825

0.4170855

0.2763821

1618461.8

0.983409

4.00E-07

27559.96

5484442

91.407367

0.9867679

0.001473

0.0100504

2.00E-07

0.2864323

0.4020101

0.3015076

1702883.1

0.9833728

3.00E-07

29320.739

5834845

97.247417

0.9867679

0.0013969

0.0150755

1.47E-07

0.2663317

0.4221106

0.2964825

1843820.1

0.9831616

2.00E-07

31024.427

6173862

102.8977

0.9865733

0.0013638

0.0050252

0.0050252

0.2763819

0.3919598

0.3216081

2188509.1

0.9828672

1.00E-07

37078.025

7378528

122.97547

0.98813

0.0015414

0.0150754

0.0100503

0.2914573

0.3517588

0.3316583

2266508.3

0.9827519

9.00E-08

38511.402

7663774

127.72957

0.9875462

0.0015187

0.0201005

5.58E-08

0.2964824

0.3567839

0.3266332

2273906.5

0.9828144

8.00E-08

38618.528

7685090

128.08483

0.9861841

0.0014832

0.0100503

4.94E-08

0.2713568

0.3969849

0.3216081

2310469.9

0.9827157

7.00E-08

39082.382

7777409

129.62348

0.9867679

0.0014673

0.0150754

0.0100503

0.2512563

0.3668342

0.3567839

2424313.6

0.9827822

6.00E-08

42822.03

8521589

142.02648

0.9863787

0.0015439

这张图是δ=5e-5到δ=6e-8的pave曲线，相当直观当δ=8e-7时网络达到峰值，峰值是0.983554。

这张图是δ=1e-5到δ=6e-8的pave曲线，表明对三层网络收敛标准是有最优值的，超过最优值以后网络性能是下降的。

《估算卷积核数量的近似方法》实验表明卷积核数量是有最优值的

《平均分辨准确率对网络隐藏层节点数的非线性变化关系03》实验表明隐藏层节点数是有最优值的。

因为有最优值的存在，如果将网络的收敛标准设定为某一迭代次数，则将迭代次数调大并不必然导致网络的性能改善。如将收敛标准设为6e-8,平均性能只有峰值δ=8e-7的0.999216.但迭代次数却是峰值的1.78倍，耗时是峰值的1.9倍，也就是用了1.9倍的时间却换来性能下降万分之8.或者也可以解释成导致网络性能下降的一个原因恰恰是迭代次数过多了。

神经网络的收敛标准有最优值吗？相关推荐

  1. 收敛标准对卷积核数量最优值的影响

    (mnist 0,2)-con(3*3)*n-30*2-(1,0)(0,1) 用n的3*3的卷积核分类处理成9*9尺寸的mnist0和2的图片,n的数量从1到12个.收敛标准从1e-4到1e-6,共1 ...

  2. 神经网络收敛标准与准确率之间的数学关系

    制作一个带一个3*3卷积核的神经网络,测试集是minst的0和2图片集,将28*28的图片缩小成9*9,隐藏层30个节点所以网络的结构是 S(minst0)-(con3*3)49-30-2-(1,0) ...

  3. 带卷积核的神经网络的迭代次数与收敛标准的关系

    制作一个带有卷积核的神经网络让这个网络向1,0收敛,y[0]向1收敛,y[1]向0收敛.收敛标准用δ表示,当满足条件 while(Math.abs(y[0]-1)> δ ||  Math.abs ...

  4. 神经网络不收敛的 11 个原因，加实践感悟

    神经网络不收敛的 11 个原因,加实践感悟 如果有说法不妥的,还望在评论区留言指点,切磋交流,十分感谢! 网上有朋友的博客:https://blog.csdn.net/lc013/article/de ...

  5. 用固定收敛标准特征迭代次数法实现分类是不是一个巧合？

    在<用神经网络模拟化学反应>中用网络 将上下两个网络同时向对方收敛,将收敛标准定为|a-2|<0.01,上面的网络输入minst数据集的0和1,将每张图片收敛200次取平均值的办法成 ...

  6. 收敛标准对迭代次数影响

    制作一个n*n的网络,将收敛标准分别设定在,0.001,0.01,0.02,0.03,0.04,0.05,0.06,0.07,0.08,0.09,0.1,观察网络达到平衡时迭代次数的变化. 比如如图的 ...

  7. triplet loss后面不收敛_你的神经网络真的收敛了么？

    1.为什么小模型的作为backbone效果会差? 在深度学习目标检测(图像分割)领域,我们发现当我们使用层数越深,并且在imagenet上表现越好的分类网络作为backbone时,它的检测和分割效果越 ...

  8. 神经网络不收敛的 11 个原因及其解决办法

    原文:http://theorangeduck.com/page/neural-network-not-working 原文标题:My Neural Network isn't working! Wh ...

  9. 四十四、​Fluent 收敛标准-质量和能量守恒

    1. Fluent质量和能量守恒 Fluent收敛性的判断有时候很让人头疼,我们在三十二.Fluent收敛判断标准及方法中概括的讲述过几种收敛标准. 通常我们判断是否收敛最直接的就是看残差曲线,但是很 ...

最新文章

  1. 36进12第二场淘汰赛：老牟如何晋级？(视频)
  2. iOS - OC 术语表
  3. 微信小程序中实现瀑布流布局和无限加载
  4. Linux系统故障处理案例(一)【转】
  5. linux时间管理代码,第二章、linux的时间管理
  6. TensorFlow MNIST（手写识别 softmax）实例运行
  7. 汽车金融信用评分卡模型-论文_毕业设计_企业项目复现
  8. it试用评估_it员工转正自我评价
  9. android EditText的美化
  10. cas：1092775-62-6 ； (ir[dfcf3ppy]2(bpy))pf6热延迟荧光材料TADF
  11. 容联云(第三方短信发送)
  12. linux中who的功能,linux w及who命令
  13. 自动摘要生成(二）：由PageRank转变而来的TextRank算法
  14. html网页表格中加超链接,用html给div加类似a标签的超链接（转）
  15. 像素级图像融合的常用算法
  16. 完全数，丰沛数，不足数
  17. c语言编写消防车声音程序教程,51单片机蜂鸣器模拟救护车消防车等各种报警喇叭声音的学习源代码...
  18. html病毒实验,计算机病毒实验手册4-5-9-10-8-v4.0.pdf
  19. 【计算机毕业设计】45.医院挂号系统
  20. unity 远处模糊（贴图变模糊）

热门文章

  1. Pytorch转ONNX采坑记：Converting a tensor to a Python boolean might cause the trace to be incorrect. We...
  2. android网页无法定位吗,在android中，js 无法定位 html页面的某元素
  3. 软件工程--第三周学习进度
  4. Python学习笔记（六）if判断语句
  5. 第二阶段个人博客总结8
  6. Parallel Programming-使用CancellationTokenSource调度并行运行的Task
  7. 归档程序错误。在释放之前仅限于内部连接
  8. 八种方法防止数据库被下载
  9. ArcGIS桌面基本操作 和 ArcSDE数据库基本概念
  10. 3D 投影矩阵学习1