本文做了一个二分类网络

(mnist 0,2)-con(5*5)*n-30*2-(1,0)(0,1)

用一个三层多核的网络分类mnist0和2，卷积核的数量从1到23，每个收敛标准（也就是输出值与目标值的余项或误差），收敛199次，记录平均值和迭代次数和耗时。

在文<二分类卷积核极限数量实验>中做了一个网络

(mnist 0,2)-con(3*3)*n-30*2-(1,0)(0,1)

这个网络用3*3的卷积核分类mnist的0和2用了1到12个卷积核，把本文的数据与3*3卷积核的实验做对比，进一步的比较两个卷积核的性能差异。

首先观察平均准确率pave

 

81*30*2

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

δ

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

1.00E-04

0.980864

0.977914

0.981411

0.982672

0.983733

0.984016

0.985766

0.985644

0.985357

0.985769

0.985844

0.986019

0.985654

0.985976

0.985874

0.986416

0.986331

0.985991

0.986016

0.985989

0.985914

0.986233

0.986044

0.985919

9.00E-05

0.980534

0.977986

0.981391

0.983211

0.98502

0.98446

0.985549

0.985619

0.985951

0.986298

0.986208

0.986183

0.986351

0.986218

0.986358

0.98676

0.986378

0.986373

0.986358

0.986373

0.985636

0.986273

0.986016

0.985384

8.00E-05

0.980569

0.978501

0.982777

0.983801

0.984657

0.985644

0.985939

0.986408

0.985941

0.986536

0.986576

0.986528

0.986593

0.986653

0.986583

0.986593

0.986655

0.98662

0.986348

0.986653

0.986358

0.985941

0.985424

0.985601

7.00E-05

0.980594

0.979298

0.982652

0.984785

0.985656

0.985859

0.986096

0.986353

0.986481

0.986665

0.986603

0.98703

0.987053

0.986973

0.98678

0.987018

0.986933

0.987205

0.986228

0.986186

0.986331

0.985996

0.98667

0.986161

6.00E-05

0.981171

0.978588

0.983376

0.985159

0.986268

0.986143

0.986323

0.986605

0.98689

0.98697

0.986988

0.987225

0.986988

0.987295

0.987132

0.987065

0.987322

0.987227

0.98672

0.987137

0.986988

0.986855

0.986241

0.986468
                                                 

8.00E-05

3*3

0.973478

0.978289

0.981113

0.982794

0.982749

0.982295

0.982829

0.981788

0.981823

0.980736

0.980861

0.980584

                      

7.00E-05

3*3

0.974827

0.980019

0.982342

0.983873

0.983618

0.983251

0.983276

0.98192

0.982577

0.981316

0.980357

0.980551

                      

6.00E-05

3*3

0.975916

0.981326

0.983633

0.983651

0.983289

0.983506

0.982744

0.982694

0.981885

0.980983

0.981401

0.98214

                      

数据显示网络性能随着卷积核的数量的增加先上升后下降，也就是5*5卷积核的数量是有最优值的。

这个最优值在n=16.

与同样收敛标准的3*3卷积核的pave数据比较

5*5卷积核的pave是全面的超过3*3卷积核的pave，3*3卷积核的数量最优值是n=4.上升区间要比5*5卷积核的要小的多。而且3*3卷积核当n=4的最优pave= 0.9838731而5*5卷积核当n=16的最优pave= 0.987322，5*5卷积核有约3.5‰的优势。

比较数据pave5*5/pave3*3

 

1

2

3

4

5

6

7

8

9

10

11

12

8.00E-05

1.005159

1.004588

1.002739

1.001896

1.002946

1.00371

1.003642

1.00423

1.0048

1.005954

1.005778

1.006128

7.00E-05

1.004586

1.002686

1.002487

1.001813

1.002278

1.002893

1.003129

1.004645

1.004161

1.005388

1.006807

1.00663

6.00E-05

1.002738

1.00209

1.001551

1.002661

1.002903

1.002865

1.003929

1.00427

1.005179

1.006121

1.005935

1.004936

sum（pave5*5）/sum（pave3*3）=1.004

这组数据表明在收敛标准相同的情况下5*5卷积核的性能全面的优于3*3卷积核，平均优势约为4‰

比较迭代次数

 

81*30*2

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

δ

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

1.00E-04

3209.98

6975.638

7363.025

7453.508

8030.121

8209.131

8630.955

8684.327

9112.995

9148.955

9656.925

9869.96

9889.809

10413.8

10727.65

11156.84

11031.92

11173.88

12029.69

12294.01

12389.15

12822.99

13324.31

13005.06

9.00E-05

3381.819

8103.452

7721.583

8017.533

8450.186

8984.714

9013.945

9386.688

9336.07

9987.206

10166.42

10282.16

10486.11

10940.55

11312.08

11630.43

11940.03

12206.22

12483.41

12746.71

13603.18

13341.53

13723.67

14164.79

8.00E-05

3565.95

8590.111

8054.503

8537.628

8830.101

9223.749

9429.794

10006.53

9910.286

10370.01

10705.7

10913.14

11624.41

11558.77

12314.22

12474.17

12794.68

13285.33

13392.81

13747.66

14239.21

14334.86

14627.82

15069.08

7.00E-05

3725.186

9393.518

8461.538

9181.452

9379.437

9337.613

10421.36

10354.9

11001.84

11252.77

11381.25

11728.87

12194.73

12512.37

12769.56

13044.42

13593.27

14041.14

14534.64

14710.97

15126.15

15183.9

15450.38

15632.75

6.00E-05

3902.291

10110.89

9198.528

9740.055

10056.36

10608.86

10682.66

11087.84

11739.25

12161.47

12721.34

12915.67

13252.76

13764.64

13771.96

14229.73

14580.07

15235.59

15556.83

15645.44

15919.39

16150.39

16255.92

16431.82
                                                 

8.00E-05

3*3

8280.965

9263.935

11330.61

12633.43

13926.37

15185.44

16021.58

16417.08

16968.12

17287.1

17275.55

17629.21

                      

7.00E-05

3*3

8864.809

10286.09

11740.79

13858.94

15354.01

16078.22

16613.04

17118.74

17903.97

18037.79

18508.5

18403.27

                      

6.00E-05

3*3

9461.895

11461.08

12902.63

15540.71

17113.66

17103.62

17932.74

18677.93

18283.78

18910.44

19475.59

19564.79

                      

随着卷积核数量的增加迭代次数几乎是线性的增加的，同收敛标准的前提下5*5卷积核的迭代次数是小于3*3卷积核的迭代次数。

比较耗时

 

81*30*2

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

δ

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

耗时 min/199

1.00E-04

0.257233

3.256583

6.683417

9.894767

14.03952

17.71815

21.40008

25.84643

30.76985

35.68508

42.56842

47.42133

50.40343

59.28032

65.94902

73.5505

77.7106

82.56972

94.41842

101.2041

108.0909

116.4581

128.3673

130.0171

9.00E-05

0.263017

4.2436

6.922833

10.62842

14.70467

19.34858

24.12698

28.96998

33.26892

40.79973

45.09903

49.50177

54.84795

62.08508

69.35002

76.81838

84.11837

89.8964

98.0324

103.803

117.5944

120.9146

134.1112

142.0814

8.00E-05

0.273367

4.2839

7.169533

11.26158

15.7018

19.8954

25.18335

31.1719

33.65657

40.31477

45.43632

52.4152

60.97798

65.53147

74.8665

80.60273

89.3287

97.78988

105.3292

113.2884

122.5579

130.0001

141.8273

151.9128

7.00E-05

0.280733

4.6339

7.503483

12.05885

16.59455

20.77917

26.49803

32.49158

38.69142

43.58605

51.27548

56.43805

62.65367

70.79592

77.52678

85.3631

95.72812

103.4634

113.9268

120.5905

129.7379

137.6541

147.6879

156.7152

6.00E-05

0.2923

2.444317

8.167717

12.85368

17.69805

23.46423

28.22688

32.48458

40.68138

47.6168

54.71102

60.64322

69.49622

78.80173

84.65203

93.76728

102.3604

110.6264

122.3967

128.5009

137.1837

145.3612

153.558

164.7346
                                                 

8.00E-05

3*3

1.566383

3.306883

6.301367

7.607283

9.080433

16.30447

20.22028

21.98902

25.43633

30.08465

32.09258

37.09115

                      

7.00E-05

3*3

1.677167

3.657083

6.378717

10.33212

14.28748

17.20495

19.26532

24.54062

28.65433

31.4023

35.70178

38.67048

                      

6.00E-05

3*3

1.782067

4.075683

5.480233

11.6074

15.76265

17.98672

21.97478

26.9867

29.22455

33.38313

37.47727

41.15603

                      

随着迭代次数的增加耗时也在增加，5*5卷积核当n=16时耗时102min/199次，而3*3卷积核当n=4时耗时11.6min/199次。也就是用8.79倍的时间换来性能提成3.5‰

而5*5卷积核达到3*3卷积核的pave最大值0.9838731只需要3个5*5卷积核就够了，耗时约12.85min/199次。

比较性能最大值pmax

 

81*30*2

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

δ

最大值p-max

最大值p-max

最大值p-max

最大值p-max

最大值p-max

最大值p-max

最大值p-max

最大值p-max

最大值p-max

最大值p-max

最大值p-max

最大值p-max

最大值p-max

最大值p-max

最大值p-max

最大值p-max

最大值p-max

最大值p-max

最大值p-max

最大值p-max

最大值p-max

最大值p-max

最大值p-max

最大值p-max

1.00E-04

0.984095

0.988072

0.989066

0.989066

0.991054

0.989066

0.99006

0.99006

0.99006

0.99006

0.990557

0.989563

0.989066

0.99006

0.990557

0.989563

0.991054

0.99006

0.989563

0.990557

0.99006

0.990557

0.99006

0.991054

9.00E-05

0.985089

0.987078

0.990557

0.991054

0.990557

0.99006

0.99006

0.99006

0.99006

0.990557

0.990557

0.989563

0.989563

0.991054

0.99006

0.99006

0.991054

0.991054

0.990557

0.99006

0.990557

0.99006

0.990557

0.991054

8.00E-05

0.985089

0.987078

0.989563

0.99006

0.990557

0.990557

0.99006

0.990557

0.990557

0.989563

0.99006

0.990557

0.99006

0.990557

0.990557

0.990557

0.99006

0.990557

0.99006

0.991054

0.992048

0.99006

0.991054

0.990557

7.00E-05

0.985089

0.987078

0.99006

0.99006

0.991054

0.99006

0.99006

0.991054

0.990557

0.991054

0.991551

0.990557

0.990557

0.991054

0.99006

0.990557

0.991054

0.990557

0.991054

0.991054

0.990557

0.991551

0.992048

0.991551

6.00E-05

0.985089

0.988569

0.99006

0.992048

0.992048

0.991551

0.990557

0.991551

0.990557

0.991551

0.990557

0.992048

0.991054

0.990557

0.991551

0.991551

0.991551

0.990557

0.991054

0.991054

0.992545

0.991054

0.991054

0.990557
                                                 

8.00E-05

3*3

0.987078

0.989563

0.989563

0.99006

0.989563

0.99006

0.99006

0.989563

0.990557

0.990557

0.99006

0.990557

                      

7.00E-05

3*3

0.986581

0.992048

0.992048

0.989563

0.990557

0.990557

0.991054

0.990557

0.991054

0.99006

0.990557

0.991054

                      

6.00E-05

3*3

0.987575

0.990557

0.990557

0.990557

0.990557

0.990557

0.991054

0.991054

0.991054

0.990557

0.992545

0.992048

                      

这组数据变化不明显，最大的准确率pmax相差不到2‰，这意味这即便是选择了一个错误的卷积核数量，也差不多有同样大的概率得到相差不多的最优值。

综上所述，本题针对9*9的图片，隐藏层节点30个的二分类网络，5*5的卷积核的性能全面超过3*3的卷积核。5*5卷积核的最优数量是16个，3*3卷积核的最优数量是4个，5*5卷积核的性能优势不小于3.5‰。

到底应该用3*3的卷积核还是5*5的卷积核相关推荐

  1. 用7*7的卷积核分类9*9的图片到底应该用几个卷积核?55个

    (mnist 0,2)-con(7*7)*n-30*2-(1,0)(0,1) 用7*7的卷积核分类mnist的0和2,将图片用间隔取点的办法缩小到9*9.从1开始不断增加卷积核的数量,观察网络的性能是 ...

  2. 【基础积累】1x1卷积到底有哪些用处？

    关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! [导读]前面我们已经详细介绍了卷积神经网络中的卷积层.池化层以及相应的参数计算,详 ...

  3. 3x3,5x5,7x7,9x9卷积核性能比较

    在用7*7的卷积核分类9*9的图片到底应该用几个卷积核?中得到了一个经验结论:卷积核越大,网络的性能上升区间越大:上升区间越大,性能峰值越大.要按此分类9*9的图片,9*9的卷积核就是极限性能最优的卷 ...

  4. 估算神经网络卷积核数量的近似方法

    作一个5分类网络分类mnist的0,1,2,3,4.用3*3的卷积核,卷积核数量从1个到36个,收敛标准为1e-4,每个网络收敛199次,共收敛了36*199次.比较平均分类准确率,来判断这个网络到底 ...

  5. 计算多卷积核神经网络迭代次数---分类0，6

    制作一个分类mnist0和6的网络,向这个网络分别加上1-8个卷积核,在网络迭代停止标准同样的前提下网络的迭代次数与卷积核的数量之间有什么关系? 网络的结构是 (mnist 0 ,mnist6)81- ...

  6. 【卷积核设计】Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs

    文章目录 一.背景 二.方法 三.RepKLNet:a Large-Kernel Architecture 3.1 结构 3.2 尽可能的让卷积核变大 3.3 图像分类 3.4 语义分割 3.5 目标 ...

  7. 深度学习笔记（五）：深度学习卷积核的计算理解，小卷积核和大卷积核的转换比较

    文章目录 一.卷积核(convolutional kernel): 1.1 介绍 1.2 设计中的问题 二.池化(pooling): 没有完全整理的blog 整理完的blog 一.卷积核(convol ...

  8. 深度学习的通道到底是什么？有什么用？（小白可看）

    目录 1.什么是通道? 1.输入通道数等于卷积核通道个数 2.卷积核个数 等于 输出通道个数 2.为什么要增加通道 3.补充 1.什么是通道?         通道在我看来可以简单理解为图像的深度.通 ...

  9. 机器学习入门（15）— 全连接层与卷积层的区别、卷积神经网络结构、卷积运算、填充、卷积步幅、三维数据卷积、多维卷积核运算以及批处理

    卷积神经网络(Convolutional Neural Network,CNN)CNN 被用于图像识别.语音识别等各种场合,在图像识别的比赛中,基于深度学习的方法几乎都以 CNN 为基础. 1. 全连 ...

最新文章

  1. 【ACM】杭电OJ 4548 美素数（二次打表）
  2. 计数排序及其改进 C++代码实现与分析 恋上数据结构笔记
  3. GuavaCache学习笔记二：Java四大引用类型回顾
  4. javafx 图标_JavaFX技巧32：需要图标吗？ 使用Ikonli！
  5. 二维数组做函数参数传递
  6. 逻辑盘下的所有目录完全共享_Python File I/O之读取路径下所有目录和文件
  7. Hybrid App工作笔记0001---混合App开发过程中_Web是如何调用原生功能的_调用原理
  8. 用计算机坑人,10大坑人专业，坑你没商量！
  9. web开发为什么用java的多_java与php做web开发 最大的区别在那 为什么好多用java的...
  10. 计算机90学时培训小结,90学时培训学习心得体会
  11. 一些出的不错的Java面试题（一）
  12. XLN Audio Addictive Trigger for Mac(智能鼓音替换工具)
  13. YDOOK:ESP8266: 官方SDK下载 详细教程 ROST 版本与 NONOS 版本对比与区别
  14. Listary Pro - 搜索、管理都挺好
  15. python绘图之Times New Roman字体以及Helvetica字体
  16. C - Pizza Cutter Gym - 101908C
  17. 通过思翼SIYI MK15E回传Realsense D435i 的 RGB图像
  18. 程序员叫啥名字_他们的名字叫程序员
  19. 写乐100道练习题_写乐大型21K详细评测（文长慎入）
  20. 还在呼吸致命空气？专业的斐讯空气检测仪，让你生活更健康！

热门文章

  1. 关于魔法方法的一点总结
  2. linux-linux top 命令各参数详解
  3. 11深入理解C指针之---指针和常量
  4. 【BZOJ3527】【ZJOI2014】力
  5. PHP date, strtotime, mktime处理
  6. ASP.NET MVC 实现二级域名
  7. PowerDesigner逆向工程mysql
  8. FCKeditor 2.6 安装配置使用指南(asp)
  9. Linux下获取毫秒级时间差
  10. 量子力学 一 基础1 角动量