每个神经网络对应每个收敛标准δ都有一个特征的迭代次数n，因此可以用迭代次数曲线n(δ)来评价网络性能。

如果一个神经网络对图片1的迭代次数是n1对图片2的迭代次数是n2，做一个网络向网络输入50%的1和50%的2得到的迭代次数n12会和n1和n2有什么关系？

制作一个带一个3*3卷积核的神经网络，测试集是mnist的0和一张图片x，将28*28的图片缩小成9*9，隐藏层30个节点所以网络的结构是

这个网络分成两个部分左边的是让mnist 0向1,0收敛，右边的是让x向 0,1收敛。但是让左右两边的权重实现同步更新，实现权重共享。前面大量实验表明这种效果相当于将两个弹性系数为k1，k2的弹簧并联成一个弹性系数为k的弹簧，并且让k1=k2=k/2的过程。

将上图简写成

S（mnist0）81-（con3*3）49-30-2-（1,0）

S（x）81-（con3*3）49-30-2-（0,1）

w=w，w1=w1,w2=w2

进一步简写成

d2（mnist0, x=1）81-con（3*3）49-30-2-（2*k） ,k∈(0,1)

这个网络的收敛标准是

if (Math.abs(f2[0]-y[0])< δ  &&  Math.abs(f2[1]-y[1])< δ   )

本文尝试了δ从0.5到1e-6在内的26个值，训练集是mnist0

图片x就是一张二维数组，让x=1.

具体进样顺序

        

进样顺序

迭代次数

      

δ=0.5

        

mnist 0-1

1

  

判断是否达到收敛

X

2

  

判断是否达到收敛

梯度下降

        

mnist 0-2

3

  

判断是否达到收敛

X

4

  

判断是否达到收敛

梯度下降

        

……

        

mnist 0-4999

9997

  

判断是否达到收敛

X

9998

  

判断是否达到收敛

梯度下降

        

……

        

如果4999图片内没有达到收敛标准再次从头循环

    

mnist 0-1

9999

  

判断是否达到收敛

X

10000

  

判断是否达到收敛

……

        

达到收敛标准记录迭代次数，将这个过程重复199次

      

δ=0.4

        

……

        

用这个方法可以得到网络

d2（mnist0, x=1）81-con（3*3）49-30-2-（2*k） ,k∈(0,1)

的迭代次数曲线n1。

用同样的办法制作另一个网络

d2（mnist0, x=0.1）81-con（3*3）49-30-2-（2*k） ,k∈(0,1)

让mnist 0向1,0收敛，右边的是让x向 0,1收敛。但让x=0.1.得到迭代次数曲线n0.1

在《测量一组对角矩阵的频率和质量》中已经将这两个迭代次数都测出来了

 

1

0.1

δ

迭代次数n1

迭代次数n0.1

0.5

17.40201005

17.87437186

0.4

951.2110553

1408.577889

0.3

1144.577889

1720.517588

0.2

1313.633166

1995.110553

0.1

1505.824121

2243.834171

0.01

2362.115578

3001.552764

0.001

4129.020101

4007.532663

1.00E-04

10353.37186

5532.668342

9.00E-05

10653.93467

5683.753769

8.00E-05

11292.43719

6131.934673

7.00E-05

11761.11055

6106.919598

6.00E-05

12657.69347

6014.688442

5.00E-05

13305.44221

6455.321608

4.00E-05

15844.29648

6724.738693

3.00E-05

17291.77387

7055.80402

2.00E-05

20753.56281

7763.41206

1.00E-05

27708.19598

8749.050251

9.00E-06

29358.8593

8879.41206

8.00E-06

30689.87437

9387.150754

7.00E-06

33437.22111

9532.648241

6.00E-06

36960.63819

9957.683417

5.00E-06

40669.92462

10661.56281

4.00E-06

44594.04523

11025.0402

3.00E-06

51522.10553

11653.63317

2.00E-06

67583.53266

13076.9196

1.00E-06

107224.5276

15184.58794

现在做第3个网络

d2（mnist0  ; 50% x=1, 50%x=0.1）81-con（3*3）49-30-2-（2*k） ,k∈(0,1)

让mnist 0向1,0收敛，右边的是让x向 0,1收敛。但让x在1和0.1之间随机。让1与0.1的比例是1：1.

具体进样顺序

      

进样顺序

迭代次数

    

δ=0.5

      

mnist 0-1

1

  

判断是否达到收敛

50% x=1，50% x=0.1

2

  

判断是否达到收敛

梯度下降

      

mnist 0-2

3

  

判断是否达到收敛

50% x=1，50% x=0.1

4

  

判断是否达到收敛

梯度下降

      

……

      

mnist 0-4999

9997

  

判断是否达到收敛

50% x=1，50% x=0.1

9998

  

判断是否达到收敛

梯度下降

      

……

      

如果4999图片内没有达到收敛标准再次从头循环

  

mnist 0-1

9999

  

判断是否达到收敛

50% x=1，50% x=0.1

10000

  

判断是否达到收敛

……

      

达到收敛标准记录迭代次数，将这个过程重复199次

    

δ=0.4

      

……

      

相当于分类两个图片集，一个图片集是mnist的0另一个图片集只有两张图片，两张图片随机取样。

得到的数据

f2[0]

f2[1]

迭代次数n1-0.1

平均准确率p-ave

δ

耗时ms/次

耗时ms/199次

耗时min/199次

最大准确率p-max

0.504392749

0.496482833

16

0.500241159

0.5

1032.487437

205482

3.4247

0.870449173

0.608226758

0.391936599

1134.527638

0.492051273

0.4

1267.477387

252229

4.203816667

0.982033097

0.713814664

0.286192435

1451.502513

0.601689298

0.3

1334.150754

265543

4.425716667

0.992907801

0.815849437

0.184081652

1595.351759

0.651443981

0.2

1363.070352

271251

4.52085

0.996690307

0.912219268

0.087818118

1745.78392

0.664181427

0.1

1339.628141

266602

4.443366667

0.995744681

0.992111381

0.007894949

2770.829146

0.652928947

0.01

1545.462312

307547

5.125783333

0.996690307

0.999271145

7.30E-04

4088.98995

0.608686458

0.001

1813.819095

360950

6.015833333

0.997163121

0.999927651

7.23E-05

7854.296482

0.569369305

1.00E-04

1935.939698

385252

6.420866667

0.995271868

0.999929991

7.00E-05

8622.899497

0.546795443

9.00E-05

2720.281407

541352

9.022533333

0.997163121

0.999940592

5.95E-05

9150.155779

0.537728833

8.00E-05

2833.653266

563897

9.398283333

0.990543735

0.999946971

5.30E-05

8925.030151

0.545505304

7.00E-05

2799.869347

557174

9.286233333

0.994799054

0.99995488

4.51E-05

9390.949749

0.55782696

6.00E-05

2889.035176

574934

9.582233333

0.997635934

0.999961445

3.86E-05

10619.74372

0.540173682

5.00E-05

3134.035176

623673

10.39455

0.996690307

0.999970219

2.98E-05

10684.25628

0.573904986

4.00E-05

3151.276382

627108

10.4518

0.995271868

0.999976706

2.33E-05

12772.34673

0.566287703

3.00E-05

3547.859296

706029

11.76715

0.994326241

0.999984778

1.52E-05

14707.11055

0.561645105

2.00E-05

4023.798995

800740

13.34566667

0.997635934

0.999992452

7.55E-06

18918.50754

0.551644749

1.00E-05

4873.386935

969809

16.16348333

0.997163121

0.999993043

6.96E-06

21982.04523

0.537997315

9.00E-06

5494.050251

1093324

18.22206667

0.996690307

0.999994

6.00E-06

21742.02513

0.555940459

8.00E-06

4965.522613

988144

16.46906667

0.996690307

0.99999488

5.12E-06

20971.37186

0.551815817

7.00E-06

5284.075377

1051539

17.52565

0.995744681

0.999995492

4.51E-06

21427.84422

0.551430913

6.00E-06

5405.316583

1075665

17.92775

0.996690307

0.999996169

3.83E-06

27284.71859

0.529814557

5.00E-06

6364.065327

1266451

21.10751667

0.997635934

0.99999693

3.07E-06

32387.41206

0.540518194

4.00E-06

7671.984925

1526733

25.44555

0.995744681

0.999997682

2.31E-06

37624.34673

0.530453687

3.00E-06

7199.050251

1432611

23.87685

0.997635934

0.999998443

1.56E-06

40271.80402

0.551799185

2.00E-06

7600.959799

1512639

25.21065

0.99858156

0.999999207

7.93E-07

60514.71859

0.524841703

1.00E-06

10767.01508

2142636

35.7106

0.997635934

所以现在有了3个迭代次数分别是

x=1

n1

x=0.1

n0.1

x=1||x=0.1

n1-0.1

验算n1-0.1与n1和n0.1之间的关系

1:1

  

1

0.1

理论值

测量值

  
 

δ

迭代次数n1

迭代次数n0.1

（n1+n0.1）/2

n1-0.1

理论值/测量值

16

0.5

17.40201005

17.87437186

17.63819095

16

1.102386935

1134.527638

0.4

951.2110553

1408.577889

1179.894472

1134.527638

1.039987421

1451.502513

0.3

1144.577889

1720.517588

1432.547739

1451.502513

0.986941274

1595.351759

0.2

1313.633166

1995.110553

1654.371859

1595.351759

1.036995039

1745.78392

0.1

1505.824121

2243.834171

1874.829146

1745.78392

1.073918212

2770.829146

0.01

2362.115578

3001.552764

2681.834171

2770.829146

0.967881464

4088.98995

0.001

4129.020101

4007.532663

4068.276382

4088.98995

0.994934307

7854.296482

1.00E-04

10353.37186

5532.668342

7943.020101

7854.296482

1.011296189

8622.899497

9.00E-05

10653.93467

5683.753769

8168.844221

8622.899497

0.947343086

9150.155779

8.00E-05

11292.43719

6131.934673

8712.18593

9150.155779

0.952135258

8925.030151

7.00E-05

11761.11055

6106.919598

8934.015075

8925.030151

1.001006711

9390.949749

6.00E-05

12657.69347

6014.688442

9336.190955

9390.949749

0.994168982

10619.74372

5.00E-05

13305.44221

6455.321608

9880.38191

10619.74372

0.930378564

10684.25628

4.00E-05

15844.29648

6724.738693

11284.51759

10684.25628

1.056181852

12772.34673

3.00E-05

17291.77387

7055.80402

12173.78894

12772.34673

0.953136428

14707.11055

2.00E-05

20753.56281

7763.41206

14258.48744

14707.11055

0.969496176

18918.50754

1.00E-05

27708.19598

8749.050251

18228.62312

18918.50754

0.963533888

21982.04523

9.00E-06

29358.8593

8879.41206

19119.13568

21982.04523

0.869761457

21742.02513

8.00E-06

30689.87437

9387.150754

20038.51256

21742.02513

0.921648855

20971.37186

7.00E-06

33437.22111

9532.648241

21484.93467

20971.37186

1.024488756

21427.84422

6.00E-06

36960.63819

9957.683417

23459.1608

21427.84422

1.094797991

27284.71859

5.00E-06

40669.92462

10661.56281

25665.74372

27284.71859

0.940663677

32387.41206

4.00E-06

44594.04523

11025.0402

27809.54271

32387.41206

0.85865282

37624.34673

3.00E-06

51522.10553

11653.63317

31587.86935

37624.34673

0.839559277

40271.80402

2.00E-06

67583.53266

13076.9196

40330.22613

40271.80402

1.001450695

60514.71859

1.00E-06

107224.5276

15184.58794

61204.55779

60514.71859

1.011399527

从数据看

这个公式是符合的很好的。

由这个实验结果猜测对一个二分类网络，分类两个对象A和B，B中有K张图片，B的图片被均匀取样，最终的迭代次数等于B中每张图片相对A的迭代次数与每张图片所占比例的乘积的累加和。

实验数据

学习率 0.1

权重初始化方式

Random rand1 =new Random();

int ti1=rand1.nextInt(98)+1;

int xx=1;

if(ti1%2==0)

{ xx=-1;}

tw[a][b]=xx*((double)ti1/x);

第一层第二层和卷积核的权重的初始化的x分别为1000,1000,200

d2（mnist0  ; 50% x=1, 50%x=0.1）81-con（3*3）49-30-2-（2*k） ,k∈(0,1)

这个实验的数据比较多有感兴趣的朋友可以到我的资源里下载

神经网络的迭代次数是一个线性的变量吗？相关推荐

  1. 用两个矩阵的点积计算神经网络的迭代次数 2-8

    每个神经网络对应每个收敛标准δ都有一个特征的迭代次数n,因此可以用迭代次数曲线n(δ)来评价网络性能. 在<神经网络的迭代次数是一个线性的变量吗?>中得到表达式 一个二分类网络分类两个对象 ...

  2. 用矩阵点积的办法构造神经网络的迭代次数1：0.6：0.1=1：1：1

    每个神经网络对应每个收敛标准δ都有一个特征的迭代次数n,因此可以用迭代次数曲线n(δ)来评价网络性能. 一个二分类网络分类两个对象A和B,B中有K张图片,B的第i张图片被取样的概率为pi,B中第i张图 ...

  3. 神经网络迭代次数的一个近似关系

    (A,B)---m*n*k---(1,0)(0,1) 移位距离和假设 用神经网络分类A和B,把参与分类的A和B中的数字看作是组成A和B的粒子,分类的过程就是让A和B中的粒子互相交换位置,寻找最短移位路 ...

  4. 神经网络的迭代次数和收敛误差与谐振子的位移和时间

    几乎任何随时间变化的周期函数或准周期函数F(t),都可以展成一些依赖于时间的谐和函数的无限级数---就是说, 它可以分解成许多谐振子之和.这级数(称为傅立叶级数)的每一项,可以用一个整数n来标示,n等 ...

  5. 带卷积核的神经网络的迭代次数与收敛标准的关系

    制作一个带有卷积核的神经网络让这个网络向1,0收敛,y[0]向1收敛,y[1]向0收敛.收敛标准用δ表示,当满足条件 while(Math.abs(y[0]-1)> δ ||  Math.abs ...

  6. 由神经网络的迭代次数计算输出值并评价网络性能

    在<用共振频率去理解神经网络-将乙烯模型运行300次的数据>文中将乙烯模型运行了300次,得到了300组输出与迭代次数的数据.这次计算只用了其中的150组数据,其中的6组明显不合理被剔除了 ...

  7. 神经网络迭代次数的线性累加现象

    神经网络对应每个收敛标准δ都有一个特征的迭代次数n,因此可以用迭代次数曲线n(δ)来评价网络性能. 在<神经网络的迭代次数是一个线性的变量吗?>中得到表达式 一个二分类网络分类两个对象A和 ...

  8. 用神经网络迭代次数曲线模拟原子光谱

    大量实验表明每个神经网络对应每个收敛标准δ都有一个特征的迭代次数n,因此可以用迭代次数曲线n(δ)来评价网络性能. 一个二分类网络分类两组对象A和B,B中有K张图片,B的第i张图片被取样的概率为pi, ...

  9. 神经网络迭代次数的数学构成

    每个神经网络对应每个收敛标准δ都有一个特征的迭代次数n,因此可以用迭代次数曲线n(δ)来评价网络性能. 在<神经网络的迭代次数是一个线性的变量吗?>中得到表达式 一个二分类网络分类两个对象 ...

最新文章

  1. Git - Tutorial官方【转】
  2. 实现jquery.ajax及原生的XMLHttpRequest调用WCF服务的方法
  3. 章节七、4-Sets
  4. hihocoder1479 三等分
  5. SpringMVC学习（四）——Spring使用到的设计模式分析
  6. 腾讯推出百万现金漏洞悬赏计划！
  7. keras时间序列数据预测_使用Keras的时间序列数据中的异常检测
  8. mui组件 a 锚点定位（Demo案例演示）- 代码篇
  9. 再谈共相式GIS和ArcObjects
  10. ubuntu 18 安装xgboost GPU版本
  11. Ubuntu 20.04安装微信，QQ，TIM
  12. 学习官方SSIS教程的错误总结
  13. java 中文繁体转换简体
  14. 双绞线的制作T568A线序，T568B线序
  15. 利用python转载朋友微信表情包
  16. 简历空白怎么办？计算机专业应届生和在校生怎么写简历？
  17. 可口又可乐的鬼马小精灵杨若兮
  18. 达梦数据库服务启动的三种方式
  19. ESP8266-Arduino编程实例-MQ3酒精传感器驱动
  20. vue前端实现微信支付-微信公众号JSSDK

热门文章

  1. 10.2 接口关系下的多态
  2. idea 添加 VUE 的语法
  3. Django+JWT实现Token认证
  4. 【转】java接口的性能测试
  5. 多线程——NSThread、GCD、NSOperation
  6. 非计算机专业学习计算机
  7. SharePoint 2013/2010 中的日历重合 (Calendars Overlay)
  8. 一起来用Websocket（一）开篇 Websocket！Socket在HTML5复活
  9. Eclipse tomcat Web页面调试
  10. C#3.0官方编码规范