每个神经网络对应每个收敛标准δ都有一个特征的迭代次数n，因此可以用迭代次数曲线n(δ)来评价网络性能。

一个二分类网络,分类两个对象A和B，B中有K张图片，B的第i张图片被取样的概率为pi,B中第i张图片相对A的迭代次数为ni最终的迭代次数nt等于pi*ni的累加和。

由此可以构造两个矩阵一个是随机矩阵PJ

PJ表明图片集B中第i张图片被抽样到的概率

和矩阵NJ

NJ表明图片集B中第i张图片相对A的迭代次数

总的迭代次数nt等于矩阵PJ和NJ的点积

为了验证这个关系构造了等式

本文验算这个表达式是否正确

实验过程

首先用实验的方法测量n1

制作一个带一个3*3卷积核的神经网络，测试集是mnist的0和一张图片x，将28*28的图片缩小成9*9，隐藏层30个节点所以网络的结构是

这个网络分成两个部分左边的是让mnist 0向1,0收敛，右边的是让x向 0,1收敛。但是让左右两边的权重实现同步更新，实现权重共享。前面大量实验表明这种效果相当于将两个弹性系数为k1，k2的弹簧并联成一个弹性系数为k的弹簧，并且让k1=k2=k/2的过程。

将上图简写成

d2（mnist0, x=1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

这个网络的收敛标准是

if (Math.abs(f2[0]-y[0])< δ  &&  Math.abs(f2[1]-y[1])< δ   )

本文尝试了δ从0.5到1e-6在内的26个值，训练集是mnist0,测试集是mnist的0和1

图片x就是一张二维数组，让x=1.

具体进样顺序

        

进样顺序

迭代次数

      

δ=0.5

        

mnist 0-1

1

  

判断是否达到收敛

X

2

  

判断是否达到收敛

梯度下降

        

mnist 0-2

3

  

判断是否达到收敛

X

4

  

判断是否达到收敛

梯度下降

        

……

        

mnist 0-4999

9997

  

判断是否达到收敛

X

9998

  

判断是否达到收敛

梯度下降

        

……

        

如果4999图片内没有达到收敛标准再次从头循环

    

mnist 0-1

9999

  

判断是否达到收敛

X

10000

  

判断是否达到收敛

……

        

达到收敛标准记录迭代次数，将这个过程重复199次

      

δ=0.4

        

……

        

用这个方法可以得到网络

d2（mnist0, x=1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

的迭代次数曲线n1。

第二步测量n0.6

用同样的办法制作另一个网络

d2（mnist0, x=0.6）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

让mnist 0向1,0收敛，右边的是让x向 0,1收敛。但让x=0.6.得到迭代次数曲线n0.6

第三步测量n0.1

用同样的办法制作另一个网络

d2（mnist0, x=0.1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

让mnist 0向1,0收敛，右边的是让x向 0,1收敛。但让x=0.1.得到迭代次数曲线n0.1

实验数据

在《测量一组对角矩阵的频率和质量》中已经将这两个迭代次数都测出来了

 

1

0.6

0.1

δ

迭代次数n

迭代次数n

迭代次数n

0.5

17.40201005

18.7839196

17.87437186

0.4

951.2110553

1117.532663

1408.577889

0.3

1144.577889

1415.271357

1720.517588

0.2

1313.633166

1623

1995.110553

0.1

1505.824121

1821.562814

2243.834171

0.01

2362.115578

2582.668342

3001.552764

0.001

4129.020101

3895.211055

4007.532663

1.00E-04

10353.37186

7057.452261

5532.668342

9.00E-05

10653.93467

7175.934673

5683.753769

8.00E-05

11292.43719

7392.497487

6131.934673

7.00E-05

11761.11055

8186.427136

6106.919598

6.00E-05

12657.69347

8620.758794

6014.688442

5.00E-05

13305.44221

9001.532663

6455.321608

4.00E-05

15844.29648

9694.778894

6724.738693

3.00E-05

17291.77387

10665.48241

7055.80402

2.00E-05

20753.56281

11822.9397

7763.41206

1.00E-05

27708.19598

15788.16583

8749.050251

9.00E-06

29358.8593

15766.86935

8879.41206

8.00E-06

30689.87437

16904.54774

9387.150754

7.00E-06

33437.22111

18446.72864

9532.648241

6.00E-06

36960.63819

18505.60302

9957.683417

5.00E-06

40669.92462

19916.76884

10661.56281

4.00E-06

44594.04523

20718.10553

11025.0402

3.00E-06

51522.10553

26158.03518

11653.63317

2.00E-06

67583.53266

26274.55779

13076.9196

1.00E-06

107224.5276

37806.51759

15184.58794

现在做第3个网络

d2（mnist0  ; 4x/9=1, 3x/9=0.6，2x/9=0.1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}

让mnist 0向1,0收敛，右边的是让x向 0,1收敛。但让x在1，0.6，0.1之间随机。让1：0.6：0.1的比例是4：3：2.

具体进样顺序

      

进样顺序

迭代次数

    

δ=0.5

      

mnist 0-1

1

  

判断是否达到收敛

4x/9=1, 3x/9=0.6，2x/9=0.1

2

  

判断是否达到收敛

梯度下降

      

mnist 0-2

3

  

判断是否达到收敛

4x/9=1, 3x/9=0.6，2x/9=0.1

4

  

判断是否达到收敛

梯度下降

      

……

      

mnist 0-4999

9997

  

判断是否达到收敛

4x/9=1, 3x/9=0.6，2x/9=0.1

9998

  

判断是否达到收敛

梯度下降

      

……

      

如果4999图片内没有达到收敛标准再次从头循环

  

mnist 0-1

9999

  

判断是否达到收敛

4x/9=1, 3x/9=0.6，2x/9=0.1

10000

  

判断是否达到收敛

……

      

达到收敛标准记录迭代次数，将这个过程重复199次

    

δ=0.4

      

……

      

相当于分类两个图片集，一个图片集是mnist的0另一个图片集只有三张图片，三张图片被取样的概率是4：3：2

得到的数据

用0和x二分类

                

1：0.6：0.1=4：3：2

              
                 

f2[0]

f2[1]

迭代次数n

平均准确率p-ave

δ

耗时ms/次

耗时ms/199次

耗时min/199次

最大准确率p-max

0.498465855

0.504407153

15.40201005

0.509835228

0.5

715.7839196

142442

2.374033333

0.822695035

0.607975726

0.391821652

1068.59799

0.488159473

0.4

869.080402

172949

2.882483333

0.894089835

0.714811563

0.28557279

1373.130653

0.548907659

0.3

944.959799

188063

3.134383333

0.995744681

0.815422226

0.184650986

1511.291457

0.594190812

0.2

1010.125628

201031

3.350516667

0.997635934

0.9131958

0.086833451

1666.718593

0.628121696

0.1

1038.889447

206755

3.445916667

0.996690307

0.991909048

0.00809399

2555.060302

0.628088433

0.01

1199.376884

238692

3.9782

0.997635934

0.999220131

7.80E-04

4194.979899

0.578426411

0.001

1489.859296

296483

4.941383333

0.996690307

0.999925034

7.48E-05

8077.261307

0.535775806

1.00E-04

1884.336683

374999

6.249983333

0.992434988

0.999929893

7.01E-05

8569.532663

0.539446642

9.00E-05

2150.693467

427989

7.13315

0.99858156

0.999936335

6.37E-05

9286.849246

0.521059197

8.00E-05

2265.557789

450862

7.514366667

0.996690307

0.999946467

5.35E-05

9572.59799

0.530955011

7.00E-05

2363.477387

470350

7.839166667

0.996690307

0.999953363

4.67E-05

9702.276382

0.545488673

6.00E-05

2383.447236

474308

7.905133333

0.995271868

0.999961078

3.89E-05

10840.82915

0.522461005

5.00E-05

2490.025126

495516

8.2586

0.996217494

0.999968703

3.13E-05

12212.41709

0.550059993

4.00E-05

2731.316583

543536

9.058933333

0.996217494

0.999976775

2.32E-05

13375.83417

0.530218468

3.00E-05

2159.150754

429681

7.16135

0.99858156

0.999983578

1.64E-05

15823.60302

0.534046117

2.00E-05

3254.648241

647681

10.79468333

0.989598109

0.999992049

7.94E-06

20360.31658

0.517267187

1.00E-05

3999.110553

795827

13.26378333

0.963120567

0.999992974

7.02E-06

20639.1005

0.514891241

9.00E-06

4148.809045

825613

13.76021667

0.991962175

0.999993747

6.26E-06

21407.29146

0.524893973

8.00E-06

4191.396985

834088

13.90146667

0.997635934

0.999994533

5.47E-06

25353.76382

0.511042209

7.00E-06

4840.41206

963258

16.0543

0.992434988

0.999995284

4.72E-06

24650.38693

0.527557409

6.00E-06

4721.844221

939647

15.66078333

0.989598109

0.999996007

3.99E-06

27221.62312

0.53021134

5.00E-06

5143.045226

1023466

17.05776667

0.988179669

0.999996817

3.18E-06

29481.81407

0.539643846

4.00E-06

5316.748744

1058033

17.63388333

0.996217494

0.999997542

2.46E-06

35670.74874

0.523297338

3.00E-06

7065.874372

1406110

23.43516667

0.997635934

0.999998413

1.59E-06

43239.72362

0.521408461

2.00E-06

9577.733668

1905969

31.76615

0.990543735

0.999999173

8.26E-07

64535.65327

0.510597907

1.00E-06

13978.8995

2781817

46.36361667

0.978250591

所以现在有了3个迭代次数分别是

x=1

n1

x=0.6

n0.6

x=0.1

n0.1

4x/9=1||3x/9=0.6||2x/9=0.1

n1-0.6-0.1
   
 

1

0.6

0.1

理论值

实测值

理论值/实测值

δ

迭代次数n

迭代次数n

迭代次数n

n1*4/9+n0.6*3/9+n0.1*2/9

　

　

0.5

17.40201005

18.7839196

17.87437186

17.96761586

15.40201005

1.166576038

0.4

951.2110553

1117.532663

1408.577889

1108.288666

1068.59799

1.037142757

0.3

1144.577889

1415.271357

1720.517588

1362.795645

1373.130653

0.992473398

0.2

1313.633166

1623

1995.110553

1568.194863

1511.291457

1.037652172

0.1

1505.824121

1821.562814

2243.834171

1775.072585

1666.718593

1.06501037

0.01

2362.115578

2582.668342

3001.552764

2577.730318

2555.060302

1.008872596

0.001

4129.020101

3895.211055

4007.532663

4024.086544

4194.979899

0.959262414

1.00E-04

10353.37186

7057.452261

5532.668342

8183.464545

8077.261307

1.013148422

9.00E-05

10653.93467

7175.934673

5683.753769

8390.116695

8569.532663

0.979063506

8.00E-05

11292.43719

7392.497487

6131.934673

8845.67895

9286.849246

0.952495159

7.00E-05

11761.11055

8186.427136

6106.919598

9313.062535

9572.59799

0.972887668

6.00E-05

12657.69347

8620.758794

6014.688442

9835.825237

9702.276382

1.013764693

5.00E-05

13305.44221

9001.532663

6455.321608

10348.55667

10840.82915

0.954590884

4.00E-05

15844.29648

9694.778894

6724.738693

11767.88889

12212.41709

0.96360031

3.00E-05

17291.77387

10665.48241

7055.80402

12808.35008

13375.83417

0.957573929

2.00E-05

20753.56281

11822.9397

7763.41206

14889.98827

15823.60302

0.940998599

1.00E-05

27708.19598

15788.16583

8749.050251

19521.7091

20360.31658

0.958811668

9.00E-06

29358.8593

15766.86935

8879.41206

20277.20771

20639.1005

0.98246567

8.00E-06

30689.87437

16904.54774

9387.150754

21360.82691

21407.29146

0.997829499

7.00E-06

33437.22111

18446.72864

9532.648241

23128.26298

25353.76382

0.912222073

6.00E-06

36960.63819

18505.60302

9957.683417

24808.30318

24650.38693

1.006406238

5.00E-06

40669.92462

19916.76884

10661.56281

27083.68118

27221.62312

0.994932634

4.00E-06

44594.04523

20718.10553

11025.0402

29175.61977

29481.81407

0.989614129

3.00E-06

51522.10553

26158.03518

11653.63317

34207.75489

35670.74874

0.958986175

2.00E-06

67583.53266

26274.55779

13076.9196

41701.29369

43239.72362

0.964420912

1.00E-06

107224.5276

37806.51759

15184.58794

63631.87102

64535.65327

0.985995613

从数值看

这个公式还是符合的很好的。

表明神经网络的迭代次数可以被看作是一个线性变量可以用概率矩阵和迭代次数矩阵的点积来计算。

将两组图片分组应该至少区分点的分布，数值大小和对称关系这3个属性，在实验

《图片的三种可能属性：点的分布规律，数值大小，对称关系》以表明迭代次数曲线不携带对称关系属性。所以尽管迭代次数可能是连续的，有很多种可能构造出同一个值，但并不表明有相同的分辨能力，

实验参数

学习率 0.1

权重初始化方式

Random rand1 =new Random();

int ti1=rand1.nextInt(98)+1;

int xx=1;

if(ti1%2==0)

{ xx=-1;}

tw[a][b]=xx*((double)ti1/x);

第一层第二层和卷积核的权重的初始化的x分别为1000,1000,200

用矩阵内积的办法构造迭代次数受控的神经网络1：0.6：0.1=4：3：2相关推荐

  1. 人工构造迭代次数高度简并的神经网络训练集

    (x)---81*30*2---(1,0) 做一个结构是81*30*2的网络,人工构造一个训练集x,并让这个训练集向(1,0)收敛,不分类.让收敛标准为1e-4.使得迭代次数高度简并,有明显的谱线特征 ...

  2. 用矩阵点积的办法构造神经网络的迭代次数1：0.6：0.1=1：1：1

    每个神经网络对应每个收敛标准δ都有一个特征的迭代次数n,因此可以用迭代次数曲线n(δ)来评价网络性能. 一个二分类网络分类两个对象A和B,B中有K张图片,B的第i张图片被取样的概率为pi,B中第i张图 ...

  3. 用数学方法构造神经网路的迭代次数1-9

    神经网络对应每个收敛标准δ都有一个特征的迭代次数n,因此可以用迭代次数曲线n(δ)来评价网络性能. 一个二分类网络分类两组对象A和B,B中有K张图片,B的第i张图片被取样的概率为pi,B中第i张图片相 ...

  4. 用两个矩阵的点积计算神经网络的迭代次数 2-8

    每个神经网络对应每个收敛标准δ都有一个特征的迭代次数n,因此可以用迭代次数曲线n(δ)来评价网络性能. 在<神经网络的迭代次数是一个线性的变量吗?>中得到表达式 一个二分类网络分类两个对象 ...

  5. 神经网络迭代次数的数学构成

    每个神经网络对应每个收敛标准δ都有一个特征的迭代次数n,因此可以用迭代次数曲线n(δ)来评价网络性能. 在<神经网络的迭代次数是一个线性的变量吗?>中得到表达式 一个二分类网络分类两个对象 ...

  6. 由神经网络的迭代次数计算输出值并评价网络性能

    在<用共振频率去理解神经网络-将乙烯模型运行300次的数据>文中将乙烯模型运行了300次,得到了300组输出与迭代次数的数据.这次计算只用了其中的150组数据,其中的6组明显不合理被剔除了 ...

  7. 神经网络迭代次数的线性累加现象

    神经网络对应每个收敛标准δ都有一个特征的迭代次数n,因此可以用迭代次数曲线n(δ)来评价网络性能. 在<神经网络的迭代次数是一个线性的变量吗?>中得到表达式 一个二分类网络分类两个对象A和 ...

  8. 神经网络的迭代次数是一个线性的变量吗？

    每个神经网络对应每个收敛标准δ都有一个特征的迭代次数n,因此可以用迭代次数曲线n(δ)来评价网络性能. 如果一个神经网络对图片1的迭代次数是n1对图片2的迭代次数是n2,做一个网络向网络输入50%的1 ...

  9. 输入对5层网络迭代次数的影响

    制作一个5层网络和一个3层网络 图中左边的5层网络很显然可以看作是由两个右边的3层网络组合而成,所以左边的网络的迭代次数和右边的网络的迭代次数有什么关系? 在<测量一组5层网络的迭代次数> ...

最新文章

  1. MyBatis整合第三方缓存
  2. sql注入原理及解决方案
  3. ASP.NET页面的生命周期
  4. monotouch Single View Application
  5. java8 Map新增方法的使用
  6. Word2Vec训练同义词模型
  7. quartz cron 每周一_quartz框架和关闭超时订单
  8. Visual C# 2005——超好用的DropDown与DropDownClosed事件
  9. 安卓 linux arm go,go arm、android版本
  10. C语言回文数判断，结果写入文件中
  11. POJ 3422 Kaka's Matrix Travels（拆点+最大费用流）题解
  12. Fuchsia 系统的编译和探索
  13. YuniKorn 介绍
  14. 用NDK交叉编译pixman-0.34
  15. 如何在Win10系统下的IntelliJ IDEA 2018.3.5下载与安装以及激活教程
  16. Java Class
  17. PHP实现图片合并功能（根据群用户头像生成群logo图片）
  18. php每四位隔开,php数字每三位加逗号的功能函数
  19. 用python画一个汉字_python使用reportlab画图示例（含中文汉字）
  20. Django框架学习（一）Django框架安装和项目创建详解

热门文章

  1. 1003 我要通过！ (20 分) python版答案（全部代码都有注释）
  2. 各个版本通道_绝地求生各个参数对画面的影响，软硬件优化帧数，拒绝做睁眼瞎...
  3. mailmessage html编码,C＃MailMessage顯示HTML標記的AlternateViews
  4. mysql自动转库_JAVA自动操作0racle数据库转mysql数据库
  5. 中缀表达式转化为后缀表达式
  6. [NOI2016]区间-线段树
  7. U盘加载速度慢的解决方法
  8. 十三、IntelliJ IDEA 中的版本控制介绍（下）
  9. C/S和B/S的区别
  10. laravel在wamp中输入地址后总是无法访问