制作一个二分类的神经网络验证是否只要经过足够的迭代都能使准确率无限上升并接近1。

r1

r2

    

<1

<1

吸引子

c

>1

>1

排斥子

p

>1

<1

鞍点

a

<1

>1

反鞍点

fa

d2（c，p）-4-4-2-（2*k）,k∈{0,1}

d2（c，a）-4-4-2-（2*k）,k∈{0,1}

d2（c，fa）-4-4-2-（2*k）,k∈{0,1}

d2（p，a）-4-4-2-（2*k）,k∈{0,1}

d2（p，fa）-4-4-2-（2*k）,k∈{0,1}

d2（a，fa）-4-4-2-（2*k）,k∈{0,1}

本次实验构造了6个网络分别二分类cp,ca,cfa,pa,pfa,afa。

实验过程

以二分类吸引子和排斥子为例子

d2（c，p）-4-4-2-（2*k）,k∈{0,1}

制作一个4*4*2的网络向这个的左侧输入吸引子，并让左侧网络向1，0收敛；向右侧网络输入排斥子让右侧向0，1收敛，并让4*4*2部分权重共享，，前面大量实验表明这种效果相当于将两个弹性系数为k1，k2的弹簧并联成一个弹性系数为k的弹簧，并且让k1=k2=k/2的过程。

这个网络的收敛标准是

if (Math.abs(f2[0]-y[0])< δ  &&  Math.abs(f2[1]-y[1])< δ   )

因为对应每个收敛标准δ都有一个特征的迭代次数n与之对应因此可以用迭代次数曲线n(δ)来评价网络性能。

本文尝试了δ从0.5到1e-6在内的26个值.

具体进样顺序

    

进样顺序

迭代次数

  

δ=0.5

    

c

1

判断是否达到收敛

p

2

判断是否达到收敛

梯度下降

    

c

3

判断是否达到收敛

p

4

判断是否达到收敛

梯度下降

    

……

    

达到收敛标准测量准确率,记录迭代次数，将这个过程重复199次

  

δ=0.4

    

…

    

δ=1e-6

    

将这个网络简写成

d2（c，p）-4-4-2-（2*k）,k∈{0,1}

得到的数据

cp

                

测试集

0.3

c

            
 

0.7

p

            

f2[0]

f2[1]

迭代次数n

平均准确率p-ave

δ

耗时ms/次

耗时ms/199次

耗时 min/199

最大准确率p-max

0.499499

0.52977

149.2864

0.700283

0.5

2.050251

408

0.0068

0.736737

0.60013

0.404593

6191.251

0.978929

0.4

13.31156

2665

0.044417

0.993994

0.711649

0.293137

10058.88

0.991353

0.3

18.55779

3725

0.062083

1

0.810707

0.191481

15794.96

0.996972

0.2

27.67337

5507

0.091783

1

0.907472

0.09366

24295.35

0.993979

0.1

41.65829

8290

0.138167

1

0.99134

0.008736

59370.36

0.86567

0.01

98.75879

19653

0.32755

1

0.999168

8.37E-04

116218.8

0.632869

0.001

193.5276

38512

0.641867

0.978979

0.999918

8.26E-05

213160.8

0.534097

1.00E-04

353.3568

70318

1.171967

0.928929

0.999926

7.41E-05

212890.8

0.540621

9.00E-05

353.4271

70332

1.1722

0.891892

0.999934

6.58E-05

216429.1

0.55042

8.00E-05

359.8945

71635

1.193917

0.905906

0.999944

5.66E-05

227994

0.534218

7.00E-05

379.3015

75512

1.258533

0.933934

0.999952

4.87E-05

238336.1

0.521904

6.00E-05

393.8492

78376

1.306267

0.863864

0.99996

4.05E-05

256301.7

0.507533

5.00E-05

423.5678

84291

1.40485

0.84985

0.999967

3.32E-05

272096.3

0.523715

4.00E-05

451.9347

89935

1.498917

0.850851

0.999976

2.46E-05

283245.7

0.505737

3.00E-05

391.5779

77941

1.299017

0.800801

0.999984

1.62E-05

320385.5

0.491366

2.00E-05

533.608

106188

1.7698

0.798799

0.999992

7.92E-06

362938.1

0.499625

1.00E-05

602.6432

119942

1.999033

0.828829

0.999993

7.22E-06

379786.3

0.492769

9.00E-06

631.7085

125710

2.095167

0.757758

0.999994

6.41E-06

391093.6

0.485304

8.00E-06

650.3668

129439

2.157317

0.747748

0.999994

5.58E-06

396418.2

0.48787

7.00E-06

667.5075

132850

2.214167

0.722723

0.999995

4.71E-06

401244.4

0.494746

6.00E-06

678.4372

135009

2.25015

0.813814

0.999996

3.97E-06

439625.5

0.484474

5.00E-06

743.7889

148014

2.4669

0.754755

0.999997

3.16E-06

480586.6

0.472216

4.00E-06

810.5377

161297

2.688283

0.765766

0.999998

2.37E-06

482990.6

0.483745

3.00E-06

810.3819

161266

2.687767

0.762763

0.999998

1.59E-06

555404.6

0.469817

2.00E-06

933.8191

185831

3.097183

0.724725

0.999999

7.75E-07

621276.4

0.467452

1.00E-06

1045.342

208023

3.46705

0.712713
                 

0.943057

0.058565

268626.3

0.604142

0.058138

446.5611

88871.88

1.481198

0.851005

这个网络的测试集有30%的c和70%的p

从数值上观察很明显准确率的平均值和最大值都没有随着收敛标准的减小而增大。平均值趋向于50%。

第二个网络

d2（c，a）-4-4-2-（2*k）,k∈{0,1}

ca

                

测试集

0.3

c

            
 

0.7

a

            

f2[0]

f2[1]

迭代次数n

平均准确率p-ave

δ

耗时ms/次

耗时ms/199次

耗时 min/199

最大准确率p-max

0.499584

0.515973

181.6482

0.700867

0.5

2.165829

431

0.007183

0.88989

0.605006

0.400648

4185.683

0.936233

0.4

9.201005

1847

0.030783

0.972973

0.719815

0.284929

4950.729

0.914266

0.3

9.592965

1910

0.031833

0.942943

0.819668

0.185906

5621.844

0.898466

0.2

10.68844

2127

0.03545

0.936937

0.91303

0.089101

6358.879

0.879789

0.1

12.24121

2436

0.0406

0.923924

0.991778

0.008487

9141.543

0.860177

0.01

16.79397

3342

0.0557

0.906907

0.999184

8.34E-04

13441.74

0.852918

0.001

23.22111

4621

0.077017

0.918919

0.999918

8.29E-05

21858.25

0.856253

1.00E-04

37.16583

7413

0.12355

0.911912

0.999926

7.49E-05

22514.33

0.854769

9.00E-05

38.0804

7594

0.126567

0.907908

0.999935

6.62E-05

22933.27

0.85485

8.00E-05

38.64824

7691

0.128183

0.907908

0.999942

5.90E-05

23904.65

0.861882

7.00E-05

40.0804

8023

0.133717

0.921922

0.999951

4.98E-05

25076.15

0.858165

6.00E-05

42.8392

8525

0.142083

0.91992

0.999959

4.12E-05

25666.67

0.85815

5.00E-05

44.90452

8941

0.149017

0.913914

0.999968

3.19E-05

27387.46

0.856746

4.00E-05

46.67337

9288

0.1548

0.914915

0.999976

2.40E-05

30215.88

0.856283

3.00E-05

52.1206

10372

0.172867

0.90991

0.999984

1.63E-05

32900.33

0.857496

2.00E-05

56.1407

11173

0.186217

0.915916

0.999992

7.91E-06

40569.4

0.853557

1.00E-05

68

13532

0.225533

0.90991

0.999993

7.27E-06

41823.16

0.854558

9.00E-06

69.82412

13910

0.231833

0.914915

0.999993

6.55E-06

43123.77

0.852541

8.00E-06

72.23618

14375

0.239583

0.914915

0.999994

5.59E-06

45766.82

0.851057

7.00E-06

76.51759

15243

0.25405

0.924925

0.999995

4.84E-06

47956.51

0.851751

6.00E-06

80.61307

16057

0.267617

0.901902

0.999996

3.89E-06

51933.27

0.843939

5.00E-06

87.17085

17362

0.289367

0.908909

0.999997

3.26E-06

58216.54

0.840373

4.00E-06

96.90955

19285

0.321417

0.897898

0.999998

2.39E-06

67257.81

0.83659

3.00E-06

112.0503

22313

0.371883

0.906907

0.999998

1.60E-06

93343.57

0.823105

2.00E-06

155.2864

30902

0.515033

0.898899

0.999999

7.52E-07

136177.5

0.805584

1.00E-06

225.0302

44781

0.74635

0.892893
                 

0.944138

0.057168

34711.82

0.852706

0.058138

58.62292

11672.85

0.194547

0.914953

这个网络的测试集有30%的c，70%的a

这个网路的准确率的平均值和最大值要比较第一个网络高些，但也不是随着δ的减小增加的。明显的趋于一个定值。

第三个网络

d2（c，fa）-4-4-2-（2*k）,k∈{0,1}

cfa

                

测试集

0.3

c

            
 

0.7

fa

            

f2[0]

f2[1]

迭代次数n

平均准确率p-ave

δ

耗时ms/次

耗时ms/199次

耗时 min/199

最大准确率p-max

0.499631

0.516258

181.5377

0.701043

0.5

2.040201

406

0.006767

0.736737

0.593787

0.409867

4247.367

0.932686

0.4

9.844221

1959

0.03265

0.962963

0.720905

0.28509

5066.859

0.914236

0.3

9.763819

1959

0.03265

0.955956

0.820136

0.183989

5560.809

0.895433

0.2

10.47236

2099

0.034983

0.935936

0.914333

0.088609

6510.085

0.882838

0.1

12.05025

2398

0.039967

0.926927

0.991791

0.008448

9125.794

0.860982

0.01

16.23116

3230

0.053833

0.910911

0.999171

8.42E-04

13343.48

0.856148

0.001

22.82412

4542

0.0757

0.912913

0.999918

8.28E-05

21923.32

0.856535

1.00E-04

37.12563

7388

0.123133

0.917918

0.999927

7.43E-05

22779.75

0.858783

9.00E-05

39.04523

7770

0.1295

0.903904

0.999935

6.55E-05

23230.09

0.858472

8.00E-05

39.28141

7817

0.130283

0.911912

0.999944

5.70E-05

23991.33

0.858366

7.00E-05

40.61809

8115

0.13525

0.90991

0.99995

5.04E-05

24863.7

0.860816

6.00E-05

42.32161

8422

0.140367

0.91992

0.999959

4.12E-05

25851.49

0.856007

5.00E-05

44.35678

8827

0.147117

0.906907

0.999966

3.39E-05

27462.18

0.856807

4.00E-05

46.85427

9325

0.155417

0.915916

0.999976

2.46E-05

29699.94

0.855977

3.00E-05

50.56784

10063

0.167717

0.905906

0.999984

1.66E-05

33061.28

0.857667

2.00E-05

55.63317

11086

0.184767

0.911912

0.999992

8.15E-06

41189.6

0.854307

1.00E-05

69.30653

13823

0.230383

0.908909

0.999993

7.18E-06

41336.82

0.85077

9.00E-06

70.16583

13979

0.232983

0.906907

0.999994

6.43E-06

42669.6

0.853567

8.00E-06

72.1608

14360

0.239333

0.912913

0.999994

5.57E-06

45067.12

0.850061

7.00E-06

76.80402

15284

0.254733

0.905906

0.999995

4.78E-06

48391.38

0.846173

6.00E-06

81.25628

16186

0.269767

0.905906

0.999996

3.99E-06

53587.13

0.851012

5.00E-06

90.59296

18028

0.300467

0.906907

0.999997

3.19E-06

58254.92

0.841902

4.00E-06

98.29146

19577

0.326283

0.905906

0.999998

2.38E-06

66089.84

0.836304

3.00E-06

110.9497

22079

0.367983

0.904905

0.999998

1.55E-06

89193.42

0.823919

2.00E-06

149.0804

29699

0.494983

0.905906

0.999999

7.50E-07

138352.1

0.807783

1.00E-06

231.1508

45999

0.76665

0.883884
                 

0.943818

0.057446

34655.04

0.853023

0.058138

58.79957

11708.46

0.195141

0.907484

这个网络的值与第二个网路的值高度近似， 这体现了a和fa相对c的对称性。

两个网络的迭代次数是高度重合的。

两个网络的平均准确率是高度重合的。

两个网络的最大准确率也是高度重合的。

第四个网络

d2（p，a）-4-4-2-（2*k）,k∈{0,1}

pa

                

测试集

0.3

p

            
 

0.7

a

            

f2[0]

f2[1]

迭代次数n

平均准确率p-ave

δ

耗时ms/次

耗时ms/199次

耗时 min/199

最大准确率p-max

0.514668

0.499679

177.8141

0.299395

0.5

2.045226

408

0.0068

0.334334

0.401314

0.604127

4073.583

0.909694

0.4

9.477387

1902

0.0317

0.961962

0.288585

0.716915

4806.276

0.920051

0.3

9.768844

1960

0.032667

0.967968

0.189818

0.814494

5306.126

0.922138

0.2

10.1608

2022

0.0337

0.954955

0.090113

0.912569

6021.729

0.924754

0.1

11.19095

2227

0.037117

0.953954

0.008526

0.991673

8323.387

0.927475

0.01

16.87437

3358

0.055967

0.952953

8.46E-04

0.999167

11739.58

0.926927

0.001

20.72362

4124

0.068733

0.954955

8.61E-05

0.999915

17633.54

0.928542

1.00E-04

30.29648

6029

0.100483

0.950951

7.76E-05

0.999923

18116.37

0.928753

9.00E-05

30.89447

6148

0.102467

0.954955

6.86E-05

0.999932

18777.39

0.928506

8.00E-05

32.18593

6405

0.10675

0.950951

6.01E-05

0.999941

19536.37

0.927918

7.00E-05

32.57286

6482

0.108033

0.953954

5.19E-05

0.999949

20382.09

0.928376

6.00E-05

34.92462

6966

0.1161

0.952953

4.27E-05

0.999958

21002.82

0.927234

5.00E-05

35.69347

7119

0.11865

0.952953

3.48E-05

0.999966

21406.57

0.928894

4.00E-05

36.90955

7360

0.122667

0.947948

2.62E-05

0.999974

23201.12

0.929372

3.00E-05

40.37688

8035

0.133917

0.951952

1.73E-05

0.999983

25067.48

0.929502

2.00E-05

42.63819

8517

0.14195

0.950951

8.51E-06

0.999991

29899.49

0.930946

1.00E-05

51.58794

10266

0.1711

0.94995

7.81E-06

0.999992

30046.65

0.929558

9.00E-06

51.07035

10178

0.169633

0.948949

6.88E-06

0.999993

30608.13

0.930352

8.00E-06

52.32161

10412

0.173533

0.958959

5.91E-06

0.999994

32460.66

0.929185

7.00E-06

55.56281

11057

0.184283

0.954955

5.16E-06

0.999995

33155.83

0.92992

6.00E-06

55.96482

11138

0.185633

0.951952

4.25E-06

0.999996

34170.82

0.930559

5.00E-06

57.47236

11452

0.190867

0.952953

3.41E-06

0.999997

36493.76

0.931565

4.00E-06

61.8593

12310

0.205167

0.953954

2.59E-06

0.999997

38369.11

0.931801

3.00E-06

65.30151

12995

0.216583

0.954955

1.71E-06

0.999998

42692.81

0.932339

2.00E-06

71.24623

14178

0.2363

0.952953

8.76E-07

0.999999

47401.5

0.932028

1.00E-06

80.39698

15999

0.26665

0.94995
                 

0.057476

0.943774

22341.19

0.903684

0.058138

38.44298

7655.654

0.127594

0.92993

这网络的平均准确率和最大准确率都要高些，但更加趋于一个恒定值。

第5个网络

d2（p，fa）-4-4-2-（2*k）,k∈{0,1}

pfa

                

测试集

0.3

p

            
 

0.7

fa

            

f2[0]

f2[1]

迭代次数n

平均准确率p-ave

δ

耗时ms/次

耗时ms/199次

耗时 min/199

最大准确率p-max

0.515643

0.499664

174.9799

0.300491

0.5

2.120603

422

0.007033

0.375375

0.412515

0.594208

4135.432

0.909045

0.4

10.20603

2031

0.03385

0.964965

0.285641

0.718931

4765.95

0.923763

0.3

9.61809

1914

0.0319

0.96997

0.184718

0.818123

5357.095

0.923582

0.2

10.32663

2055

0.03425

0.950951

0.089264

0.912503

6056.724

0.925413

0.1

11.27136

2243

0.037383

0.956957

0.008684

0.991461

8337.327

0.926016

0.01

15.36683

3090

0.0515

0.951952

8.56E-04

0.999158

11779.91

0.928612

0.001

21.0402

4187

0.069783

0.956957

8.61E-05

0.999915

18232.5

0.929085

1.00E-04

31.31156

6231

0.10385

0.94995

7.69E-05

0.999924

18278.48

0.9274

9.00E-05

31.9397

6356

0.105933

0.945946

6.86E-05

0.999932

18963.28

0.928703

8.00E-05

32.08543

6385

0.106417

0.953954

6.05E-05

0.99994

19460.16

0.92826

7.00E-05

33.40704

6649

0.110817

0.954955

5.17E-05

0.999949

19832.13

0.928687

6.00E-05

33.72362

6712

0.111867

0.95996

4.31E-05

0.999958

21033.61

0.928632

5.00E-05

36.23618

7227

0.12045

0.94995

3.38E-05

0.999966

21792.55

0.927908

4.00E-05

37.32161

7427

0.123783

0.951952

2.59E-05

0.999974

22954.92

0.928672

3.00E-05

39.19095

7829

0.130483

0.956957

1.69E-05

0.999983

25568.18

0.92992

2.00E-05

44.03015

8764

0.146067

0.950951

8.65E-06

0.999991

29570.57

0.930066

1.00E-05

53.71859

10692

0.1782

0.951952

7.73E-06

0.999992

30655.57

0.929784

9.00E-06

52.04523

10357

0.172617

0.950951

6.79E-06

0.999993

30476.99

0.930292

8.00E-06

51.45729

10256

0.170933

0.94995

6.09E-06

0.999994

31881.28

0.930458

7.00E-06

54.45729

10853

0.180883

0.955956

5.12E-06

0.999995

33848.89

0.930614

6.00E-06

57.75879

11494

0.191567

0.953954

4.34E-06

0.999996

34395.23

0.930262

5.00E-06

57.96985

11536

0.192267

0.956957

3.42E-06

0.999997

35777.86

0.930951

4.00E-06

60.78392

12096

0.2016

0.950951

2.57E-06

0.999997

37674.54

0.930755

3.00E-06

64.0201

12740

0.212333

0.955956

1.74E-06

0.999998

42115.04

0.931117

2.00E-06

71.68342

14265

0.23775

0.954955

8.64E-07

0.999999

48476.45

0.931846

1.00E-06

81.79397

16292

0.271533

0.960961
                 

0.057609

0.943598

22369.06

0.903859

0.058138

38.6494

7696.269

0.128271

0.932471

将这个网络和第4个网络比较

迭代次数曲线是高度重合的。

平均准确率是高度重合的。两个网络的平均准确率的平均值分别是0.903684和0.903859表明这种算法的精度是有保证的。

两个网络的最大准确率也是高度重合的。

第六个网络

d2（a，fa）-4-4-2-（2*k）,k∈{0,1}

afa

                

测试集

0.3

a

            
 

0.7

fa

            

f2[0]

f2[1]

迭代次数n

平均准确率p-ave

δ

耗时ms/次

耗时ms/199次

耗时 min/199

最大准确率p-max

0.503493

0.503889

212.603

0.574263

0.5

2.150754

443

0.007383

1

0.508644

0.49533

2235.704

0.997681

0.4

5.351759

1065

0.01775

1

0.491317

0.513018

2640.658

0.998672

0.3

5.512563

1097

0.018283

1

0.561021

0.442177

2962.291

0.998788

0.2

6.150754

1224

0.0204

1

0.489822

0.510905

3503.392

0.998461

0.1

7.567839

1521

0.02535

1

0.527219

0.472919

5312.216

0.998798

0.01

11.19095

2227

0.037117

1

0.472417

0.527593

9557.186

0.999251

0.001

18.66332

3714

0.0619

1

0.522609

0.477392

20758.42

0.999512

1.00E-04

35.34171

7033

0.117217

1

0.502513

0.497488

21057.2

0.999406

9.00E-05

35.68342

7132

0.118867

1

0.437195

0.562805

21819.72

0.999371

8.00E-05

36.69347

7302

0.1217

1

0.507537

0.492463

23084.82

0.999447

7.00E-05

39.15075

7808

0.130133

1

0.497488

0.502513

25048.22

0.999502

6.00E-05

42.43216

8444

0.140733

1

0.417093

0.582907

26331.89

0.999532

5.00E-05

44.44724

8845

0.147417

1

0.54271

0.45729

28623.57

0.999633

4.00E-05

48.15578

9599

0.159983

1

0.462314

0.537686

31665.49

0.999567

3.00E-05

53.46231

10639

0.177317

1

0.537687

0.462313

37038.34

0.999567

2.00E-05

62.22111

12397

0.206617

1

0.522613

0.477387

47352.31

0.999593

1.00E-05

79.39698

15801

0.26335

1

0.462312

0.537688

50876.94

0.999733

9.00E-06

85.59799

17034

0.2839

1

0.512563

0.487437

53048.54

0.999638

8.00E-06

88.94472

17715

0.29525

1

0.502513

0.497487

55641.3

0.999517

7.00E-06

92.98492

18519

0.30865

1

0.532663

0.467337

59971.42

0.999683

6.00E-06

100.0653

19913

0.331883

1

0.507538

0.492462

64722.1

0.999668

5.00E-06

108.0854

21509

0.358483

1

0.477387

0.522613

68794.14

0.999688

4.00E-06

115.1759

22936

0.382267

1

0.492462

0.507538

79341.16

0.999743

3.00E-06

132.4171

26352

0.4392

1

0.477387

0.522613

88647.71

0.999658

2.00E-06

147.8995

29447

0.490783

1

0.442211

0.557789

118332.5

0.999723

1.00E-06

196.2814

39075

0.65125

1
                 

0.496567

0.504194

36483.84

0.983004

0.058138

61.57789

12261.19

0.204353

1

这个网络的平均准确率和最大准确率都高度的接近1.

6组数据综合

 

cp

ca

cfa

pa

pfa

afa

δ

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

0.5

149.2864

181.6482

181.5377

177.8141

174.9799

212.603

0.4

6191.251

4185.683

4247.367

4073.583

4135.432

2235.704

0.3

10058.88

4950.729

5066.859

4806.276

4765.95

2640.658

0.2

15794.96

5621.844

5560.809

5306.126

5357.095

2962.291

0.1

24295.35

6358.879

6510.085

6021.729

6056.724

3503.392

0.01

59370.36

9141.543

9125.794

8323.387

8337.327

5312.216

0.001

116218.8

13441.74

13343.48

11739.58

11779.91

9557.186

1.00E-04

213160.8

21858.25

21923.32

17633.54

18232.5

20758.42

9.00E-05

212890.8

22514.33

22779.75

18116.37

18278.48

21057.2

8.00E-05

216429.1

22933.27

23230.09

18777.39

18963.28

21819.72

7.00E-05

227994

23904.65

23991.33

19536.37

19460.16

23084.82

6.00E-05

238336.1

25076.15

24863.7

20382.09

19832.13

25048.22

5.00E-05

256301.7

25666.67

25851.49

21002.82

21033.61

26331.89

4.00E-05

272096.3

27387.46

27462.18

21406.57

21792.55

28623.57

3.00E-05

283245.7

30215.88

29699.94

23201.12

22954.92

31665.49

2.00E-05

320385.5

32900.33

33061.28

25067.48

25568.18

37038.34

1.00E-05

362938.1

40569.4

41189.6

29899.49

29570.57

47352.31

9.00E-06

379786.3

41823.16

41336.82

30046.65

30655.57

50876.94

8.00E-06

391093.6

43123.77

42669.6

30608.13

30476.99

53048.54

7.00E-06

396418.2

45766.82

45067.12

32460.66

31881.28

55641.3

6.00E-06

401244.4

47956.51

48391.38

33155.83

33848.89

59971.42

5.00E-06

439625.5

51933.27

53587.13

34170.82

34395.23

64722.1

4.00E-06

480586.6

58216.54

58254.92

36493.76

35777.86

68794.14

3.00E-06

482990.6

67257.81

66089.84

38369.11

37674.54

79341.16

2.00E-06

555404.6

93343.57

89193.42

42692.81

42115.04

88647.71

1.00E-06

621276.4

136177.5

138352.1

47401.5

48476.45

118332.5

可以明显的看到cp的迭代次数是最大的。

由迭代次数可以按从大到小排列

具体顺序cp>afa>ca=cfa>pa=pfa

也就是cp的迭代次数是最多的，而pa的迭代次数是最少的。

 

cp

ca

cfa

pa

pfa

afa

δ

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

平均准确率p-ave

0.5

0.700283

0.700867

0.701043

0.299395

0.300491

0.574263

0.4

0.978929

0.936233

0.932686

0.909694

0.909045

0.997681

0.3

0.991353

0.914266

0.914236

0.920051

0.923763

0.998672

0.2

0.996972

0.898466

0.895433

0.922138

0.923582

0.998788

0.1

0.993979

0.879789

0.882838

0.924754

0.925413

0.998461

0.01

0.86567

0.860177

0.860982

0.927475

0.926016

0.998798

0.001

0.632869

0.852918

0.856148

0.926927

0.928612

0.999251

1.00E-04

0.534097

0.856253

0.856535

0.928542

0.929085

0.999512

9.00E-05

0.540621

0.854769

0.858783

0.928753

0.9274

0.999406

8.00E-05

0.55042

0.85485

0.858472

0.928506

0.928703

0.999371

7.00E-05

0.534218

0.861882

0.858366

0.927918

0.92826

0.999447

6.00E-05

0.521904

0.858165

0.860816

0.928376

0.928687

0.999502

5.00E-05

0.507533

0.85815

0.856007

0.927234

0.928632

0.999532

4.00E-05

0.523715

0.856746

0.856807

0.928894

0.927908

0.999633

3.00E-05

0.505737

0.856283

0.855977

0.929372

0.928672

0.999567

2.00E-05

0.491366

0.857496

0.857667

0.929502

0.92992

0.999567

1.00E-05

0.499625

0.853557

0.854307

0.930946

0.930066

0.999593

9.00E-06

0.492769

0.854558

0.85077

0.929558

0.929784

0.999733

8.00E-06

0.485304

0.852541

0.853567

0.930352

0.930292

0.999638

7.00E-06

0.48787

0.851057

0.850061

0.929185

0.930458

0.999517

6.00E-06

0.494746

0.851751

0.846173

0.92992

0.930614

0.999683

5.00E-06

0.484474

0.843939

0.851012

0.930559

0.930262

0.999668

4.00E-06

0.472216

0.840373

0.841902

0.931565

0.930951

0.999688

3.00E-06

0.483745

0.83659

0.836304

0.931801

0.930755

0.999743

2.00E-06

0.469817

0.823105

0.823919

0.932339

0.931117

0.999658

1.00E-06

0.467452

0.805584

0.807783

0.932028

0.931846

0.999723

将平均准确率从大到小排列afa>pfa=pa>ca=cfa>cp

其中afa的平均准确率接近1，cp的平均准确率接近50%。

但这6个网络的平均准确率都是趋向一个恒定值的，也就是这6个二分类网络的准确率和δ是无关的。

 

cp

Ca

cfa

pa

pfa

afa

δ

最大准确率p-max

最大准确率p-max

最大准确率p-max

最大准确率p-max

最大准确率p-max

最大准确率p-max

0.5

0.736737

0.88989

0.736737

0.334334

0.375375

1

0.4

0.993994

0.972973

0.962963

0.961962

0.964965

1

0.3

1

0.942943

0.955956

0.967968

0.96997

1

0.2

1

0.936937

0.935936

0.954955

0.950951

1

0.1

1

0.923924

0.926927

0.953954

0.956957

1

0.01

1

0.906907

0.910911

0.952953

0.951952

1

0.001

0.978979

0.918919

0.912913

0.954955

0.956957

1

1.00E-04

0.928929

0.911912

0.917918

0.950951

0.94995

1

9.00E-05

0.891892

0.907908

0.903904

0.954955

0.945946

1

8.00E-05

0.905906

0.907908

0.911912

0.950951

0.953954

1

7.00E-05

0.933934

0.921922

0.90991

0.953954

0.954955

1

6.00E-05

0.863864

0.91992

0.91992

0.952953

0.95996

1

5.00E-05

0.84985

0.913914

0.906907

0.952953

0.94995

1

4.00E-05

0.850851

0.914915

0.915916

0.947948

0.951952

1

3.00E-05

0.800801

0.90991

0.905906

0.951952

0.956957

1

2.00E-05

0.798799

0.915916

0.911912

0.950951

0.950951

1

1.00E-05

0.828829

0.90991

0.908909

0.94995

0.951952

1

9.00E-06

0.757758

0.914915

0.906907

0.948949

0.950951

1

8.00E-06

0.747748

0.914915

0.912913

0.958959

0.94995

1

7.00E-06

0.722723

0.924925

0.905906

0.954955

0.955956

1

6.00E-06

0.813814

0.901902

0.905906

0.951952

0.953954

1

5.00E-06

0.754755

0.908909

0.906907

0.952953

0.956957

1

4.00E-06

0.765766

0.897898

0.905906

0.953954

0.950951

1

3.00E-06

0.762763

0.906907

0.904905

0.954955

0.955956

1

2.00E-06

0.724725

0.898899

0.905906

0.952953

0.954955

1

1.00E-06

0.712713

0.892893

0.883884

0.94995

0.960961

1

最大准确率排序afa>pa=pfa>ca=cfa>cp

而且afa，pa，pfa，ca，cfa的最大准确率都趋向恒定。

也就表明并不是所有的二分类网路的最大分类准确都是100%。

实验参数
学习率 0.1
权重初始化方式
Random rand1 =new Random();
int ti1=rand1.nextInt(98)+1;
tw[a][b]=xx*((double)ti1/100);

是否所有二分类神经网络的准确率都能无限趋近100%？相关推荐

  1. 二分类神经网络结果准确率50%，loss一直在0.69的解决方法

    先参考这篇文章,了解为什么loss是0.69 链接:https://www.jianshu.com/p/45c2180cab17 这个问题很多人在训练自己或者迁移别的网络的时候都会遇到,特别是二分类这 ...

  2. Lesson 8.38.4 二分类神经网络torch.nn.functional实现单层二分类网络的正向传播

    二.二分类神经网络:逻辑回归 1 二分类神经网络的理论基础 线性回归是统计学经典算法,它能够拟合出一条直线来描述变量之间的线性关系.但在实际中,变量之间的关系通常都不是一条直线,而是呈现出某种曲线关系 ...

  3. 二分类神经网络的特征光谱---1-2至1-9

    制作一个二分类的神经网络来分类mnist的1和2到1和9,网络结构是 (mnist 0 ,mnist x)81-30-2-(1,0) || (0,1) 将28*28的图片压缩到9*9,三层网络的节点数 ...

  4. 二分类2x2对角矩阵准确率表达式

    前面的实验中分别测量了吸引子和鞍点,排斥子和鞍点,吸引子和排斥子的分类网络的准确率. 以吸引子和鞍点为例 r1 r2     <1 <1 吸引子 c >1 >1 排斥子 p & ...

  5. 用二分类神经网络估算多分类神经网络迭代次数的经验公式

    神经网络的迭代次数n和收敛误差δ总能满足关系式 一个多分类网络的参数a至少大于对应二分类网络的参数a的和,参数b的绝对值约等于对应多个二分类网络b的绝对值的最大值 本文再次验证这个关系式,这次用的13 ...

  6. 二分类神经网络的特征光谱---2-3至2-9

    用特征迭代次数的方法构造神经网络的光谱, 网络结构是 (mnist 2 ,mnist x)81-30-2-(1,0) || (0,1) 将28*28的图片压缩到9*9,三层网络的节点数量分别是81*3 ...

  7. LESSON 10.110.210.3 SSE与二分类交叉熵损失函数二分类交叉熵损失函数的pytorch实现多分类交叉熵损失函数

    在之前的课程中,我们已经完成了从0建立深层神经网络,并完成正向传播的全过程.本节课开始,我们将以分类深层神经网络为例,为大家展示神经网络的学习和训练过程.在介绍PyTorch的基本工具AutoGrad ...

  8. 常用分类评估指标（二分类多分类）

    一直想写篇度量指标的文章,梳理一下这块的知识点,可能想了太多次,总以为自己已经写过了,今天看文章列表,竟然没有相关的内容,刚好最近在做多分类模型,借此机会整理一下. 混淆矩阵(confusion ma ...

  9. Logistic逻辑回归(sigmod二分类)成本函数推导 及其梯度下降

    logistic逻辑回归是比较常用的二分分类,其激活函数适用于各种二分类场景,但是其函数在t极大或者极小的时候趋于饱和会引发梯度消失,影响网络调参使得函数不能很好的收敛 有兴趣的同学可以参阅我的上一篇 ...

最新文章

  1. 【运维学习笔记】在 vSphere Client上创建新的虚拟机
  2. Linux笔记（更改权限chmod，更改所有组chown，umask，隐藏权限chattr）
  3. otf和ctf的意义_光学信息技术原理及应用 OTF与CTF的比较与计算.ppt
  4. 轻松搞定Retrofit不同网络请求方式的请求参数配置，及常用注解使用
  5. 网页页面设计如何做到极致舒适感？
  6. C#循环给多个控件赋值
  7. redis命令 举例
  8. oracle dba入门线路图--记某培训公司的ORACLE DBA技能进阶实战大纲
  9. java模式设计视频教程_全新JAVA设计模式详解视频教程 完整版课程
  10. Oracle数据库在.net连接问题总结
  11. 别把SEO当苦力活，做优化要讲究策略
  12. OSPF不规则区域，远离Area 0的区域连通性解决方案
  13. mybatisplus 使用案例
  14. 安卓java游戏模拟器_java游戏模拟器安卓版下载
  15. Linux-常用软件源整理
  16. 关于免费申请6位QQ的真相
  17. Python秒杀脚本丨淘宝或京东平台定时自动秒杀抢购脚本
  18. Just do it and never give up,then you will find that things become better
  19. 基于JavaSwing开发模拟电梯系统+分析报告 课程设计 大作业源码
  20. 理解51单片机最小系统的工作原理

热门文章

  1. 第三十三讲 非线性方程组化为一阶方程
  2. 第八讲 一阶常系数线性ODE（续）
  3. JMeter和JMeterPlugin 下载安装
  4. 关于大型站点技术演进的思考（七）--存储的瓶颈（7）
  5. AntData.ORM框架 之 读写分离
  6. DFS 之 poj 2386 Lake Counting
  7. 一个C#和C++执行效率对比的简单实例
  8. Silverlight 2 RTW中ToolTipService.ToolTip不继承父节点的DataContext的问题
  9. JS,中文,未结束的字符常量
  10. AMD规范：简单而优雅的动态载入JavaScript代码