原文地址：http://blog.csdn.net/acdreamers/article/details/44657439

今天来讲BP神经网络，神经网络在机器学习中应用比较广泛，比如函数逼近，模式识别，分类，数据压缩，数据

挖掘等领域。接下来介绍BP神经网络的原理及实现。

Contents

  1. BP神经网络的认识

  2. 隐含层的选取

  3. 正向传递子过程

  4. 反向传递子过程

  5. BP神经网络的注意点

  6. BP神经网络的C++实现

1. BP神经网络的认识

   BP（Back Propagation）神经网络分为两个过程

（1）工作信号正向传递子过程

（2）误差信号反向传递子过程

在BP神经网络中，单个样本有个输入，有个输出，在输入层和输出层之间通常还有若干个隐含层。实际

上，1989年Robert Hecht-Nielsen证明了对于任何闭区间内的一个连续函数都可以用一个隐含层的BP网

络来逼近，这就是万能逼近定理。所以一个三层的BP网络就可以完成任意的维到维的映射。即这三层分

别是输入层（I），隐含层（H），输出层（O）。如下图示

2. 隐含层的选取

在BP神经网络中，输入层和输出层的节点个数都是确定的，而隐含层节点个数不确定，那么应该设置为多少

才合适呢？实际上，隐含层节点个数的多少对神经网络的性能是有影响的，有一个经验公式可以确定隐含层

节点数目，如下

其中为隐含层节点数目，为输入层节点数目，为输出层节点数目，为之间的调节常数。

3. 正向传递子过程

现在设节点和节点之间的权值为，节点的阀值为，每个节点的输出值为，而每个节点的输出

值是根据上层所有节点的输出值、当前节点与上一层所有节点的权值和当前节点的阀值还有激活函数来实现

的。具体计算方法如下

其中为激活函数，一般选取S型函数或者线性函数。

正向传递的过程比较简单，按照上述公式计算即可。在BP神经网络中，输入层节点没有阀值。

4. 反向传递子过程

   在BP神经网络中，误差信号反向传递子过程比较复杂，它是基于Widrow-Hoff学习规则的。假设输出层

的所有结果为，误差函数如下

而BP神经网络的主要目的是反复修正权值和阀值，使得误差函数值达到最小。Widrow-Hoff学习规则

是通过沿着相对误差平方和的最速下降方向，连续调整网络的权值和阀值，根据梯度下降法，权值矢量

的修正正比于当前位置上E(w,b)的梯度，对于第个输出节点有

假设选择激活函数为

对激活函数求导，得到

那么接下来针对有

其中有

同样对于有

这就是著名的学习规则，通过改变神经元之间的连接权值来减少系统实际输出和期望输出的误差，这个规

则又叫做Widrow-Hoff学习规则或者纠错学习规则。

上面是对隐含层和输出层之间的权值和输出层的阀值计算调整量，而针对输入层和隐含层和隐含层的阀值调

整量的计算更为复杂。假设是输入层第k个节点和隐含层第i个节点之间的权值，那么有

其中有

这样对学习规则理解更为深刻了吧。

有了上述公式，根据梯度下降法，那么对于隐含层和输出层之间的权值和阀值调整如下

而对于输入层和隐含层之间的权值和阀值调整同样有

至此BP神经网络的原理基本讲完。

5. BP神经网络的注意点

BP神经网络一般用于分类或者逼近问题。如果用于分类，则激活函数一般选用Sigmoid函数或者硬极限函

数，如果用于函数逼近，则输出层节点用线性函数，即。

BP神经网络在训练数据时可以采用增量学习或者批量学习。

   增量学习要求输入模式要有足够的随机性，对输入模式的噪声比较敏感，即对于剧烈变化的输入模式，训

练效果比较差，适合在线处理。批量学习不存在输入模式次序问题，稳定性好，但是只适合离线处理。

   标准BP神经网络的缺陷：

（1）容易形成局部极小值而得不到全局最优值。

BP神经网络中极小值比较多，所以很容易陷入局部极小值，这就要求对初始权值和阀值有要求，要使

得初始权值和阀值随机性足够好，可以多次随机来实现。

（2）训练次数多使得学习效率低，收敛速度慢。

（3）隐含层的选取缺乏理论的指导。

（4）训练时学习新样本有遗忘旧样本的趋势。

   BP算法的改进：

（1）增加动量项

引入动量项是为了加速算法收敛，即如下公式

动量因子一般选取。

（2）自适应调节学习率

（3）引入陡度因子

通常BP神经网络在训练之前会对数据归一化处理，即将数据映射到更小的区间内，比如[0,1]或[-1,1]。

6. BP神经网络的C++实现

   BP神经网络的C++文件如下

BP.h：

[cpp] view plaincopy
  1. #ifndef _BP_H_
  2. #define _BP_H_
  3. #include <vector>
  4. #define LAYER    3        //三层神经网络
  5. #define NUM      10       //每层的最多节点数
  6. #define A        30.0
  7. #define B        10.0     //A和B是S型函数的参数
  8. #define ITERS    1000     //最大训练次数
  9. #define ETA_W    0.0035   //权值调整率
  10. #define ETA_B    0.001    //阀值调整率
  11. #define ERROR    0.002    //单个样本允许的误差
  12. #define ACCU     0.005    //每次迭代允许的误差
  13. #define Type double
  14. #define Vector std::vector
  15. struct Data
  16. {
  17. Vector<Type> x;       //输入数据
  18. Vector<Type> y;       //输出数据
  19. };
  20. class BP{
  21. public:
  22. void GetData(const Vector<Data>);
  23. void Train();
  24. Vector<Type> ForeCast(const Vector<Type>);
  25. private:
  26. void InitNetWork();         //初始化网络
  27. void GetNums();             //获取输入、输出和隐含层节点数
  28. void ForwardTransfer();     //正向传播子过程
  29. void ReverseTransfer(int);  //逆向传播子过程
  30. void CalcDelta(int);        //计算w和b的调整量
  31. void UpdateNetWork();       //更新权值和阀值
  32. Type GetError(int);         //计算单个样本的误差
  33. Type GetAccu();             //计算所有样本的精度
  34. Type Sigmoid(const Type);   //计算Sigmoid的值
  35. private:
  36. int in_num;                 //输入层节点数
  37. int ou_num;                 //输出层节点数
  38. int hd_num;                 //隐含层节点数
  39. Vector<Data> data;          //输入输出数据
  40. Type w[LAYER][NUM][NUM];    //BP网络的权值
  41. Type b[LAYER][NUM];         //BP网络节点的阀值
  42. Type x[LAYER][NUM];         //每个神经元的值经S型函数转化后的输出值，输入层就为原值
  43. Type d[LAYER][NUM];         //记录delta学习规则中delta的值
  44. };
  45. #endif  //_BP_H_

BP.cpp：

[cpp] view plaincopy
  1. #include <string.h>
  2. #include <stdio.h>
  3. #include <math.h>
  4. #include <assert.h>
  5. #include "BP.h"
  6. //获取训练所有样本数据
  7. void BP::GetData(const Vector<Data> _data)
  8. {
  9. data = _data;
  10. }
  11. //开始进行训练
  12. void BP::Train()
  13. {
  14. printf("Begin to train BP NetWork!\n");
  15. GetNums();
  16. InitNetWork();
  17. int num = data.size();
  18. for(int iter = 0; iter <= ITERS; iter++)
  19. {
  20. for(int cnt = 0; cnt < num; cnt++)
  21. {
  22. //第一层输入节点赋值
  23. for(int i = 0; i < in_num; i++)
  24. x[0][i] = data.at(cnt).x[i];
  25. while(1)
  26. {
  27. ForwardTransfer();
  28. if(GetError(cnt) < ERROR)    //如果误差比较小，则针对单个样本跳出循环
  29. break;
  30. ReverseTransfer(cnt);
  31. }
  32. }
  33. printf("This is the %d th trainning NetWork !\n", iter);
  34. Type accu = GetAccu();
  35. printf("All Samples Accuracy is %lf\n", accu);
  36. if(accu < ACCU) break;
  37. }
  38. printf("The BP NetWork train End!\n");
  39. }
  40. //根据训练好的网络来预测输出值
  41. Vector<Type> BP::ForeCast(const Vector<Type> data)
  42. {
  43. int n = data.size();
  44. assert(n == in_num);
  45. for(int i = 0; i < in_num; i++)
  46. x[0][i] = data[i];
  47. ForwardTransfer();
  48. Vector<Type> v;
  49. for(int i = 0; i < ou_num; i++)
  50. v.push_back(x[2][i]);
  51. return v;
  52. }
  53. //获取网络节点数
  54. void BP::GetNums()
  55. {
  56. in_num = data[0].x.size();                         //获取输入层节点数
  57. ou_num = data[0].y.size();                         //获取输出层节点数
  58. hd_num = (int)sqrt((in_num + ou_num) * 1.0) + 5;   //获取隐含层节点数
  59. if(hd_num > NUM) hd_num = NUM;                     //隐含层数目不能超过最大设置
  60. }
  61. //初始化网络
  62. void BP::InitNetWork()
  63. {
  64. memset(w, 0, sizeof(w));      //初始化权值和阀值为0，也可以初始化随机值
  65. memset(b, 0, sizeof(b));
  66. }
  67. //工作信号正向传递子过程
  68. void BP::ForwardTransfer()
  69. {
  70. //计算隐含层各个节点的输出值
  71. for(int j = 0; j < hd_num; j++)
  72. {
  73. Type t = 0;
  74. for(int i = 0; i < in_num; i++)
  75. t += w[1][i][j] * x[0][i];
  76. t += b[1][j];
  77. x[1][j] = Sigmoid(t);
  78. }
  79. //计算输出层各节点的输出值
  80. for(int j = 0; j < ou_num; j++)
  81. {
  82. Type t = 0;
  83. for(int i = 0; i < hd_num; i++)
  84. t += w[2][i][j] * x[1][i];
  85. t += b[2][j];
  86. x[2][j] = Sigmoid(t);
  87. }
  88. }
  89. //计算单个样本的误差
  90. Type BP::GetError(int cnt)
  91. {
  92. Type ans = 0;
  93. for(int i = 0; i < ou_num; i++)
  94. ans += 0.5 * (x[2][i] - data.at(cnt).y[i]) * (x[2][i] - data.at(cnt).y[i]);
  95. return ans;
  96. }
  97. //误差信号反向传递子过程
  98. void BP::ReverseTransfer(int cnt)
  99. {
  100. CalcDelta(cnt);
  101. UpdateNetWork();
  102. }
  103. //计算所有样本的精度
  104. Type BP::GetAccu()
  105. {
  106. Type ans = 0;
  107. int num = data.size();
  108. for(int i = 0; i < num; i++)
  109. {
  110. int m = data.at(i).x.size();
  111. for(int j = 0; j < m; j++)
  112. x[0][j] = data.at(i).x[j];
  113. ForwardTransfer();
  114. int n = data.at(i).y.size();
  115. for(int j = 0; j < n; j++)
  116. ans += 0.5 * (x[2][j] - data.at(i).y[j]) * (x[2][j] - data.at(i).y[j]);
  117. }
  118. return ans / num;
  119. }
  120. //计算调整量
  121. void BP::CalcDelta(int cnt)
  122. {
  123. //计算输出层的delta值
  124. for(int i = 0; i < ou_num; i++)
  125. d[2][i] = (x[2][i] - data.at(cnt).y[i]) * x[2][i] * (A - x[2][i]) / (A * B);
  126. //计算隐含层的delta值
  127. for(int i = 0; i < hd_num; i++)
  128. {
  129. Type t = 0;
  130. for(int j = 0; j < ou_num; j++)
  131. t += w[2][i][j] * d[2][j];
  132. d[1][i] = t * x[1][i] * (A - x[1][i]) / (A * B);
  133. }
  134. }
  135. //根据计算出的调整量对BP网络进行调整
  136. void BP::UpdateNetWork()
  137. {
  138. //隐含层和输出层之间权值和阀值调整
  139. for(int i = 0; i < hd_num; i++)
  140. {
  141. for(int j = 0; j < ou_num; j++)
  142. w[2][i][j] -= ETA_W * d[2][j] * x[1][i];
  143. }
  144. for(int i = 0; i < ou_num; i++)
  145. b[2][i] -= ETA_B * d[2][i];
  146. //输入层和隐含层之间权值和阀值调整
  147. for(int i = 0; i < in_num; i++)
  148. {
  149. for(int j = 0; j < hd_num; j++)
  150. w[1][i][j] -= ETA_W * d[1][j] * x[0][i];
  151. }
  152. for(int i = 0; i < hd_num; i++)
  153. b[1][i] -= ETA_B * d[1][i];
  154. }
  155. //计算Sigmoid函数的值
  156. Type BP::Sigmoid(const Type x)
  157. {
  158. return A / (1 + exp(-x / B));
  159. }

Test.cpp：

[cpp] view plaincopy
  1. #include <iostream>
  2. #include <string.h>
  3. #include <stdio.h>
  4. #include "BP.h"
  5. using namespace std;
  6. double sample[41][4]=
  7. {
  8. {0,0,0,0},
  9. {5,1,4,19.020},
  10. {5,3,3,14.150},
  11. {5,5,2,14.360},
  12. {5,3,3,14.150},
  13. {5,3,2,15.390},
  14. {5,3,2,15.390},
  15. {5,5,1,19.680},
  16. {5,1,2,21.060},
  17. {5,3,3,14.150},
  18. {5,5,4,12.680},
  19. {5,5,2,14.360},
  20. {5,1,3,19.610},
  21. {5,3,4,13.650},
  22. {5,5,5,12.430},
  23. {5,1,4,19.020},
  24. {5,1,4,19.020},
  25. {5,3,5,13.390},
  26. {5,5,4,12.680},
  27. {5,1,3,19.610},
  28. {5,3,2,15.390},
  29. {1,3,1,11.110},
  30. {1,5,2,6.521},
  31. {1,1,3,10.190},
  32. {1,3,4,6.043},
  33. {1,5,5,5.242},
  34. {1,5,3,5.724},
  35. {1,1,4,9.766},
  36. {1,3,5,5.870},
  37. {1,5,4,5.406},
  38. {1,1,3,10.190},
  39. {1,1,5,9.545},
  40. {1,3,4,6.043},
  41. {1,5,3,5.724},
  42. {1,1,2,11.250},
  43. {1,3,1,11.110},
  44. {1,3,3,6.380},
  45. {1,5,2,6.521},
  46. {1,1,1,16.000},
  47. {1,3,2,7.219},
  48. {1,5,3,5.724}
  49. };
  50. int main()
  51. {
  52. Vector<Data> data;
  53. for(int i = 0; i < 41; i++)
  54. {
  55. Data t;
  56. for(int j = 0; j < 3; j++)
  57. t.x.push_back(sample[i][j]);
  58. t.y.push_back(sample[i][3]);
  59. data.push_back(t);
  60. }
  61. BP *bp = new BP();
  62. bp->GetData(data);
  63. bp->Train();
  64. while(1)
  65. {
  66. Vector<Type> in;
  67. for(int i = 0; i < 3; i++)
  68. {
  69. Type v;
  70. scanf("%lf", &v);
  71. in.push_back(v);
  72. }
  73. Vector<Type> ou;
  74. ou = bp->ForeCast(in);
  75. printf("%lf\n", ou[0]);
  76. }
  77. return 0;
  78. }

Makefile：

[cpp] view plaincopy
  1. Test : BP.h BP.cpp Test.cpp
  2. g++ BP.cpp Test.cpp -o Test
  3. clean:
  4. rm Test

转载于:https://www.cnblogs.com/hhddcpp/p/5742798.html

【转载】BP神经网络相关推荐

  1. matlab显示神经网络结构图,[转载]bp神经网络结构设计和在MATLAB中仿真方法

    4.2 神经网络的设计 在得到信号的特征向量以后,下一步工作就是建立并训练神经网络去对信号进行分类识别. (1)输入和输出层的设计 输入层的输入单元个数可以根据特征向量的维数决定.本文选取了5种特征向 ...

  2. bp神经网络应用实例_人工智能BP神经网络学习神器——AISPACE

    未经许可请勿转载 更多数据分析内容参看这里 今天我们来介绍一套小工具--AISPACE,它有助于你学习BP神经网络运作的过程及原理.AISPACE涉及的一系列工具用于学习和探索人工智能的概念,它们是在 ...

  3. 机器学习入门系列四（关键词：BP神经网络）

    机器学习入门系列四(关键词:BP神经网络) 标签: 机器学习神经网络 2016-01-12 15:28 80人阅读 评论(0) 收藏 举报 本文章已收录于: 分类: 机器学习(3) 作者同类文章X 版 ...

  4. BP神经网络及matlab实现

    本文主要内容包括: (1) 介绍神经网络基本原理,(2) AForge.NET实现前向神经网络的方法,(3) Matlab实现前向神经网络的方法 . 第0节.引例  本文以Fisher的Iris数据集 ...

  5. bp神经网络训练_数据分析模型6——神经网络基础（人工智能的底层模型）

    未经许可请勿转载 更多数据分析内容参看这里 今天我们来学习人工智能的底层模型--神经网络(NEURAL NETWORKS),现在比较热门的一个模型是深度学习,深度学习的基础也是神经网络,要学好深度学习 ...

  6. 【转】漫谈ANN(2)：BP神经网络

    上一次我们讲了M-P模型,它实际上就是对单个神经元的一种建模,还不足以模拟人脑神经系统的功能.由这些人工神经元构建出来的网络,才能够具有学习.联想.记忆和模式识别的能力.BP网络就是一种简单的人工神经 ...

  7. BP神经网络算法学习

    BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是眼下应用最广泛的神经网络模型之中的一个 ...

  8. BP神经网络识别手写数字项目解析及matlab实现

    BP神经网络指传统的人工神经网络,相比于卷积神经网络(CNN)来说要简单些. 人工神经网络具有复杂模式和进行联想.推理记忆的功能, 它是解决某些传统方法所无法解决的问题的有力工具.目前, 它日益受到重 ...

  9. 数据预测之BP神经网络具体应用以及matlab实现

    1.具体应用实例.根据表2,预测序号15的跳高成绩. 表2 国内男子跳高运动员各项素质指标 序号 跳高成绩() 30行进跑(s) 立定三级跳远() 助跑摸高() 助跑4-6步跳高() 负重深蹲杠铃() ...

最新文章

  1. swift_021（Swift 的方法）
  2. 推荐一些C++经典书籍
  3. ActiveMQ集群
  4. 循环队列之舞伴问题(含源码详解)
  5. C#-集合练习 107
  6. 设计模式：工厂方法模式（C++）【简单工厂进行升级】
  7. ADO.NET实例教学一
  8. 【cf-edu-round72: C 】The Number Of Good Substrings（思维）
  9. 钳位型过压保护器件压敏电阻MOV的生产工艺你知道吗？
  10. 前端css简易拾色器
  11. 欢乐时光病毒原码分析
  12. python 拼音排序_Python实现针对中文排序的方法
  13. VTK读取序列DCM格式医学图像
  14. 纯css实现乌云密布的天气图标
  15. 低通滤波器计算截止评率_科普文｜一文了解电阻-电容（RC）低通滤波器
  16. c++一元三次方程求解（NOIP2001 提高组）
  17. python解常微分方程龙格库_excel实现四阶龙格库塔法runge-kutta解二阶常微分方程范例.xls...
  18. 三大类计算机语言的相关知识,计算机语言有哪些
  19. 机器视觉实验四： 为人脸添加装饰物特效实验（OpenCV-python代码）
  20. 2022年三网融合行业研究报告

热门文章

  1. python爬取去哪儿网机票_王老吉携手去哪儿网，打造出行全链路营销盛事
  2. C语言之格式化输出字符
  3. 解决Android接入服务器NanoHttpd响应慢的问题
  4. 你的Mac支持更新macOS Monterey吗
  5. [ANT]apache ant 安装说明
  6. 基于Web的仓库管理系统的设计与实现（论文+PPT+源码）
  7. 八、Pytest自动化测试框架 — Pytest测试报告
  8. 皮尔森相关系数_追逐梦想的顾咏丰_新浪博客
  9. 2018第二届中国通信业物联网大会精彩前瞻
  10. docker之部署mall开源项目