ML Backpropagation算法实现的过程举例
Backpropagation算法实现的过程：
输入x:设置输入层activation a (输入层a等于x)
正向更新:对于l=1, 2, 3,…L,计算（由前一层的值计算得到下一层的值）
计算出输出层error: （偏导数▽aC就是计算出的值a与真实值y之间的差（Tj-Oj）；而对于sigmoid 函数的导数σ’就等于Oj（1-Oj））
C要看实际所使用的 cost函数为何种反向更新error (backpropagate error):
前面的w和delta相乘用dot，后面与σ’卷积用*（实际计算发现dot运算时可能要进行一定的转置使数组的维度能对上，dot运算满足的条件可以参照：https://blog.csdn.net/Moelimoe/article/details/100004920输出: (权重和偏向的偏导)
Backpropagation算法举例
初始权重(initialize weights)是随机产生的(如-1~1之间)
X为实例，θ为偏向(bias)，对于input layer是没有偏向的，偏向可以定在
-0.5~0.5之间
如下图
由node4对应所有实例计算出的结果(0.332)即是node4对应的的值
最开始所有层w，b都会初始化一个值
以下[3,2,1]的神经元结构为例：input layer为所有x值，每一个结点代表一个x的值
如：node4 = x1 * w14 + x2 * w24 + x3 * w34 + θ4 =0.2+0+（-0.5）+（-0.4）=-0.7（相当于中间变量Z或activation a）
θ为偏向bias，算出来node4=-0.7也就是node4对于output的输入值
利用隐藏层error公式计算每一个结点的error：（node6由输出层计算，5和4由公式weight*error计算）
更新weight和bias：
ML Backpropagation算法实现的过程举例相关推荐
- Spark ML - 聚类算法
http://ihoge.cn/2018/ML2.html Spark ML - 聚类算法 1.KMeans快速聚类 首先到UR需要的包: import org.apache.spark.ml.clu ...
- 时间复杂度和空间复杂度的概念及各种算法的时间复杂度 及举例
时间复杂度和空间复杂度的概念及各种算法的时间复杂度 及举例 算法的复杂度可分为俩种 一种时间复杂度 另一种是空间复杂度. 俩者的概念:时间复杂度是指执行这个算法所需要的计算工作量:而空间复杂度是指执行 ...
- TCP/IP基础概念及通信过程举例
TCP/IP基础概念及通信过程举例 出现 上个世纪60年代,由于中央集中式网络的容灾性较弱,以美国国防部为中心的一家组织研究出分组交换网络.后来为了验证分组交换技术的实用性,ARPANET出现了,并且 ...
- DeepLearning tutorial（2）机器学习算法在训练过程中保存参数
FROM: http://blog.csdn.net/u012162613/article/details/43169019 DeepLearning tutorial(2)机器学习算法在训练过程中保 ...
- CV之NS：图像风格迁移(Neural Style 图像风格变换)算法简介、过程思路、关键步骤配图、案例应用之详细攻略
CV之NS:图像风格迁移(Neural Style 图像风格变换)算法简介.过程思路.关键步骤配图.案例应用之详细攻略 目录 图像风格迁移算法简介 图像风格迁移算法过程思路 1.VGG对比NS 图像风 ...
- 若S作主串，P作模式串，试分别写出利用BF算法和KMP算法的匹配过程。
目 录 题目: 百度文库-答案: (1) (2) MOOC标准答案: (1) (2) mooc答案-截图: 数据结构(C语言版)-严蔚敏2007 题目: 设字符串S='aabaabaabaac', ...
- 改进的有效边表算法_优硕微展 | 张和慧：基于邻域保持嵌入算法的间歇过程故障检测研究...
基于邻域保持嵌入算法的 间歇过程故障检测研究 The Research on batch process fault detection based on Neighborhood Preservin ...
- 关于Floyd-Warshall算法由前趋矩阵计算出的最短路径反映出了算法的执行过程特性的证明...
引言:Floyd-Warshall算法作为经典的动态规划算法,能够在O(n3)复杂度之内计算出所有点对之间的最短路径,且由于其常数较小,对于中等规模数据运行效率依然可观.算法共使用n此迭代,n为顶点个 ...
- python实验原理_Python实现蒙特卡洛算法小实验过程详解
蒙特卡洛算法思想 蒙特卡洛(Monte Carlo)法是一类随机算法的统称,提出者是大名鼎鼎的数学家冯·诺伊曼,他在20世纪40年代中期用驰名世界的赌城-摩纳哥的蒙特卡洛来命名这种方法. 通俗的解释一 ...
最新文章
- vCloud Automation Center (vCAC) 6.0 （一）
- linux网卡入流速,linux下简单限制网卡速度与
- dokcer 运行和进入容器
- 四种连接数据库的方法（DriverManager、DataSource子类、DBCP、c3p0）
- fnCustomBootTask for local sandbox 在何处赋值
- 博客在线——Wireshark基本用法
- sdk怎么用_PLC不支持OPC UA怎么办？别问了看完你就懂了
- 是什么让程序员对工作失去了激情？
- 买mac电脑的各个使用阶段：
- python的mysql模块_Python中操作mysql的pymysql模块详解
- CentOS 7部署rsync备份服务器
- C# 6 的新特性~
- 揭开BootStrap的神秘面纱
- 产品配件类目税目分类_HS编码知识：汽车零部件怎么归类？
- QCC蓝牙芯片PIO操作
- C语言从入门到精通（第一期之结构框架）
- 所希望于劳工会的〔１〕
- 插屏广告怎么玩？这些优化要点请get~
- lda2vec (2)
- 计算机密码学学习笔记（二）——Shannon理论