吴恩达机器学习 —— 2.7 计算图

可以说，一个神经网络的计算都是按照前向或者反向传播过程来实现的。首先计算出神经网络的输出，紧接着进行一个反向传播操作，后者我们用来计算出对应的梯度或者导数。

这个流程图解释了为什么用这样的方式这样实现。为了阐明这个计算过程，举一个比逻辑回归更加简单的、不那么正式的神经网络例子，我们尝试计算函数J，J是三个变量a,b,c的函数，这个函数是J(a,b,c)=3(a+bc)J(a,b,c)=3(a+bc)J(a,b,c)=3(a+bc)，计算这个函数，实际上有三个不同的步骤，第一个首先是计算bcbcbc，我们把它存储在变量u中，因此u=bcu=bcu=bc，然后计算v=a+uv=a+uv=a+u，最后输出J，J表示为J=3vJ=3vJ=3v，这就是要计算的函数J。

我们可以把这3步画成如下的流程图，先画三个变量a,b,c，第一步就是计算u=bcu=bcu=bc，放个矩形框，输入是b和c；接着第二步，v=a+uv=a+uv=a+u，放一个矩形框，输入是之前得到的u和a，最后一步是J=3vJ=3vJ=3v。

举个例子，a=5，b=3,c=2，u=bc=6，v=11，J=33。

这个流程图用起来很方便，有不同的，或者一些特殊的输出变量时，比如J也是我们想要优化。在逻辑回归中，J是想要最小化的成本函数，可以看出，通过一个从左往右的过程，可以计算出J的值。在接下来的过程中，为了计算导数，会有从右到左的过程，和蓝色箭头的过程相反。这会是用于计算导数最自然的方式。

概括一下，流程图是用蓝色箭头画出来的，从左到右的计算。从右到左的导数计算是红色箭头画出来的。

吴恩达机器学习 —— 2.7 计算图相关推荐

下载量过百万的吴恩达机器学习和深度学习笔记更新了！（附PDF下载）
今天,我把吴恩达机器学习和深度学习课程笔记都更新了,并提供下载,这两本笔记非常适合机器学习和深度学习入门.(作者:黄海广) 0.导语我和同学将吴恩达老师机器学习和深度学习课程笔记做成了打印版,放在g ...
【CV】吴恩达机器学习课程笔记 | 第1-2章
本系列文章如果没有特殊说明,正文内容均解释的是文字上方的图片机器学习 | Coursera 吴恩达机器学习系列课程_bilibili 目录 1 介绍 1-3 监督学习 1-4 无监督学习 2 单变量 ...
【CV】吴恩达机器学习课程笔记第18章
本系列文章如果没有特殊说明,正文内容均解释的是文字上方的图片机器学习 | Coursera 吴恩达机器学习系列课程_bilibili 目录 18 应用案例:照片OCR 18-1 问题描述与流程(pi ...
【CV】吴恩达机器学习课程笔记第17章
本系列文章如果没有特殊说明,正文内容均解释的是文字上方的图片机器学习 | Coursera 吴恩达机器学习系列课程_bilibili 目录 17 大规模机器学习 17-1 学习大数据集 17-2 随 ...
【CV】吴恩达机器学习课程笔记第16章
本系列文章如果没有特殊说明,正文内容均解释的是文字上方的图片机器学习 | Coursera 吴恩达机器学习系列课程_bilibili 目录 16 推荐系统 16-1 问题规划 16-2 基于内容的推 ...
【CV】吴恩达机器学习课程笔记第10章
本系列文章如果没有特殊说明,正文内容均解释的是文字上方的图片机器学习 | Coursera 吴恩达机器学习系列课程_bilibili 目录 10 应用机器学习的建议 10-1 决定下一步做什么 10 ...
【CV】吴恩达机器学习课程笔记第11章
本系列文章如果没有特殊说明,正文内容均解释的是文字上方的图片机器学习 | Coursera 吴恩达机器学习系列课程_bilibili 目录 11 机器学习系统设计 11-1 确定执行的优先级:以垃圾 ...
带你少走弯路：五篇文章学完吴恩达机器学习
本文是吴恩达老师的机器学习课程[1]的笔记和代码复现部分,这门课是经典,没有之一.但是有个问题,就是内容较多,有些内容确实有点过时. 如何在最短时间学完这门课程?作为课程的主要翻译者和笔记作者,我推荐 ...
python第六周实验_机器学习 | 吴恩达机器学习第六周编程作业(Python版）
实验指导书下载密码:ovyt 本篇博客主要讲解,吴恩达机器学习第六周的编程作业,作业内容主要是实现一个正则化的线性回归算法,涉及本周讲的模型选择问题,绘制学习曲线判断高偏差/高方差问题.原始实 ...

吴恩达机器学习 —— 2.7 计算图

吴恩达机器学习 —— 2.7 计算图相关推荐

最新文章

热门文章