吴恩达深度学习——深度学习概论
引言
本文是吴恩达深度学习第一课：神经网络与深度学习的笔记。神经网络与深度学习主要讨论了如何建立神经网络(包括一个深度神经网络)、以及如何训练这个网络。
第一课有以下四个部分，本文是第一部分。
- 深度学习概论
- 神经网络基础
- 浅层神经网络
- 深层神经网络
需要机器学习基础
什么是神经网络
假设我们知道六个房屋价格样本，特征是房屋大小。它们的分布如上图，纵轴是房屋价格，标签。横轴是特征房屋大小。
我们知道通过一条直线可以拟合只写样本点，并且房屋价格不会是负数，因此画出了上面这样一条直线。
我们可以把刚才得到的拟合房屋价格的函数看成是一个最简单的神经网络(Neural Network,NN)。
我们输入了房屋大小Size，通过刚才的拟合函数可以得到一个价格的输出。
这个拟合函数可以看成是神经网络中的神经元(Neuron)。
这个神经元的作用是接收输入，进行线性运算，取不小于0的值，最后得到预测价格。
刚才这个函数叫ReLu(Rectified Linear Unit,修正线性单元)，它的函数图像是下面这样的
修正指的是函数取不小于0的值，它也是一种激活函数，就像Sigmoid函数，后面还会看到。
这只是一个简单的单神经元网络，大一点的神经网络是把这个单神经元堆叠起来而形成的。
下面来看个例子，假设我们不仅通过房屋的大小(size)来预测价格(price)，我们还通过卧室的数量(bedrooms)、邮编(zip code,代表能否步行去学校、超市，说的是交通便利性)、富裕程度(wealth)这四个特征来决定。
然后Size和bedrooms能说明适合多大的家庭；zip code代表交通便利；zip code和富裕程度可能决定附近学校的质量。
上面每一个圆圈都代表一个ReLu，一个神经元。输入size和bedrooms可以得到家庭大小；输入zip code可以得到交通便利情况等等。
家庭大小、交通便利情况以及学校质量又可以作为最后一个神经元的输入，经过ReLu得到最终的房屋价格。
这里x表示上面的输入(size,bedrooms,zip code,wealth) y表示价格的输出。
神经网络的神奇之处在于，我们只要输入x，就能得到输出y，中间的这些family size,school quality等等是神经网络自己帮我们计算的。
上面我们就得到了这样一个神经网络：
我们用x1x_1x1到x4x_4x4分别表示size到wealth，这一层称为输入层(Input layer)；
中间的有两层，其中一层有3个神经元，另一层只有1个神经元，叫隐藏层(Hidden layer)
最后输出yyy，也可以看成一层，叫输出层(Output layer)
用神经网络进行监督学习
如今几乎所有由神经网络创造的经济价值都基于监督学习。
下面简单的看一些应用。
| Input(x) | Output(y) | 应用 |
|---|---|---|
| 房屋特征 | 房屋价格 | 房地产(常用标准的神经网络) |
| 广告信息、用户信息 | 该用户是否会点击广告(0/1) | 在线广告(标准的神经网络) |
| 图像 | 物体 | 给照片打标签(卷积神经网络) |
| 语音 | 文本 | 语音识别(循环神经网络) |
| 英文 | 中文 | 机器翻译(更复杂的循环神经网络) |
| 汽车前方的图像以及雷达信息 | 汽车的位置 | 自动驾驶(混合神经网络) |
监督学习
你可能会听过结构化数据与非结构化数据。
用像数据库中的表保存的数据就是结构化数据；语音、图像以及文本是非结构化数据。
结构化数据的每个特征都有清晰的定义，而非结构化数据中的特征可能是图像中的某个像素或是文本中的某个单词。非结构化数据更难让计算机理解。
幸运的是，我们有神经网络技术。通过神经网络技术可以让计算机很好的理解非结构化数据。
为什么深度学习现在才兴起
横轴是数据的数据，纵轴是机器学习算法的表现。
- 可以看到，像传统的机器学习算法(SVM、逻辑回归等等)，它的表现会随着带标签的数据量的增大而变好，但是当达到一个阈值后，便不会增加，如上图红线所示，因为这些算法无法处理海量数据。
- 而神经网络算法在大量数据的情况下，可以随着规模的增加表现不断变好。
因此我们说规模推动着神经网络的进步，这里的规模不仅指的是神经网络的规模，还指数据的规模。
但是这只能在一定程度上起作用，因为随着规模的增加，训练时间的增长也是比较惊人的。哪怕有海量的数据，如果训练一个网络需要一年，这肯定不是我们能忍受的。这一点要注意。
我们用mmm表示训练集的大小，这就是为什么你可以在横轴上的括号里面看到一个mmm。
参考
(推荐网易云课堂，可以免费看并且还有课堂笔记。)
1. 吴恩达深度学习
吴恩达深度学习——深度学习概论相关推荐
- 吴恩达Deeplearning.ai课程学习全体验：深度学习必备课程 By 路雪2017年8月14日 11:44 8 月 8 日，吴恩达正式发布了 Deepleanring.ai——基于 Cours
吴恩达Deeplearning.ai课程学习全体验:深度学习必备课程 By 路雪2017年8月14日 11:44 8 月 8 日,吴恩达正式发布了 Deepleanring.ai--基于 Course ...
- 手机上的机器学习资源！Github标星过万的吴恩达机器学习、深度学习课程笔记，《统计学习方法》代码实现！...
吴恩达机器学习.深度学习,李航老师<统计学习方法>.CS229数学基础等,可以说是机器学习入门的宝典.本文推荐一个网站"机器学习初学者",把以上资源的笔记.代码实现做成 ...
- 下载量过百万的吴恩达机器学习和深度学习笔记更新了！（附PDF下载）
今天,我把吴恩达机器学习和深度学习课程笔记都更新了,并提供下载,这两本笔记非常适合机器学习和深度学习入门.(作者:黄海广) 0.导语 我和同学将吴恩达老师机器学习和深度学习课程笔记做成了打印版,放在g ...
- 新建网站了！Github标星过万的吴恩达机器学习、深度学习课程笔记，《统计学习方法》代码实现，可以在线阅读了！...
吴恩达机器学习.深度学习,李航老师<统计学习方法>,可以说是机器学习入门的宝典.本文推荐一个网站"机器学习初学者",把以上资源的笔记.代码实现做成了网页版,可以在线阅读 ...
- 吴恩达深度学习笔记_Github标星过万的吴恩达机器学习、深度学习课程笔记，《统计学习方法》代码实现，可以在线阅读了！...
吴恩达机器学习.深度学习,李航老师<统计学习方法>,可以说是机器学习入门的宝典.本文推荐一个网站"机器学习初学者",把以上资源的笔记.代码实现做成了网页版,可以在线阅读 ...
- 吴恩达神经网络和深度学习-学习笔记-28-端到端的深度学习（end-to-end deep learning ）
深度学习最令人振奋的最新动态之一,就是端到端深度学习end-to-end deep learning的兴起. 什么是"端到端深度学习" 以前有一些数据处理系统或学习系统,它们需要多 ...
- 吴恩达神经网络与深度学习——深度神经网络
吴恩达神经网络与深度学习--深度神经网络 深度神经网络 符号 前向传播 矩阵维度 m个样本 为什么使用深层表示 搭建深层神经网络块 正向传播和反向传播 前向和反向传播 前向传播 反向传播 参数和超参数 ...
- 吴恩达神经网络和深度学习
[前言] 在学习了深度学习和神经网络之后,为什么我要以博客的形式来做笔记?这CSDN有那么多的优秀文章,我自己写的都比不上 别人的我写的真的有意义吗,为什么我要浪费大量的时间去做这项工作?我相信一句话 ...
- 吴恩达deeplearning.ai深度学习课程空白作业
吴恩达deeplearning.ai深度学习课程的空白作业,包括深度学习微专业五门课程的全部空白编程作业,经多方整理而来.网上找来的作业好多都是已经被别人写过的,不便于自己练习,而且很多都缺失各种 ...
- 吴恩达神经网络与深度学习——浅层神经网络
吴恩达神经网络与深度学习--浅层神经网络 神经网络概述 神经网络表示 计算神经网络的输出 m个样本的向量化 for loop 向量化 向量化实现的解释 激活函数 sigmoid tanh函数 ReLu ...
最新文章
- 在ATS 5.3.0上测试域名统计插件channel_stats
- 小酌重构系列[19]——分解大括号
- ajax 入参为list_ajax传递给后台数组参数方式
- angular 字符串转换成数字_Python | 一文看懂Python列表、元组和字符串操作
- 依赖注入利器 - Dagger ‡
- 判断一个数组中的值是否在另一个数组中
- Redis 实践笔记1---基础知识
- 剑指Offer - 面试题21. 调整数组顺序使奇数位于偶数前面（双指针，原地算法）
- 安装vs2008之后系统好像变慢了？
- 计算机有很多的优点英语,电脑的优点和缺点英文作文
- Docker 配置国内源加速镜像下载
- 【转】伽利略卫星导航定位系统
- kafka-eagle 使用配置及远程jmx端口设置遇到的问题
- 电脑感叹号,电脑网络出现感叹号怎么解决？Win7系统网络出现感叹号的解决方法...
- 对比极米Z6X Pro和RS Pro 2，极米H5值得入手吗？极米H5评测来了
- python 操作excel2007
- 修改GitHub Pages个人主页的域名
- 在windows上实现ubuntu、centos的远程桌面控制
- 一种基于快速GeoHash实现海量商品与商圈高效匹配的算法
- 关系代数：集合运算和关系运算部分详解