吴恩达深度学习课程笔记1

课程主要内容

1.神经网络与深度学习介绍
2.Improving Deep Neural Networks:超参数调整，正则化，优化方法
3.结构化机器学习工程：比如如何分割训练集，比较集，或改变验证集，测试集。
4.卷积神经网络CNN
5.如何进行自然语言处理（时间序列模型）RNN,LSTM

什么是神经网络？

举例：房价预测的例子

问题是：我们现在已知六所房子（我可爱的朋友们，小红，小明，小兰，小白，小黑，小绿每人都有一套房，我还知道他们的价格和面积）的房屋面积以及房价，目标是随便给定房屋面积预测房屋的价格。(想为了追上朋友们的脚步，我也要买一个120平的大House得需要多少钱呢？）
那我们最自然的一种想法是利用一个线性函数去拟合它

但是因为价格不能为负数（不能人家给我房子还倒贴钱吧，哈哈哈哈），所以在某个点他会是0.

也就是上面这个样子的。这个蓝色的粗线，就是我们要找的函数，我就可以预测我的120平米的大house多少钱了。

这时候输入120（size:x),经过这个圆圈圈（独立神经元，其实就是我们找到的线性函数计算）,就可以得到预测的房价（price:y)了。（我要为了我的大house努力学习）

在深度学习中，上述图片的这样的一个函数我们叫做线性修正单元(rectifited linear unit) RELU.

学习了单个的神经元，我们就可以通过单个的神经元去搭建更大的神经元了。

可能以后我结婚生孩子了，一个120平的大house已经不适合我了，我要考虑更多的因素去买房子了，比如
1.房屋的大小
2.有几间卧室
3.邮政编码
4.繁荣程度
房屋的大小和卧室的数量与我家有几口人有关系，邮政编码决定了我住在哪个区，我的步行化程度，邮政编码和繁荣程度又和学校的质量有关系(学区房呀），最后才能得出房价的预估。

中间的⭕成为是隐藏单元，来自于前面的特征，神经网络的工作就是我输入前面的x(上面列出的1,2,3,4)的部分，然后他经过一通计算，给我得出我想要的房子的价格y.具体中间的隐藏单元是啥，我们是不知道的。

用神经网络能够干些什么

用神经网络进行监督学习
可以应用到以下几个方面（翻译的ppt)：
1.实际问题的预测
2.在线广告的推广
3.图像处理
4.语音识别
5.机器翻译
6.自动驾驶
其中1，2用的是标准的神经网络，3用的的卷积神经网络CNN,4,5用的是RNN,6用的是混合神经网络。

网络模型的图示

监督学习的数据分为两类，一类是结构化的数据，就是比如我们数据库中存储的数据，具有明显的特征。另一类是非结构化数据，语音，图片，文本（英语单词）

为什么深度学习火了？

红色：传统机器学习表现
黄色：小型神经网络表现
蓝色：中型神经网络表现
绿色：大型神经网络表现

在数据量小的时候，传统的机器学习算法的效果与深度学习的算法的效果相比，很难分出好坏。在现在这个时代，获取海量数据变得容易了（那么多app…额。。。不说了）。而传统的机器学习算法，很难处理海量的数据，但是大型神经网络可以，所以他就火了。
深度学习的发展和数据的爆炸式增长，硬件的发展（GPU,CPU)是密不可分的。

也就是规模促使深度学习进步。
数据促使计算能力变强（CPU,GPU)
算法进步导致计算能力变强，计算速度变快

说一个最简单的算法的创新
将激活函数sigmoid函数变为RELU函数
因为sigma函数两侧倒数接近于0，在用梯度下降法时参数更新的很慢，在使用RELU函数后，计算效率有所提升。

这是我今天通过看视频学习到的东西，如果有什么地方理解的不准确，欢迎大家批评指正。希望自己能坚持下去，学完这个课程。加油！

吴恩达深度学习课程笔记（初步认识神经网络）相关推荐

吴恩达深度学习课程笔记之卷积神经网络（2nd week）
0 参考资料 [1] 大大鹏/Bilibili资料 - Gitee.com [2] [中英字幕]吴恩达深度学习课程第四课 - 卷积神经网络_哔哩哔哩_bilibili [3] 深度学习笔记-目录 ...
吴恩达深度学习课程笔记（四）：卷积神经网络2 实例探究
吴恩达深度学习课程笔记(四):卷积神经网络2 实例探究吴恩达深度学习课程笔记(四):卷积神经网络2 实例探究 2.1 为什么要进行实例探究 2.2 经典网络 LeNet-5 AlexNet VGG- ...
吴恩达深度学习课程笔记－3
吴恩达深度学习课程笔记-3 src="http://nbviewer.jupyter.org/github/HuaGuo1992/Blog/blob/master/%E5%90%B4%E6% ...
免费分享全套吴恩达深度学习课程笔记以及编程作业集合
分享吴恩达深度学习全套笔记笔记来源于吴恩达老师课程中口述翻译,并包含板书.可以取代看视频,做到更快速学习. (部分目录) (部分目录) (板书) 编程作业扫描二维码后台回复"0&quo ...
【DeepLearning】吴恩达深度学习课程笔记思维导图
查看全文 http://www.taodudu.cc/news/show-4249537.html 相关文章: 吴恩达机器学习--反向传播算法 2018滴水LUA手游脚本制作实战视频教程 Unity3 ...
吴恩达深度学习课程-Course 4 卷积神经网络第一周卷积神经网络编程作业（第一部分）
时隔三个月终于有时间更新了-在ppt的夹缝中练习. 期待圣诞节!!! 卷积神经网络:Step by Step 1 - 导入相关包 2 - 作业大纲 3 - 卷积神经网络 3.1 - 零填充 3.2 - ...
吴恩达深度学习课程的漫画版来了！（漫画、视频、笔记都可以下载了！）
吴恩达深度学习课程,个人认为是对初学者最友好的课程,非常系统.初学者如果希望快速入门,建议从这门课开始.由于是视频课,除了课程笔记之外,可以先看看课程漫画,更有助于理解. 尽管是英文版,但英文水平达到 ...
github标星8331+：吴恩达深度学习课程资源（完整笔记、中英文字幕视频、python作业，提供百度云镜像！）...
吴恩达老师的深度学习课程(deeplearning.ai),可以说是深度学习入门的最热门课程,我和志愿者编写了这门课的笔记,并在github开源,star数达到8331+,曾经有相关报道文章.为解决g ...
737 页《吴恩达深度学习核心笔记》发布，黄海广博士整理！
点击上方"AI有道",选择"置顶"公众号重磅干货,第一时间送达深度学习入门首推课程就是吴恩达的深度学习专项课程系列的 5 门课.该专项课程最大的特色就是内容 ...

吴恩达深度学习课程笔记（初步认识神经网络）