吴恩达深度学习1 2022，浙大AI第一课

强推！【浙大公开课】2022B站最好最全的机器学习课程，从入门到实战！人工智能/AI/机器学习/数学基础_哔哩哔哩_bilibili

我们规定了行为和收益函数后，就不管了，构造一个算法，让计算机自己去找最大化收益函数的行为。

1998

显著式编程，识别率不会随着训练样本增加而变化

经验E和性能指标P是由设计算法的人设计的，没有标准答案

吹爆!【吴恩达-深度学习最新公开课】2022年最好最全的深度学习课程你一定要来学-人工智能/机器学习/深度学习_哔哩哔哩_bilibili

深度学习专项课程

理解各种算法背后的原理，同时提供了大量的应用场景，涉及图像、语音、自然语言理解等各方面，还提供了一些工具函数、数据集。

What you’ll learn
Courses in this sequence (Specialization):
1. Neural Networks and Deep Learning
how to bulid a neural network, including a deep neural network, and how to train it on data2. Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization
超参数调整、正则化；how to 诊断偏差和方差，以及一些高级优化算法，（e.g. Momentum和Adam算法）3. Structuring your Machine Learning project

how to struct your machine learning project, 事实表明，the strategy for building a machine learning system , has change the error of deep learning

e.g. the way you split the data into train训练集，交叉验证集、测试集

训练集和测试集 come from different distribution

end-to-end deep learning

4. Convolutional Neural Networks5. Natural Language Processing: Building sequence models

sequence models 包括：RNN循环神经网络、LSTM

sequence data，e.g. nature language is just a sequence of words一个单词序列

语言识别、编曲

Deep Learning apply to supervised learning

深度学习概述。

What is a neural network?
简单来说，深度学习（Deep Learning）就是更复杂的神经网络（Neural Network）。那么，什么是神经网络呢？下面我们将通过一个简单的例子来引入神经网络模型的概念。

其实这个简单的模型（蓝色折线）就可以看成是一个神经网络，而且几乎是一个最简单的神经网络。

值得一提的是，上图神经元的预测函数（蓝色折线）在神经网络应用中比较常见。我们把这个函数称为ReLU函数，即线性整流函数（Rectified Linear Unit），

又称修正线性单元, 是一种人工神经网络中常用的激活函数(activation function),

上面讲的只是由单个神经元（输入x仅仅是房屋面积一个因素）组成的神经网络，而通常一个大型的神经网络往往由许多神经元组成，就像通过乐高积木搭建复杂物体（例如火车）一样。

现在，我们把上面举的房价预测的例子变得复杂一些，

如下图所示，该神经网络共有三个神经元，分别代表了family size，walkability和school quality。每一个神经元都包含了一个ReLU函数（或者其它非线性函数）。

实际上，上面这个例子真正的神经网络模型结构如下所示。

图中，三个神经元所在的位置称之为中间层或者隐藏层hidden units（x所在的称之为输入层，y所在的称之为输出层），每个神经元与所有的输入x都有关联（直线相连）。

我们不会规定比如第一个节点是family size，神经网络 you dicide whatever you want this node to be

这就是基本的神经网络模型结构。在训练的过程中，只要有足够的输入x和输出y，就能训练出较好的神经网络模型，该模型在此类房价预测问题中，能够得到比较准确的结果。
————————————————(53条消息) Coursera吴恩达《神经网络与深度学习》课程笔记（1）-- 深度学习概述_红色石头Will的博客-CSDN博客_吴恩达深度学习

省的打字了，删选这篇文里的描述基本和课程一致，很棒

Supervised Learning with Neural Networks
目前为止，由神经网络模型创造的价值基本上都是基于监督式学习（Supervised Learning）的。监督式学习与非监督式学习本质区别就是是否已知训练样本的输出y。在实际应用中，机器学习解决的大部分问题都属于监督式学习，神经网络模型也大都属于监督式学习。下面我们来看几个监督式学习在神经网络中应用的例子。

线上广告，这是深度学习最广泛、最赚钱的应用之一。

电脑视觉（computer vision）。电脑视觉是近些年来越来越火的课题，而电脑视觉发展迅速的原因很大程度上是得益于深度学习。

语音识别（speech recognition）

智能翻译，

自动驾驶。输入一张图片或者汽车雷达信息，神经网络告诉你相应的路况信息并作出相应的决策。

至此，神经网络配合监督式学习，其应用是非常广泛的。

我们应该知道，根据不同的问题和应用场合，应该使用不同类型的神经网络模型。例如上面介绍的几个例子中，对于一般的监督式学习（房价预测和线上广告问题），我们只要使用标准的神经网络模型就可以了。而对于图像识别处理问题，我们则要使用卷积神经网络（Convolution Neural Network），即CNN。而处理序列信号时，如 audio（a one-dimensional temporal sequence），则要使用循环神经网络（Recurrent Neural Network），即RNN；如 language，more complex versions of RNNs。还有其它的例如自动驾驶这样的复杂问题则需要更加复杂的混合神经网络模型。

另外，数据类型一般分为两种：Structured Data和Unstructured Data。

简单地说，Structured Data通常指的是有实际意义的数据。例如房价预测中的size，#bedrooms，price等；例如在线广告中的User Age，Ad ID等。这些数据都具有实际的物理意义，比较容易理解。而Unstructured Data通常指的是比较抽象的数据，例如Audio，Image或者Text。

以前，计算机对于Unstructured Data比较难以处理，而人类对Unstructured Data却能够处理的比较好，例如我们第一眼很容易就识别出一张图片里是否有猫，

现在，值得庆幸的是，由于深度学习和神经网络的发展，计算机在处理Unstructured Data方面效果越来越好，甚至在某些方面优于人类。

神经网络在很多短期经济价值的创造，是基于Structured Data，e.g.广告系统，better profit recommendations，处理很多公司拥有的海量数据库，

总的来说，神经网络与深度学习无论对Structured Data还是Unstructured Data都能处理得越来越好，并逐渐创造出巨大的实用价值。e.g. 语言识别、图像识别、NLP，

Neural Network彻底改变了监督学习

why NOW？
如果说深度学习和神经网络背后的技术思想已经出现数十年了，那么为什么直到现在才开始发挥作用呢？接下来，我们来看一下深度学习背后的主要动力是什么，方便我们更好地理解并使用深度学习来解决更多问题。

横坐标x表示数据量（Amount of data），代表完成任务的数据数量，“labeled”

纵坐标y表示机器学习模型的性能表现（Performance）。

上图共有4条曲线。其中，最底下的那条红色曲线代表了传统机器学习算法的表现，例如是SVM支持向量机，logistic regression，decision tree等。当数据量比较小的时候，传统学习模型的表现是比较好的。但是当数据量很大的时候，其表现很一般，性能基本趋于水平。这些模型无法处理海量数据，

过去20年，人类活动创造了大量数据，activities on digital devices create data、

黄色曲线代表了规模较小的神经网络模型（Small NN）。它在数据量较大时候的性能优于传统的机器学习算法。蓝色曲线代表了规模中等的神经网络模型（Media NN），它在数据量更大的时候的表现比Small NN更好。绿色曲线代表更大规模的神经网络（Large NN），即深度学习模型。从图中可以看到，在数据量很大的时候，它的表现仍然是最好的，而且基本上保持了较快上升的趋势。

如果想达到very high level of performance，2个条件：1. 训练a big enough NN（the size of NN, meaning a NN with a lot of hidden units、很多参数、很多connections），来发挥数据量巨大的优势。2. 需要很多数据，the scale of data。这种做法是有瓶颈的，but just improve scale 已经让我们在深度学习的世界中获得了大量进展。

训练集不大的这一块来说，各种算法的性能相对排名，并不是很确定。效果会取决于你手工设计的组件up to your skill at hand engineering features, 以及算法处理方面的一些细节

所以说，现在深度学习如此强大的原因归结为三个因素：

Data、Computation、Algorithms

早期，数据量的几何级数增加，加上GPU出现、计算机运算能力的大大提升，使得深度学习能够应用得更加广泛。最近这几年，算法上的创新和改进让深度学习的性能和速度也大大提升。许多算法方面的创新，都为了让NN运行的更快

举个算法改进的例子，NN一个巨大的突破是，之前神经网络神经元的激活函数是Sigmoid函数，后来改成了ReLU函数。Sigmoid函数，在远离零点的位置，函数曲线非常平缓，其梯度趋于0，所以造成神经网络模型学习速度变得很慢。（因为用梯度下降法时。gradient=0，参数会变化的很慢，学习也会变的很慢）。然而，ReLU函数在x大于零的区域，其梯度始终为1，尽管在x小于零的区域梯度为0，但是在实际应用中采用ReLU函数确实要比Sigmoid函数快很多。

构建一个深度学习的流程是首先产生Idea，然后将Idea转化为Code，最后进行Experiment。接着根据结果修改Idea，继续这种Idea->Code->Experiment的循环，直到最终训练得到表现不错的深度学习网络模型。如果计算速度越快，每一步骤耗时越少，那么上述循环越能高效进行。

Week 2: Basics of Neural Network programming

还有就是神经网络的计算过程中 when you organize the computation of, in your network,

通常有一个正向过程，接着会有一个反向步骤 followed by a backward pass

为什么神经网络的计算过程 can be organized in this forward propagation and a separate backward propagation.

本节课，我们将开始介绍神经网络的基础：逻辑回归（Logistic Regression）。通过对逻辑回归模型结构的分析，为我们后面学习神经网络模型打下基础。

1. Binary Classification

逻辑回归模型一般用来解决二分类（Binary Classification）问题。二分类就是输出y只有{0,1}两个离散值（也有{-1,1}的情况）。以图像识别问题为例，判断图片中是否有猫存在，。

主要是通过这个例子简要介绍神经网络模型中一些标准化的、有效率的处理方法和notations。

在神经网络模型中，我们首先要将图片输入x（维度是（64，64，3））转化为一维的特征向量（feature vector）。方法是每个通道一行一行取，再连接起来。由于64x64x3=12288，则转化后的输入特征向量维度为（12288，1）。此特征向量x是列向量，维度一般记为。

在二分分类问题中。目标是训练出一个分类器，

这里，Andrew解释了X的维度之所以是（，m）而不是（m，）的原因是为了之后矩阵运算的方便。算是Andrew给我们的一个小小的经验吧。

好的书写惯例，能够将不同训练样本的数据联系起来。

2. Logistic Regression
接下来我们就来介绍如何使用逻辑回归来解决二分类问题。（监督学习问题中）

2.2 logistic 回归_哔哩哔哩_bilibili

sigmoid的函数定义就是这个。你也可以用其他函数。分段函数都行，只要你能用边界将类别分开。

这里b对应一个拦截器interceptor

在一些符号约定中，你定义一个额外的特征向量叫x_0 那等于1

事实上，将b和w看作独立的参数可能更好 it will be easier to just keep B and W as separate parameters.

2.3 logistic 回归损失函数_哔哩哔哩_bilibili

y^表示的是预测为1的概率，越接近真实值也就是说越接近0或1都是很肯定标签到底是不是0或1

这个公式可以用最大似然估计或者交叉熵推到出来

2.4 梯度下降法_哔哩哔哩_bilibili

对于logistic回归而言几乎是任意的初始化方法都有效、通常用0来进行初始化 usually you initialize the value to zero、随机初始化也有效，但人们通常不会这样做

写代码时，（简写）dw作为导数的变量名

Week 3: One hidden layer Neural Networks
Week 4: Deep Neural Networks

吴恩达深度学习1 2022，浙大AI第一课相关推荐

[转载]《吴恩达深度学习核心笔记》发布，黄海广博士整理！
红色石头深度学习专栏深度学习入门首推课程就是吴恩达的深度学习专项课程系列的 5 门课.该专项课程最大的特色就是内容全面.通俗易懂并配备了丰富的实战项目.今天,给大家推荐一份关于该专项课程的核心笔记 ...
737 页《吴恩达深度学习核心笔记》发布，黄海广博士整理！
点击上方"AI有道",选择"置顶"公众号重磅干货,第一时间送达深度学习入门首推课程就是吴恩达的深度学习专项课程系列的 5 门课.该专项课程最大的特色就是内容 ...
吴恩达深度学习第四课第一周卷积神经网络
文章目录前言一.计算机视觉(引言) 二.边缘检测示例(过滤器) 三.更多边缘检测内容(由亮到暗还是由暗到亮?) 四.Padding(Valid.Same.p) 五.卷积步长(s) 六.三维卷积(通 ...
吴恩达深度学习笔记1-Course1-Week1【深度学习概论】
2018.5.7 吴恩达深度学习视频教程网址网易云课堂:https://mooc.study.163.com/smartSpec/detail/1001319001.htm Coursera:htt ...
799页！吴恩达深度学习笔记.PDF
吴恩达深度学习课程,是公认的最优秀的深度学习课程之一,目前没有教材,只有视频,本文提供完整笔记下载,这本笔记非常适合和深度学习入门. 0.导语黄海广博士和同学将吴恩达老师深度学习视频课程做了完整的笔 ...
吴恩达深度学习课程的漫画版来了！（漫画、视频、笔记都可以下载了！）
吴恩达深度学习课程,个人认为是对初学者最友好的课程,非常系统.初学者如果希望快速入门,建议从这门课开始.由于是视频课,除了课程笔记之外,可以先看看课程漫画,更有助于理解. 尽管是英文版,但英文水平达到 ...
360题带你走进深度学习！吴恩达深度学习课程测试题中英对照版发布
吴恩达的深度学习课程(deepLearning.ai)是公认的入门深度学习的宝典,本站将课程的课后测试题进行了翻译,建议初学者学习.所有题目都翻译完毕,适合英文不好的同学学习. 主要翻译者:黄海广内 ...
github标星8331+：吴恩达深度学习课程资源（完整笔记、中英文字幕视频、python作业，提供百度云镜像！）...
吴恩达老师的深度学习课程(deeplearning.ai),可以说是深度学习入门的最热门课程,我和志愿者编写了这门课的笔记,并在github开源,star数达到8331+,曾经有相关报道文章.为解决g ...
深度学习入门首推资料--吴恩达深度学习全程笔记分享
本文首发于微信公众号"StrongerTang",可打开微信搜一搜,或扫描文末二维码,关注查看更多文章. 原文链接:(https://mp.weixin.qq.com/s?__bi ...

吴恩达深度学习1 2022，浙大AI第一课

吴恩达深度学习1 2022，浙大AI第一课相关推荐

最新文章

热门文章

吴恩达 深度学习1 2022， 浙大AI第一课

吴恩达 深度学习1 2022， 浙大AI第一课相关推荐

最新文章

热门文章

吴恩达深度学习1 2022，浙大AI第一课

吴恩达深度学习1 2022，浙大AI第一课相关推荐