【李宏毅机器学习学习1】

一、概述

机器学习其实相当于让机器找一个函数。机器学习可以应用：语音识别、图像处理、playGO...

深度学习是机器学习中的一个关键技术。深度学习是要找一个函数（类神经网络Neutral Network）。深度学习函数的输入可以是向量（vector）、矩阵（matrix）（一张图片就可以用一个矩阵表示）、序列（sequence）（一段声音信号、一段文字就是一段序列）。输出可以是数值（scalar）（输出是一个数值的任务叫做回归regression）、类别（这样的任务叫做分类classification）、一段话或者是图片。

supervisd learning需要每个任务都要收集大量的数据，于是在Self-supervised Learning里面，我们期待模型做到的事情是：在训练模型之前，先做到基本功（Pre-train）。在做好pre-train之后，就可以在新的任务上做的很好。让机器透过没有标注的图片（unlabeled images），学习一些基本的任务（比如说辨别两张相互翻转的图片是同一张，两张颜色不一样形状一样的图片是同一张）。进行图片分类的机器学习任务叫下游任务（Downstream Tasks）。当机器学会基本的任务之后（分类图片等），就会对下游任务有很好的结果。

Pre-trained Model对于downstream tasks来说，就相当于os对于app的作用。在一个工程师为了开发新的app的时候，不需要处理底层任务。拥有好的pre-tained model就会在downstream tasks中有好的结果。downstream tasks还可以称为fundation model。在fundation model里面，最知名的一个是模型叫BERT（340M parameters，一个很大的模型，现在已经出现了很多比bert还大的模型了）。

Generative Adversarial Network可以实现，对于输入x输出y的函数，x和y是很庞大的一个数据集，而不需要x和y之间有成对的关系（unpaired），机器就可以自动找出他们的关系。代表的论文：（unsupervised ASR）

https://arxiv.org/abs/1804.00316
https://arxiv.org/abs/1812.09323
https://arxiv.org/abs/1904.04100
https://arxiv.org/abs/2105.11084

图1.3 Generative Adversarial Network的函数图像表示

reinforcement learning（RL）可用于当不知道怎么标注资料的时候（比如说下围棋的时候不知道最好下棋子的位置在哪里）。

anomaly detection异常检测就是出现机器不可辨别的情况的时候，机器可以回应“不知道”。

explainable AI 可解释性AI需要机器在识别正确的情况下做出解释。

model attack模型攻击示例：将机器正确识别的图片增加杂讯（肉眼不可见），就会识别错误，这种情况是人类对机器识别的攻击。

domain adaptation案例：训练数据是黑白的，测试数据也是黑白的，就会达到99.5%的准确度，而当测试数据是彩色的时候，准确度就会跌到57.5%。

network compression可以进行模型压缩，以便模型可以运用智能手表、无人机等小型设备上。

life-long learning完美设想：每次给一点任务，就能变的很强，最后超级厉害。

meta learning让机器学习如何学习。（few-shot learning需要借助meta learning）

输出是数值的函数regression，输出只有两个可能（y/n）的函数binary classification，输出有多种的multi-calss classification。

二、linear models

来自model的限制叫做model bias，一条直线存在的model bias就是无法表示以下的红色折线，那么如何来表示这个红色折线呢？如下是piecewise linear curve（分段线性曲线）

一段平滑的曲线可以由折线组成（只要点取的够多，折线就越接近曲线），也就是可以有无数个蓝色折线来标识这一条曲线。

那么如何来表示上述的蓝色折线呢？蓝色折线可以由以下的虚线曲线表示。

sigmoid 函数的三个常量（c、b、w）修改之后，会对曲线产生影响。

1、改写方程未知数

2、新模型优化

从图中可以看出，在不是2021（未知）数据的预测在变差，而对已知数据（2017-2020）的预测在变好。

【李宏毅机器学习学习1】相关推荐

李宏毅机器学习——学习笔记（12） Un-supervised Learning-Linear methods
Un-supervised Learning 分为两类: (1)聚类 & 降维(化繁为简):将多个输入抽象成一种类型 (2)Generation(无中生有):输入一个code,得到一个样本聚 ...
【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21）学习笔记
李宏毅机器学习学习笔记汇总课程链接文章目录 Learning Target Learning Unfortunately 基于RNN的的网络不总是容易去学习 The error surface i ...
【李宏毅机器学习】Recurrent Neural Network Part1 循环神经网络（p20）学习笔记
李宏毅机器学习学习笔记汇总课程链接文章目录 Example Application Slot Filling 把词用向量来表示的方法 1-of-N encoding / one-hot Beyon ...
【李宏毅机器学习】Tips for Deep Learning（p14）学习笔记
李宏毅机器学习学习笔记汇总课程链接文章目录 Recipe if Deep Learning Do not always blame Overfitting 针对不同的状况使用不同的方法在训练集上 ...
【李宏毅机器学习】Convolutiona Neural Network 卷积神经网络（p17）学习笔记
李宏毅机器学习学习笔记汇总课程链接文章目录 Why CNN for image? property1:对于整张图来说,一些局部是很小的 property2:相同的部分会出现在不同的图片中 prop ...
【李宏毅机器学习】backpropagation 反向传播（p13）学习笔记
李宏毅机器学习学习笔记汇总课程链接文章目录 Gradient Descent Chain Rule链式法则前向传播反向传播情况一:红色的neural是属于网络的output layer的情 ...
【李宏毅机器学习】Why Deep Learning（p15）学习笔记
李宏毅机器学习学习笔记汇总课程链接这集语音部分属实听不明白了qaq 文章目录 Deep is better Fat+Short vs Thin+Tall Modularization 模块化做d ...
【李宏毅机器学习】Brief Introduction of Deep Learning 深度学习简介（p12）学习笔记
李宏毅机器学习学习笔记汇总课程链接 Deep Learning 文章目录 Deep Learning Deep Learning attracts lots of attention Ups and ...
【李宏毅机器学习】Logistic Regression 逻辑回归（p11）学习笔记
李宏毅机器学习学习笔记汇总课程链接文章目录 Logistic Regression Step 1: Function Set Step 2: Goodness of a Function Step ...

【李宏毅机器学习学习1】

【李宏毅机器学习学习1】相关推荐

最新文章

热门文章