深度学习基础----线性模型

线性回归

目的

试图学得一个线性模型以尽可能地预测实值输出标记(即学w,b)

形式/

向量形式

均方差MSE的推导

梯度下降法:

理解:

需要选择学习率,

是迭代求解,

特征数m很大时不影响

最小二乘法:

理解:

不需要选择学习率,

不是迭代求解:

特征数m很大时计算速度慢

感知机

抽象理解				权重		突触
				偏置		阈值
				激活函数		细胞体
分类模型	二分类线性模型	输入:特征向量输出: 类别(+1, -1)		目标: 求超平面(能将训练数据集正负实例完全正确分开)
距离	点到线:					样本到超平面:
损失函数	正确分类: 错误分类:					目标: 使错误分类的样本到超平面的距离最小
感知机学习算法	输入: 训练数据集学习率		输出: w,b 感知机模型f(x)=sign(wx+b)		过程: 初始化w和b, 通常是全0向量 (2)从训练集获取一个样本(x,y) (3)如果y(wx+b)<=0, 按照梯度更新参数 (4)继续(2)直到没有样本被错误分类
感知机学习算法	假设: 算法执行了n(很多次)次才收敛, 参数的主部是增量. 即w变成ayx,		Gram本质: x*x可以事先由gram矩阵,计算好, 只更新a即可.		过程: 初始化w和b, 通常是全零向量从训练集获取一个样本(x,y) 如果y(axy*x+b)<=0, 则更新参数继续(2)直到没有样本被错误分类		Gram减少运算量: n是维数, N是样本个数 n过高时, 应选择对偶形式算法加速(原始算法主要是w和x的内积) N很大时, 采用原始算法(对偶形式主要是输入实例之间的内积)

逻辑回归

逻辑回归的引入

将激活函数从感知机的”符号函数”替换成了, “sigmoid”函数, 即给出了隶属于各类别的概率

Logistic函数

二分类标签的后验概率

y=1

Y=0

交叉熵+梯度+参数更新

交叉熵:

梯度:

参数更新:

Softmax分类

argmax	如果使用某一类的参数(w, b)使得wx+b最大, 则结果分为该类
目标类别的条件概率		对比逻辑回归:
KL散度, 负对数似然
交叉熵+梯度下降	交叉熵:	梯度下降:
为什么逻辑回归用交叉熵损失而不用MSE?	答: 参数的更新公式中有激活函数, 如果接近0或1就会梯度消失陷入局部极小

深度学习基础----线性模型相关推荐

第3章(3.11～3.16节)模型细节/Kaggle实战【深度学习基础】--动手学深度学习【Tensorflow2.0版本】
项目地址:https://github.com/TrickyGo/Dive-into-DL-TensorFlow2.0 UC 伯克利李沐的<动手学深度学习>开源书一经推出便广受好评.很多开 ...
（十四）从零开始学人工智能-深度学习基础及CNN
文章目录一.深度学习基础 1.1 深度学习及其发展历史 1.1.1 什么是学习? 1.1.2 什么是机器学习? 1.1.3 什么是深度学习? 1.1.4 深度学习发展历史 1.1.5 小结 1.2 ...
【书摘】深度学习简史（摘抄自《深度学习基础与应用》）
本文内容摘抄自 <深度学习基础与应用> 北京理工大学出版社武玉伟等编著 2020年4月出版 ISBN:978-7-5682-8373-1 该书绪论中讲到人工智能和深度学习的发展历史, ...
二分类交叉熵损失函数python_【深度学习基础】第二课：softmax分类器和交叉熵损失函数...
[深度学习基础]系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记. 本文为原创文章,未经本人允许,禁止转载.转载请注明出处. 1.线性分类如果我们使用一个线性分类器去进行图像分类该怎 ...
基于人脸的常见表情识别(1)——深度学习基础知识
基于人脸的常见表情识别(1)--深度学习基础知识神经网络 1. 感知机 2. 多层感知机与反向传播卷积神经网络 1. 全连接神经网络的2大缺陷 2. 卷积神经网络的崛起卷积神经网络的基本网络层 ...
独家思维导图！让你秒懂李宏毅2020深度学习（三）——深度学习基础（神经网络和反向传播部分）
独家思维导图!让你秒懂李宏毅2020深度学习(三)--深度学习基础(神经网络和反向传播部分) 长文预警!!!前面两篇文章主要介绍了李宏毅视频中的机器学习部分,从这篇文章开始,我将介绍李宏毅视频中的深度 ...
第二次作业：“深度学习基础”
第二次作业:"深度学习基础" 完成一篇博客,题目为 " 第二次作业:深度学习基础 " 第二次软工作业第二次作业:"深度学习基础" 一.视频 ...
资源 | Intel发布AI免费系列课程3部曲：机器学习基础、深度学习基础以及TensorFlow基础
翻译 | AI科技大本营(公众号ID:rgznai100) 校对 | 成龙编辑 | 明明 Intel于近期发布了三门AI系列的免费课程,分别是关于机器学习基础.深度学习基础.TensorFlow基础 ...
深度估计相关原理（计算机视觉和深度学习基础）
今天来和大家介绍一下深度估计涉及到的理论知识点,包括计算机视觉基础和深度学习基础. 一.计算机视觉基础 1.1. 针孔相机模型相机模型,是指采用一个几何模型来描述三维世界中的坐标点映射到二维图像平面 ...

深度学习基础----线性模型

深度学习基础----线性模型相关推荐

最新文章

热门文章