AI遮天传 DL-回归与分类
本文主要介绍Logistic回归和Softmax回归
一、回归与分类回忆
给定数据点集合 和相应的标签 ,对于一个新的数据点x,预测它的标签(目标是找到一个映射 ):
如果是一个连续的集合,称其为回归(regression)
如果是一个离散的集合,称其为分类(classfication)
多项式回归
考虑一个回归问题,输入x和输出y都是标量。寻找一个函数 来拟合数据
无论是线性回归还是非线性回归,我们一般都是通过一些成本函数如最小均方误差(MSE),作为损失函数,来确定 f 的参数。
线性回归
- 是线性的
其中(偏置/残差/误差项)可以融入并且得到
- 设均方误差(MSE)为成本函数
- 通过最小化成本函数来找到最优的w和b
如最小二乘法、梯度下降法使得损失函数最小来求解参数。
AI遮天传 ML-回归分析入门
利用回归进行二分类
在特征空间,一个线性分类器对应一个超平面
两种典型的线性分类器:
- 感知机
- SVM(AI遮天传 ML-SVM入门)
- 回归 - 预测连续的
- 分类 - 预测
利用线性回归进行二分类:
假定,考虑一维特征的情况
假定,考虑高维特征的情况
使用非线性回归进行二分类
可以是非线性函数,如:logisitic sigoid function
同理我们可以用训练线性回归模型的方法训练非线性回归,只不过原来的
变成了
注:这里的h是一个函数如 logisitic sigoid function
从概率的角度看问题
假设标签服从均值为 的正态分布,则其极大似然估计等同于最小化:
- 对于回归问题(t是连续的),正态分布假设是自然的。
- 对于分类问题(t是离散的),正态分布假设会很奇怪。
- 对于二分类问题的数据分布有更适合的假设 ----> 伯努利分布
为什么伯努利分布更适合二分类问题呢?
二、Logistic回归
对于一个二分类任务,一个0-1单元足以表示一个标签
尝试学习条件概率(已经将b融入,x为输入,t为标签)
我们的目标是寻找一个 值使得概率
当x属于类别1时,取很大的值如0.99999。
当x属于类别2时,取很小的值如0.00001 (因此 取很大的值)
我们实质上是在用另一个连续函数 h 来 “回归” 一个离散的函数 (x -> t)
交叉熵误差函数(CSE)
对于伯努利分布,我们最大化条件数据似然,得到等同于最小化:
得到新的损失函数(CSE)
我们拿出其中一项:
- 可见,如果t=1, 则E = -ln(h)
- 如果t=0, 则E = -ln(1-h)
可见河里。
训练和测试
二分类问题总结
三、SoftMax回归
我们上面讲解了一维和多维二分类,其实对于多分类,只是增加了函数个数作为维度。
如上图,比如对于一个x,三个函数的结果为1.2、4.1、1.9,那么便可根据后续操作对其进行回归或者分类。这三个函数可能是线性的,也可能是非线性的,如logistic回归。
选择均方误差(MSE)作为损失函数
对其使用最小二乘法/梯度下降法进行计算得出参数。
标签类别的表示
对于分类问题,即经过一个映射f 输出是一个离散的集合,我们有两种表示标签的方法:
对于第一种方法,类别之间有了远近的关系,因此我们一般使用第二种表示法。 每一个维度只有0-1两种结果。
我们只需看输出的某个点里哪一类代表的点更近即可进行分类。
概率角度:
我们上面提到,对于二分类任务,伯努利分布更加适合,因此我们引入了logistic回归。
而当面对多分类任务(K>2)时,我们选择 统筹 multinoulli/categorical 分布
回顾统筹 multinoulli/categorical 分布
统筹分布学习:
- 令 采取以下形式:
明显地, 并且
- 给定一个测试输入x,对每一个k=1,2,...,K,估计
- 当x属于第K个类时,取很大的值
- 当x属于其他类时,取很小的值
- 由于 是一个(连续的)概率,我们需要将它转换为符合分类的离散值。
Softmax函数
下列函数被称为Softmax函数:
- 如果 对于所有 都成立,则对于所有的 有 但其值小于1。
- 如果 对于所有 都成立,则对于所有的 有 。
同样,我们最大条件似然得到交叉熵误差函数:
注:
对于每个K,只有一个非0项(因为如(0,0,0,1,0,0))
计算梯度
向量-矩阵形式
训练和测试
随机梯度下降
在整个训练集中,最小化成恨函数的计算开销非常大,我们通常将训练集划分为较小的子集或 minibatches 然后在单个 minibatches (xi,yi)上优化成本函数,并取平均值。
引入偏置bias
到目前为止,我们已经假设
其中
有时偏置项可以引入到 中,参数成为{w,b}
得到
正则化通常只应用在w上
Softmax过度参数化
有假设
新的参数 会得到同样的预测结果
最小化交叉熵函数可以有无限多个解,因为:
其中
四、Softmax回顾和logistic回顾的关系
Softmax回归中,令K=2
其中h是softmax函数 g 是logistic函数
如果定义一个新的变量 那么就和logistic回归是相同的
五、总结
一般意义的交叉熵
AI遮天传 DL-回归与分类相关推荐
- AI遮天传 ML-广义线性模型(一)
前文:AI遮天传 ML-回归分析入门_老师我作业忘带了的博客-CSDN博客 前文回顾: 还记得很久很久以前,我们学习了简单的回归分析,这其实与我们在学校所学的求解回归方程并没无太大的区别,或许仅是维度 ...
- AI遮天传 ML-回归分析入门
相信大家初高中都学习过求解回归线方程,大学概率论的第九章也有讲,忘记了也不要紧,这里简单回忆一下: 线性回归方程为: 我们可以先求出x.y的均值: 对于系数 : 对于系数 : ...
- AI遮天传 ML-KNN
我们之前学习的方法如决策树.回归分析.贝叶斯分析都可以看作是 三步走 的学习方法,即: 估计问题的特征(如分布) 做出模型假设(LSE.Decision.Tree.MAP.MLE ) 找到最优的参数 ...
- AI遮天传 ML-SVM
支持向量机(Support Vector Machine,SVM)是Corinna Cortes和Vapnik等于1995年首先提出的,它在解决小样本.非线性及高维模式式识别中表现出许多特有的优势,并 ...
- AI遮天传 ML-初识决策树
决策树学习是最早被提出的一批机器学习的方法之一,由于它好用且具有很强的可解释性,到现在依然在被广泛使用. 一.决策树学习基础 (比较简单,一带而过) 例:享受一种运动 对于新的一天,是否可以去享受运动 ...
- AI遮天传 ML/DL-感知机
感知机的出现是人工智能发展史一大重要里程碑,其后才诞生了:多层感知机.卷积神经网络等一系列的经典网络模型. 在我看来,它虽然是深度学习领域的一大开端,但本身解决的只是线性二分类问题,它本身与机器学习经 ...
- AI遮天传 DL-深度学习在计算机视觉中的应用
本文只做一些在计算机视觉中应用的简单介绍,童叟无欺. 一.图像分类 a. 通用图像分类 将不同图片按照内容进行分类 b. 特定图像分类 特定识别人脸.某种动物.汽车等 1.1 人脸验证 下面是两种典型 ...
- AI遮天传 ML-集成学习
"Two heads are better than one." "三个臭皮匠,顶一个诸葛亮" 把多个人的智慧集合到一起,可能会比一个人好,放在机器学习上,我们 ...
- AI遮天传 ML-无监督学习
一.无监督学习介绍 机器学习算法分类(不同角度): 贪婪 vs. 懒惰 参数化 vs. 非参数化 有监督 vs. 无监督 vs. 半监督 ...... 什么是无监督学习?(unsupervised l ...
最新文章
- webstorm git 怎么断开版本控制 webstorm git for windows 禁止 自动运行
- 我的第一篇学术论文发表出来啦啦啦啊!!!
- java list加入listview_Android ListView自动生成列表条目的实例
- 安装Nacos Server
- 简述回源原理和CDN常见多级缓存
- stringstream字符串流的妙用
- servlet中用out.print输出中文为“乱码”如何解决
- 拓端tecdat|R语言用极大似然和梯度下降算法估计GARCH(p)过程
- 图像处理-与,或等运算
- arthas:jvm调优神器
- 数据库系统概念 第六章 习题答案
- matlab程序的m语言,M语言GMSK程序求教
- 大项目售前、售中和售后感悟
- 专为前端开发者准备的 15 款优秀的 Sublime Text 插件
- 轻量化安装 TKEStack:让已有 K8s 集群拥有企业级容器云平台的能力
- 基于RT-Thread系统的迷你时钟
- repo sync 更新源码 android-12.0.0_r34, fatal: 不能重置索引文件至版本 ‘v2.27^0‘。
- 为什么邮箱网页登录正常,但是客户端总是设置不成功,提示帐号密码不匹配?
- Python(2)变量声明、变量类型
- 用sort对vector排序(转载)
热门文章
- 米的换算单位和公式_请问米和毫米之间的单位是怎么换算的?
- 同比、定比和环比分析
- (Modern Family S01E01) Part 11 PhilClair Luke和Phil打篮球 总
- 51nod-LCA问题_by_zyz
- iPhone X Face ID判断
- 发票样板 html+css
- 1.5 synchronized类锁和对象锁快速区别
- 景观平面图转鸟瞰图_景观快题设计|平面图篇——功能分区
- 基于vue的组织架构树组件_Vue组件基于D3.js布局显示树
- Android4.4蓝牙耳机HFP流程分析-1