逻辑回归优化算法总结一
逻辑回归中的优化算法总结一
假设我们有m个数据对(x,y),且数据x的维度为n的自变量,y为离散型因变量。在逻辑回归中,我们的任务通常是训练出一个多项式函数,其中w0等为未知常数,被称为权重,所有权重记为
。(这个是线性回归的多项式函数,逻辑回归还需要一个sigmod函数进行压缩)我们通过这个多项式函数来拟合已有的数据对应关系(x,y),通常用如下公式来计算两者的差异和拟合程度。
因为在数据一定的情况下,拟合程度只和w0等参数相关,所以此函数是关于权重的多重函数,
。即这个函数中权重w是自变量,拟合的差值是因变量,这是关于权重的函数。当我们求的一个W0使得函数f的值最小时,那么我们使用W0去拟合数据对(x,y)将获得最大的拟合。当有新数据x时,使用公式计算出h(x),此时形成的新数据对(x,h(x))最大可能和原有的数据对符合同一种对应规则。我们获得了预测的能力。
一、梯度下降法
使用BG方法求函数最小值时,首先随机给自变量一个值w,然后求函数在自变量为w时的梯度,沿着梯度的反方向将w进行变化β,最后更新w为w+β。重复以上步骤,直到求出的函数值符合要求。
BG方法的原理在于函数在自变量w的梯度是一种向量,其方向是函数在w函数值变化最快的方向,其大小是函数在w的导数。
梯度的公式如下图
这样变化后,梯度转换成向量之间的运算。
参数iter轮次的含义是进行iter次梯度下降,即weight变化了iter次。每轮计算时都会计算整个数据集,进而计算梯度。
参数learnrate的含义是weight变化的快慢,因为梯度只是一个向量标明变化方向,但是没有说变化多少。learnrate越大,weight变化越大。
二、随机梯度下降法SGD
和上个算法的差异是,每轮不是对所有的数据进行计算梯度,而是每次随机选出一个数据进行计算梯度,计算差值,然后进行m次,相当于weight变化了iter*m次,变化次数更大了。
影响就是cost变化不是平滑的原来越低而是忽高忽低,有锯齿,如下图所示,左边是梯度下降,右边是随机梯度下降。
随机梯度下降也有批量的概念,每轮可以选出m个数据进行计算,也可以选出batch个数据进行计算batch次,batch越小,锯齿越严重。
三、批量梯度下降法
和梯度下降法不同的是,每轮训练的把全部数据分成若干批次,然后每个批次计算一下梯度,weihgt变化了m/batch次,另外为了随机,每轮分批次前还把数据进行打散
三个梯度方法的cost变化,进行了200轮训练,初始化的weight都是一样的。梯度下降法是红色,随机梯度下降法是蓝色,批量梯度下降法是绿色
三种方法的不同在于我们使用多少数据计算损失函数的梯度。全量,随机选若干,批数据。cost函数J(0)是和数据相关的,数据不同cost函数也不相同
逻辑回归优化算法总结一相关推荐
- 逻辑回归模型算法研究与案例分析
逻辑回归模型算法研究与案例分析 (白宁超 2018年9月6日15: 21:20) 导读:逻辑回归(Logistic regression)即逻辑模型,属于常见的一种分类算法.本文将从理论介绍开始,搞清 ...
- 一步步教你轻松学逻辑回归模型算法
一步步教你轻松学逻辑回归模型算法 ( 白宁超2018年9月6日15: 01:20) 导读:逻辑回归(Logistic regression)即逻辑模型,属于常见的一种分类算法.本文将从理论介绍开始,搞 ...
- java基础巩固-宇宙第一AiYWM:为了维持生计,编程语言番外篇之机器学习(项目预测模块总结:线性回归算法、逻辑回归分类算法)~整起
机器学习 一.机器学习常见算法(未完待续...) 1.算法一:线性回归算法:找一条完美的直线,完美拟合所有的点,使得直线与点的误差最小 2.算法二:逻辑回归分类算法 3.算法三:贝叶斯分类算法 4.算 ...
- 【机器学习算法笔记系列】逻辑回归(LR)算法详解和实战
逻辑回归(LR)算法概述 逻辑回归(Logistic Regression)是用于处理因变量为分类变量的回归问题,常见的是二分类或二项分布问题,也可以处理多分类问题,它实际上是属于一种分类方法. 逻辑 ...
- R语言使用逻辑回归分类算法
R语言使用逻辑回归分类算法 逻辑回归属于概率统计的分类算法模型的算法,是根据一个或者多个特征进行类别标号预测.在R语言中可以通过调用logit函数执行逻辑回归分类算法并预测输出概率.通过调用glm函数 ...
- ML之LoR:逻辑回归LoR算法的简介、应用、经典案例之详细攻略
ML之LoR:逻辑回归LoR算法的简介.应用.经典案例之详细攻略 目录 逻辑回归LoR算法的简介 1.LOR算法在经过严密的数据预处理后效果会非常好 2.LoR模型的优缺点 逻辑回归LoR算法的应用 ...
- DataScience:基于GiveMeSomeCredit数据集利用特征工程处理、逻辑回归LoR算法实现构建风控中的金融评分卡模型
DataScience:基于GiveMeSomeCredit数据集利用特征工程处理.逻辑回归LoR算法实现构建风控中的金融评分卡模型 目录 基于GiveMeSomeCredit数据集利用特征工程处理. ...
- 【机器学习】逻辑回归优化技巧总结(全)
逻辑回归由于其简单高效.易于解释,是工业应用最为广泛的模型之一,比如用于金融风控领域的评分卡.互联网的推荐系统.上文总结了逻辑回归的原理及其实现[全面解析并实现逻辑回归(Python)]. 本文从实际 ...
- 逻辑回归优化技巧总结(全)
逻辑回归由于其简单高效.易于解释,是工业应用最为广泛的模型之一,比如用于金融风控领域的评分卡.互联网的推荐系统.上文总结了逻辑回归的原理及其实现[全面解析并实现逻辑回归(Python)]. 本文从实际 ...
最新文章
- 倒序查10条数据_王者荣耀对抗路数据公布,尖端局吕布倒第一,夏洛特真的很意外...
- 软件公司应该砍掉的成本
- Objetive-C枚举位移操作Swift枚举位移操作
- Metalink使用指南
- Redis failover过程
- SQL语句大全,所有的SQL都在这里 !极度建议收藏...
- 异常处理 Exception
- 第一太阳能公司(First Solar)在罗斯资本公司的评级上调
- Dart基础-运算符
- 使用MyEclipse快速开发图形化界面
- 树磁盘[HBase] LSM树 VS B+树
- 64位windows10操作系统,如何使用32位的IE浏览器
- ios 推送通知服务证书不受信任(Apple Push Service certificate is not trusted)
- SQL语句查询:查询本周过生日的信息
- 爬虫--Item Pipeline 介绍(21)
- 孙悟空吃蟠桃c语言编程,孙悟空吃蟠桃
- 数字技术战略:开发者体验 —— 内部工具的“最后一公里”
- 第十一届蓝桥杯B组Java试题答案(省赛)
- 用sort对vector排序
- A Survey on Transfer Learning 总结