逻辑回归算法及其实现

一、算法简介
说到逻辑回归，我们应该先提一下与其紧密相关的线性回归。

在统计学中，线性回归（Linear Regression）是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合（自变量都是一次方）。函数的输入是特征向量及其对应的标签（因为是监督学习方式），输出是学得的模型，也就是一个线性函数y=wx + b。这里的关键是根据损失函数求得最佳回归系数w.常见的优化方法包括梯度下降法和最小二乘法，优化思想这里不做介绍，以后会专门介绍。对于线性回归函数

优点：结果易于理解，计算上不复杂。
缺点：对非线性数据拟合不好。
适用数据类型：数值型和标称型数据。
算法类型：回归算法

而逻辑回归，其算法思路跟线性回归基本一样，只不过在线性回归的基础上加了一层特征到结果的映射函数，即sigmoid=g(z)=1/(1+exp（-z）)函数，将值连续映射到0~1之间，**注意一下，虽然算法名字中含回归二字，但他们都是用来做分类的算法。** 用逻辑回归来做分类，我们是通常基于如下假设： if (z>=0.5) g(z)=1 else g(z)=0 其中z是求得的最佳的线性回归系数之和。

二、算法步骤
1、获取数据集
2、数据格式化以满足算法输入要求
3、训练模型
4、测试模型
5、模型应用
对于得到的文本数据，我们首先对其进行处理，提取出每个实例的特征和对应的标签，并存到矩阵中。对于特征含有异常值或者缺失值的实例，我们可以将异常值剔除或者对缺失值来进行填充的方式来处理。常见的填充方式包括用特征平均值填充、全0填充、全1填充、相似特征值填充等。对于标签缺失的实例，我们不能进行填充，因为我们算法的目的就是来预测标签的，填充后会引入较大误差，通常做法是将这样的实例删除。数据处理好之后，接下来就是对算法模型进行训练了，反复迭代，直到达到最优的效果。中间为了方便理解，我们可以借助matplotlib将迭代的过程进行可视化。
三、算法实现
我们用Python将算法进行实现，并用来做一个病马死亡的预测，具体实现可参考我github源代码，上面有详细注释。
https://github.com/GritCoder/Logistic.git
四、算法优化
本文采用的是梯度上升法来进行优化的，即求出最大回归系数。
原因是因为本文没有涉及到损失函数，如果利用损失函数来求解问题，则可以利用梯度下降法或者最小二乘法来进行优化。
具体各种优化策略的思想，后面会专门有文章来结束，这里暂不细说。
参考来源：
机器学习实战；统计学习方法

逻辑回归算法及其实现相关推荐

基于机器学习逻辑回归算法完成癌症病人的肿瘤是否良性的判断
https://www.toutiao.com/a6630407688360575502/ 2018-12-04 22:46:48 逻辑回归算法虽然逻辑回归算法的名字中有回归二字,但是它却不是回归算 ...
逻辑回归算法c语言_逻辑回归算法背后的数学
逻辑回归算法背后的数学看完深蓝学院的机器学习公开课后,对于逻辑回归部分,打算写篇学习笔记记录总结一下,也和大家共同分享. 1 基本思能逻辑回归(Logistic Regression)和线性回归( ...
机器学习——逻辑回归算法
文章目录逻辑回归算法逻辑回归概念 Sigmoid函数逻辑回归模型代价函数最终运用梯度下降求解实验总结逻辑回归算法首先明确一个概念,逻辑回归并不是解决回归问题,而是解决分类问题,它是通 ...
ML之LoR：基于LoR(逻辑回归)算法对乳腺癌肿瘤(9+1)进行二分类预测(良/恶性)
ML之LoR:基于LoR(逻辑回归)算法对乳腺癌肿瘤(9+1)进行二分类预测(良/恶性) 目录输出结果设计思路数据集核心代码输出结果 Testing accuracy (10 trainin ...
分析决策树算法和逻辑回归算法的不同之处
首先我们导入一组airplan.xlsx数据. 数据表中的age表示年龄.FLIGHT_COUNT表示飞行次数.BASE_POINTS_SUM表示飞行里程.runoff_flag表示流失与否,定义1为 ...
朴素贝叶斯算法和逻辑回归算法的区别？
朴素贝叶斯算法和逻辑回归算法的区别? 1.两种算法的模型不同: Naive Bayes是一个生成模型,在计算P(y|x)之前,先要从训练数据中计算P(x|y)和P(y)的概率,从而利用贝叶斯公式计算P ...
机器学习算法平台alink_机器学习-逻辑回归算法
1-逻辑回归算法原理推导逻辑回归算法其实是一个分类算法,是非常经典,优秀的算法.一般我们不知道用哪个分类算法的时候,首先用逻辑回归算法试一试:它不仅可以实现二分类算法,还可以解决多分类问题逻辑回归 ...
Python+sklearn使用逻辑回归算法预测期末考试能否及格
封面图片:<Python程序设计实验指导书>,董付国编著,清华大学出版社 ================= 虽然名字中带有"回归"二字,但实际上逻辑回归是一个用于分类 ...
Python使用逻辑回归算法根据三围数据判断用户性别
逻辑回归算法是一种经典的分类算法,使用时应注意: 1)样本需要足够多. 2)样本的多个特征之间尽量不要存在线性相关性. 问题描述: 根据三围数据判断用户性别.假设男性和女性的三围和身高的计算公式如下: ...
基于逻辑回归算法模型搭建思路
在真实工作场景中,有多种算法依据借贷数据集建立模型,主要使用的算法有逻辑回归.神经网络.决策树.贝叶斯信念网.GBDT算法等,本系列文章旨在为刚入门和对模型感兴趣的同学介绍传统风控模型算法之一--逻辑 ...

逻辑回归算法及其实现

逻辑回归算法及其实现相关推荐

最新文章

热门文章