逻辑回归和非监督学习
目录
一、逻辑回归
1.模型的保存与加载
2.逻辑回归原理
①逻辑回归的输入
②sigmoid函数
③逻辑回归的损失函数
④逻辑回归特点
3.逻辑回归API
4.逻辑回归案例
①案例概述
②具体流程
5.逻辑回归总结
二、非监督学习
1.k-means聚类算法原理
2.k-means API
3.聚类性能评估
①性能评估原理
②性能评估API
一、逻辑回归
1.模型的保存与加载
模型训练好之后,可以直接保存,需要用到joblib库。保存的时候是pkl格式,二进制,通过dump方法保存。加载的时候通过load方法即可。
安装joblib:conda install joblib
保存:joblib.dump(rf, 'test.pkl')
加载:estimator = joblib.load('模型路径')
加载后直接将测试集代入即可进行预测。
2.逻辑回归原理
逻辑回归是一种分类算法,但该分类的标准,是通过h(x)输入后,使用sigmoid函数进行转换,同时根据阈值,就能够针对不同的h(x)值,输出0-1之间的数。我们将这个0-1之间的输出,认为是概率。假设阈值是0.5,那么,大于0.5的我们认为是1,否则认为是0。逻辑回归适用于二分类问题。
①逻辑回归的输入
可以看出,输入还是线性回归的模型,里面还是有权重w,以及特征值x,我们的目标依旧是找出最合适的w。
②sigmoid函数
该函数图像如下:
该函数公式如下:
z就是回归的结果h(x),通过sigmoid函数的转化,无论z是什么值,输出都是在0-1之间。那么我们需要选择最合适的权重w,使得输出的概率及所得结果,能够尽可能地贴近训练集的目标值。因此,逻辑回归也有一个损失函数,称为对数似然损失函数。将其最小化,便可求得目标w。
③逻辑回归的损失函数
损失函数在y=1和0的时候的函数图像如下:
由上图可看出,若真实值类别是1,则h(x)给出的输出,越接近于1,损失函数越小,反之越大。当y=0时同理。所以可据此,当损失函数最小的时候,我们的目标就找到了。
④逻辑回归特点
逻辑回归也是通过梯度下降进行的求解。对于均方误差来说,只有一个最小值,不存在局部最低点;但对于对数似然损失,可能会出现多个局部最小值,目前没有一个能完全解决局部最小值问题的方法。因此,我们只能通过多次随机初始化,以及调整学习率的方法来尽量避免。不过,即使最后的结果是局部最优解,依旧是一个不错的模型。
3.逻辑回归API
sklearn.linear_model.LogisticRegression
其中penalty是正则化方式,C是惩罚力度。
4.逻辑回归案例
①案例概述
给定的数据中,是通过多个特征,综合判断肿瘤是否为恶性。
②具体流程
由于算法的流程基本一致,重点都在于数据和特征的处理,因此本文中不再详细阐述,代码如下:
注意:
逻辑回归的目标值不是0和1,而是2和4,但不需要进行处理,算法中会自动标记为0和1
算法预测完毕后,如果想看召回率,需要注意对所分的类别给出名字,但给名字之前需要先贴标签。见上图。否则方法不知道哪个是良性,哪个是恶性。贴标签的时候顺序需对应好。
一般情况下,哪个类别的样本少,就按照哪个来去判定。比如恶性的少,就以“判断属于恶性的概率是多少”来去判断
5.逻辑回归总结
应用:广告点击率预测、是否患病等二分类问题
优点:适合需要得到一个分类概率的场景
缺点:当特征空间很大时,逻辑回归的性能不是很好 (看硬件能力)
二、非监督学习
非监督学习就是,不给出正确答案。也就是说数据中没有目标值,只有特征值。
1.k-means聚类算法原理
假设聚类的类别为3类,流程如下:
①随机在数据中抽取三个样本,作为类别的三个中心点
②计算剩余的点分别道三个中心点的距离,从中选出距离最近的点作为自己的标记。形成三个族群
③分别计算这三个族群的平均值,把三个平均值与之前的三个中心点进行比较。如果相同,结束聚类,如果不同,把三个平均值作为新的聚类中心,重复第二步。
2.k-means API
sklearn.cluster.KMeans
通常情况下,聚类是做在分类之前。先把样本进行聚类,对其进行标记,接下来有新的样本的时候,就可以按照聚类所给的标准进行分类。
3.聚类性能评估
①性能评估原理
简单来说,就是类中的每一个点,与“类内的点”的距离,以及“类外的点”的距离。距离类内的点,越近越好。而距离类外的点,越远越好。
如果sc_i 小于0,说明a_i 的平均距离大于最近的其他簇。 聚类效果不好
如果sc_i 越大,说明a_i 的平均距离小于最近的其他簇。 聚类效果好
轮廓系数的值是介于 [-1,1] ,越趋近于1代表内聚度和分离度都相对较优
②性能评估API
sklearn.metrics.silhouette_score
聚类算法容易收敛到局部最优,可通过多次聚类解决。
逻辑回归和非监督学习相关推荐
- 吴恩达机器学习(十六)逻辑回归、简化代价函数、高级优化、多元分类
文章目录 1.逻辑回归 2.简化代价函数与梯度下降 3.高级优化 4.多元分类:一对多 1.逻辑回归 以下是监督学习问题中的逻辑回归模型的拟合问题,我们有一个训练集: 我们如何选择参数θ 当y ...
- python 线性回归与逻辑回归区别(有监督学习【分类、回归】、无监督学习【聚类、强化学习】、损失函数、梯度下降、学习率、过拟合、欠拟合、正则化)
引用文章1 https://blog.csdn.net/viewcode/article/details/8794401 引用文章2:一.线性回归和逻辑回归 一.什么是机器学习 利用大量的数据样本,使 ...
- 监督分类空白处也被分类了_监督学习(2)|本质是分类的“逻辑回归”
引言 机器学习,绕不开预测问题,预测绕不开回归和分类.本篇介绍最常用的二分类算法:逻辑回归(Logistics Regression),当然随着算法的发展,它也可用于多分类问题.每一个算法都是许许多多 ...
- 基于6种监督学习(逻辑回归+决策树+随机森林+SVM+朴素贝叶斯+神经网络)的毒蘑菇分类
公众号:尤而小屋 作者:Peter 编辑:Peter 大家好,我是Peter~ 本文是kaggle案例分享的第3篇,赛题的名称是:Mushroom Classification,Safe to eat ...
- ESL第五章 基扩张和正则化 【自然】三次样条/似然比检验/自然正则化、自由度/光滑矩阵/收缩光滑/局部拟合/等价核、非参逻辑回归、多维张量积/加性样条、RKHS/径向基、小波光滑/自适应滤波、B样条
目录 5.1 导言 5.2 分段多项式和样条 5.2.1 自然三次样条Natural Cubic Splines 5.2.2 例子:南非心脏病 5.2.3 例子:音素识别 5.4 光滑样条 5.4.1 ...
- 逻辑回归损失函数通常是凸函数(附平方差损失的非凸证明以及交叉熵损失函数求导)
Q:为什么逻辑回归损失函数往往要求是凸函数?(此处凸函数是指下凸,国内和国外凸函数的标准不一样,是相反的,吴恩达的机器学习课程凸函数是指下凸) A:如果损失函数是非凸的,使用梯度下降法优化时,最后得到 ...
- 【机器学习】监督学习--(分类)非线性逻辑回归
注:数据集放在文章末尾 (1)非线性逻辑回归 -- 梯度下降法 import matplotlib.pyplot as plt import numpy as np from sklearn.metr ...
- 【机器学习】监督学习--(分类)逻辑回归
注:数据集放在文章末尾 (1)逻辑回归 -- 梯度下降法 import matplotlib.pyplot as plt import numpy as np from sklearn.metrics ...
- 西瓜书+实战+吴恩达机器学习(六)监督学习之逻辑回归 Logistic Regression
文章目录 0. 前言 1. 逻辑回归参数求解方法 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言 逻辑回归,根据数据对分类边界进行回归,以此分类. y=σ(wTx ...
最新文章
- linux图形化应用程序快捷方式制作方法
- 工作日志之个人统计篇
- 如何评判软件测试的效率,如何衡量测试效率,提高测试效率?
- vue 刷新当前页面、组件;provide、inject
- 鱼眼图像畸变校正--透视变换
- 在docker容器里创建ubuntu系统
- java 代码检验表不存在_诊断 Java 代码: Liar View 错误模式
- java代码使用Get请求或者Post请求获取网络内容
- C/C++ inline 函数
- 教你图片批量重命名编号,不要括号
- 微信APP支付配置文档
- matconvnet
- python flash游戏_基于Python的Flash游戏人工智能
- c语言编程中句柄无效怎么解决,Win7玩英雄联盟出现句柄无效怎么解决?
- Linux下挂载大容量存储
- css04 float
- 原生JS实现飞机大战游戏 超详细解析 快来做一个自己玩吧
- python爬虫超时重试_python爬虫怎么处理异常和超时?
- 面试时,可以问面试官问题总结
- 三款ActiveX图表控件对比评测 Pro ActiveX、ProEssentials、ChartDirector
热门文章
- centos 7镜像(iso)下载图文教程(超详细)
- 英文版编程入门教程推荐(C#/C++/C/Java/Python/Swift等)
- 长期总结:关于计算为什么不稳定
- 常用软件-安装过程中的小常识
- java操作redis队列
- Android 12源码编译报错:FAILED: out/soong/build.ninja
- 佛说.今生娶你的人,就是前世埋葬你的人
- 哪种平板电脑适合一级计算机考证
- 一个类如何实现自杀?
- 什么是一对一直播源码?一对一直播为何产生?