机器学习【逻辑回归】——logistic函数逻辑回归鸢尾花分类
logistic函数
我们可能会遇到一些分类问题,例如想要划分鸢尾花的种类,尝试基于一些特征来判断鸢尾花的品种,或者判断房子,在6个月之后能否被卖掉,答案是是或者否,或者一封邮件是否是垃圾邮件。所以这里是\(x\),这里是\(y\)在一个分类问题中,\(y\)只能取两个值0和1,这就是一个二元分类问题,如下所示:
可以使用线性回归对以上数值进行划分,可以拟合如下那么一条线,用\(y=0.5\)作为临界点,如果\(x\)在这个临界点的右侧,那么\(y\)的值就是1,如果在临界点的左侧,那么\(y\)的值就是0,所以确实会有一些人会这么做,用线性回归解决分类问题:
线性回归解决分类问题,有时候它的效果很好,但是通常用线性回归解决像这样的分类问题会是一个很糟糕的主意,加入存在一个额外的训练样本\(x=12\),如果现在对这个训练集合做线性拟合,那么可能拟合出来那么一条直线:
这时候\(y\)的临界点估计已经不太合适了,可以知道线性回归对于分类问题来说,不是一个很好的方法。
假设\(h_\theta(x) \in [0,1]\),当如果已知\(y\in \{0,1\}\),那么至少应该让假设\(h_\theta(x)\)预测出来的值不会比1大太多,也不会比0小太多,所以一般不会选择线性函数作为假设,而是会选择一些稍微不同的函数图像:
\[ g(z)=\frac{1}{1+e^{-z}} \]
\[ h_\theta(x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}} \]
\(g(z)\) 被称为sigmoid函数,也通常被称为logistic函数,它的函数图像是:
当 \(z\) 变得非常小的时候,\(g(x)\) 会趋向于0,当\(z\)变得非常大的时候,\(g(x)\) 会趋向于1,它和纵轴相较于0.5。
逻辑回归
那么我们的假设\(h_\theta(x)\) 要尝试估计 \(y\in \{0,1\}\) 的概率,即:
\[ P(y=1|x;\theta)=h_\theta(x) \]
\[ P(y=0|x;\theta)=1-h_\theta(x) \]
以上可以把两个公式合并简写为(如果\(y=1\)那么公式为\(h_\theta(x)\);如果\(y=0\)那么公式为\(1-h_\theta(x)\)):
\[ P(y|x;\theta)=(h_\theta(x))^y(1-h_\theta(x))^{1-y} \]
如果对《概率论和数理统计》学得好的人不难看出,以上函数其实就是 伯努利分布 的函数。
对于每一个假设值\(h_\theta(x)\),为了使每一次假设值更准确,即当 \(y=1\) 时估计函数 \(P(y=1|x;\theta)=h_\theta(x)\) 趋向于1,当\(y=0\) 时估计函数 \(P(y=0|x;\theta)=1-h_\theta(x)\) 趋向于0。则对于每一个\((x_i,y_i)\),参数 \(\theta\) 的似然估计 \(L(\theta)\)为:
\[ \begin{split} L(\theta)&=P(\vec{y}|X;\theta) \\ &=\prod_{i=1}^mP(y^{(i)}|x^{(i)};\theta) \\ &=\prod_{i=1}^m(h_\theta(x^{(i)}))^{y^{(i)}}(1-h_\theta(x^{(i)}))^{1-{y^{(i)}}} \end{split} \]
如果每一个\((x_i,y_i)\)都准确,即 \(P(y|x;\theta)\) 趋向于1,则应该使似然估计 \(L(\theta)\) 最大化,也就是转化成熟悉的问题:求解 \(L(\theta)\) 的极大似然估计。
为了调整参数 \(\theta\) 使似然估计 \(L(\theta)\) 最大化,推导如下(取 \(log\) 是为了去掉叠乘方便计算):
\[ \begin{split} l(\theta)&=logL(\theta) \\ &=\sum_{i=1}^m{y^{(i)}logh(x^{(i)})+(1-y^{(i)})log(1-h(x^{(i)}))} \end{split} \]
为了使这个函数最大,同样可以使用前面学习过的梯度下降算法使对数似然估计最大化。之前学习的是要使误差和 最小化,所以梯度下降的公式为:
\[ \theta:=\theta-\alpha\frac{\partial J(\theta)}{\partial\theta}=>\theta:=\theta-\alpha\nabla_\theta J(\theta) \]
而本次为了求解似然估计最大化,使用的是梯度上升:
\[ \theta:=\theta+\alpha\nabla_\theta l(\theta)=>\theta:=\theta+\alpha\frac{\partial l(\theta)}{\partial\theta} \]
对数似然性是和 \(\theta\) 有关,同样的为了计算 梯度上升 最快的方向,要对上述公式求偏导得到极值,即是上升最快的方向:
\[ \begin{split} \frac{\partial l(\theta)}{\partial\theta_j}&=(y\frac{1}{g(\theta^Tx)}-(1-y)\frac{1}{1-g(\theta^Tx)})\frac{\partial}{\partial\theta_j}g(\theta^Tx) \\ &=(y\frac{1}{g(\theta^Tx)}-(1-y)\frac{1}{1-g(\theta^Tx)})g(\theta^Tx)(1-g(\theta^Tx))\frac{\partial}{\partial\theta_j}\theta^Tx \\ &=(y(1-g(\theta^Tx))-(1-y)g(\theta^Tx))x_j \\ &=(y-g(\theta^Tx))x_j \\ &=(y-h_{\theta}(x))x_j \end{split} \]
则对于 m 个样本,则有:
\[ \frac{\partial l(\theta)}{\partial\theta_j}=\sum_{i=1}^m{(y-h_{\theta}(x))x_j} \]
\[ \theta_j:=\theta_j+\sum_{i=1}^m{(y^{(i)}-h_{\theta}(x^{(i)}))x^{(i)}_j} \]
所以总结来说:
逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法,运用梯度下降来求解参数,来达到将数据二分类的目的。
鸢尾花分类
为了划分 鸢尾花 的种类,尝试基于一些特征来判断鸢尾花的品种,选取100条鸢尾花数据集如下所示:
花萼长度(单位cm) |
花萼宽度(单位cm) |
种类 |
---|---|---|
5.1 |
3.5 |
0 |
4.9 |
3.0 |
0 |
4.7 |
3.2 |
0 |
7.0 |
3.2 |
1 |
6.4 |
3.2 |
1 |
... |
... |
... |
其中:
种类 |
含义 |
---|---|
0 |
山鸢尾(setosa) |
1 |
变色鸢尾(versicolor) |
2 |
维吉尼亚鸢尾(virginica) |
数据集的图像分布为:
计算损失函数:
# 损失函数
def computeCost(theta, X, y):theta = np.matrix(theta)X = np.matrix(X)y = np.matrix(y)first = np.multiply(-y, np.log(sigmoid(X * theta.T)))second = np.multiply((1 - y), np.log(1 - sigmoid(X * theta.T)))return np.sum(first - second) / (len(X))
梯度下降函数为:
# 梯度下降
def gradient(theta, X, y):theta = np.matrix(theta)X = np.matrix(X)y = np.matrix(y)parameters = int(theta.ravel().shape[1])grad = np.zeros(parameters)error = sigmoid(X * theta.T) - yfor i in range(parameters):term = np.multiply(error, X[:, i])grad[i] = np.sum(term) / len(X)return grad
最终预测准确率为:
accuracy = 99%
结果分类的图像为:
机器学习【逻辑回归】——logistic函数逻辑回归鸢尾花分类相关推荐
- Python机器学习基础教程(1)Irises(鸢尾花)分类之新手上路
一.感谢博客的内容提供的参考 标题:最新版学习笔记---Python机器学习基础教程(1)Irises(鸢尾花)分类---附完整代码 作者:非鱼子焉 地址:https://zhu-rui.blog.c ...
- 机器学习算法之 logistic、Softmax 回归
逻辑回归本质是分类问题,而且是二分类问题,不属于回归,但是为什么又叫回归呢.我们可以这样理解,逻辑回归就是用回归的办法来做分类.它是在线性回归的基础上,通过Sigmoid函数进行了非线性转换,从而具有 ...
- 最新版学习笔记---Python机器学习基础教程(1)Irises(鸢尾花)分类---附完整代码
开始学习机器学习基础,在此留下学习心得与自己的理解. 啥也不说,先看一下鸢尾花啥样 好看吧~~~~ Iris 1.环境搭建 2.了解数据 2.1读取数据 2.2查看数据 3.分离数据 4.构建模型(k ...
- 札记_ML——《统计学习方法》逻辑回归logistic regression)
统计学习方法:五. 逻辑回归logistic regression 逻辑回归logistic regression Logistic的起源 1).概念logistic回归又称logistic回归分析, ...
- Logistic函数与Logistic回归
Logistic函数与Logistic回归 Logistic函数的表示形式如下: 它的函数图像如下,由于函数图像很像一个"S"型,所以该函数又叫 sigmoid 函数. 满足的性质 ...
- 机器学习实战4-sklearn训练线性回归模型(鸢尾花iris数据集分类)
不贴图都没人看系列.... 线性回归推导: 上图求导部分有误,少些一个转置符号,更正为: 逻辑回归推导: (公式中"ln"和"log"表示一个意思,都是以&qu ...
- python中画logistic函数_Logistic分类函数
作者:chen_h 微信号 & QQ:862251340 微信公众号:coderpai 简书地址:https://www.jianshu.com/p/abc... 这篇教程是翻译Peter R ...
- 【机器学习】逻辑回归-基础认识与鸢尾花分类实操案例
文章目录 前言 一.基本理解 二.数学原理 三.简单二元分类算法实现 四.实战案例 总结 前言 本文将会对逻辑回归的基础理解,数学原理,简单算法实现,鸢尾花分类问题实操案例去学习我们的逻辑回归. 一. ...
- Coursera公开课笔记: 斯坦福大学机器学习第六课“逻辑回归(Logistic Regression)”
Coursera公开课笔记: 斯坦福大学机器学习第六课"逻辑回归(Logistic Regression)" 斯坦福大学机器学习第六课"逻辑回归"学习笔记,本次 ...
最新文章
- pytorch空间变换网络
- 第二十二章 SHELL脚本-CENTOS7.5知识
- win10 安装vc++6.0(亲测可用)
- Oracle函数大全2
- Microsoft SQL Server Desktop Engine安装过程中遇到的问题(2)
- QT实现头像图片剪切框
- python数组_Python数组
- c/c++中一个 类似 a[2] 的数组引发的一些思考
- uu云验证码识别平台,验证码,验证码识别,全自动验证码识别技术,优优云全自动打码,代答题系统,优优云远程打码平台,uu云打码...
- 数模笔记:蒙特卡洛模型
- Vue-01 —创建一个Vue实例
- 汇编没什么用,不用学了
- ruby_Ruby简介
- Python爬取皮皮虾视频
- 「转」AR技术应用 の 照片透视效果
- 输入商品显示商品名称和价格
- 微信小程序canvas画布新接口type为2D时drawImage方法的使用以及注意事项
- 【每日学习】深度学习相关知识
- 2021年起重机械指挥考试题及起重机械指挥模拟考试
- qdbus模块_Qt6各大模块变更概览:旨在成为未来主要开发平台