对算法的认识——逻辑回归

2024-05-14 12:55:15

逻辑回归：找出一条直线来分类数据

逻辑回归虽然名字叫回归，却是属于分类算法，是通过Sigmoid函数将线性函数的结果映射到Sigmoid函数中，预估事件出现的概率并分类。
Sigmoid是归一化的函数，可以把连续数值转化为0到1的范围，提供了一种将连续型的数据离散化为离散型数据的方法。因此，逻辑回归从直观上来说是画出了一条分类线。位于分类线一侧的数据，概率>0.5,属于分类A；位于分类线另一侧的数据，概率0.5，属于分类B。

优点：

平滑、易于求导

缺点：

激活函数计算量大，反向传播求误差梯度时，求导涉及除法；反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。

Sigmoid函数由下列公式定义

S(x)=11+e−xS(x)=\frac{1}{1+e^{-x}} S(x)=1+e−x1

其对x的导数可以用自身表示

S丶(x)=e−x(1+e−x)2=S(x)(1−S(x))S^{丶}(x)=\frac{e^{-x}}{(1+e^{-x})^2}=S(x)(1-S(x))S丶(x)=(1+e−x)2e−x=S(x)(1−S(x))

Sigmoid函数的图形如S曲线

激活函数

在计算机网络中，一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机芯片点了可以看作是根据输入得到开（1）或关（0）输出的数字电路激活函数。这与神经网络中的线性感知机的行为类似。然而，只有非线性激活函数才允许这种网络仅使用少量节点来计算非平凡问题。在人工神经网络中，这个功能也被称为传递函数。
Sigmoid函数和tanh函数是研究早期被广泛使用的2种激活函数。两者都为S型饱和函数。当Sigmoid函数输入的值趋于正无穷或负无穷时，梯度会趋近零，从而发生梯度弥散现象。sigmoid函数的输出恒为正值，不是以零为中心的，这会导致权值更新时只能朝一个方向更新，从而影响收敛速度。ranh激活函数时sigmoid函数的改进版，是以零为中心的对称函数，收敛速度快，不容易初恋loss值晃动，但是无法解释梯度弥散问题。2个函数的计算量都是指数级的，计算相对复杂。softsign函数是tanh函数的改进版，为S型饱和函数，以零为中心，值域为（-1，1）.

对算法的认识——逻辑回归相关推荐

金融领域下的数据挖掘算法应用：逻辑回归模型
摩天,用友旗下社会化的企业数智化学习认证社区,提供数智营销.智慧医疗.数智金融.智能制造.项目管理等精品课程,数智化人才上摩天!https://mot.yonyou.com/ 你将会学到: 股票客户流 ...
收藏！！如何 Get 机器学习必备的算法技能？ | 逻辑回归
本文是吴恩达老师的机器学习课程[1]的笔记和代码复现部分(逻辑回归). 作者:黄海广[2] 备注:笔记和作业(含数据.原始作业文件).视频都在github[3]中下载. 我将陆续将课程笔记和课程代码发 ...
Spark MLlib回归算法------线性回归、逻辑回归、SVM和ALS
Spark MLlib回归算法------线性回归.逻辑回归.SVM和ALS 1.线性回归: (1)模型的建立: 回归正则化方法(Lasso,Ridge和ElasticNet)在高维和数据集变量之间多 ...
机器学习必备算法之(一)逻辑回归(logistics regression)及Python实现
笔者为数学系的一个小白,最近系统的在复习机器学习以及一些深度学习的内容,准备开个博记录一下这个有趣又痛苦的过程~hiahiahia,主要记录机器学习的几大经典算法的理论以及Python的实现.非计算机 ...
机器学习基础算法四：逻辑回归算法实验
逻辑回归算法实验一.逻辑回归介绍逻辑回归是一种分类模型 z=WTX=w0+w1x1+w2x2+......+wnxnz =W^{T}X=w^{0}+w^{1}x^{1}+w^{2}x^{2}+.. ...
DSML_分类算法笔记之逻辑回归模型
其他相关文章 DS&ML_关联分析笔记 DS&ML_分类算法笔记之支持自动机SVM模型 DS&ML_分类算法笔记之随机森林.梯度提升树.XGBoost模型 DS&ML_ ...
【数据挖掘】神经网络后向传播算法 ( 线性回归与逻辑回归 | 单个神经元本质及逻辑 | 神经网络每一层分析 | 神经网络矩阵形式 | 线性变换与非线性变换 )
文章目录 I . 线性回归与逻辑回归 II . sigmod 非线性激活函数 III . 神经元单元逻辑 IV . 单个神经元单元总结 V . 神经网络每一层分析 VI . 神经网络矩阵 ...
【机器学习基础】数学推导+纯Python实现机器学习算法2：逻辑回归
自本系列第一讲推出以来,得到了不少同学的反响和赞成,也有同学留言说最好能把数学推导部分写的详细点,笔者只能说尽力,因为打公式实在是太浪费时间了..本节要和大家一起学习的是逻辑(logistic)回归模 ...
百面机器学习 #3 经典算法：02 逻辑回归
参考: 百面机器学习西瓜书 02 逻辑回归Logistic Regression(对数几率回归) 2.1 逻辑回归和线性回归二者都使用极大似然法来对训练样本进行建模. 在求解超参数的过程中,都可以 ...
【逻辑回归算法】{2} ——逻辑回归损失函数的梯度
目标:求出逻辑回归损失函数的最小值. 逻辑回归的损失函数: 逻辑回归损失函数的梯度: 计算预测函数Sigmoid函数的导数: 代入: 计算过程: 最后得出逻辑回归损失函数的梯度: 回顾一下线性回归代价 ...

最新文章

热门文章