logistics模型的训练

逻辑斯蒂回归

$P(Y=1|x)=\frac{exp(w*x)}{1+exp(w*x)}$

具体的推导可以看《统计学习基础》这本书。

一、逻辑斯蒂回归有什么特点

1、逻辑斯蒂回归实际上是对简单的线性加权回归的一种非线性化，在线性组合$w*x$的上面加了一个sigmod函数，从而转化到非线性问题

2、这里的的转化的一个好处是，所有的数据都映射到了0和1之间，这对于应对奇异点的影响具有非常大的作用。

二、模型的参数估计使用最大似然估计。

这里的具体的似然函数咱么写，参考教材。

最后可以得到

$L(w)=\sum_{i=1}^{N}[y_{i}(w*x_{i})-log(1+exp(w*x_{i}))]$

三、模型的训练问题

关键是模型的训练，有了上面的似然函数，模型训练的目的是要找到一组参数w使上面的似然函数最小。

1、随机梯度下降法

随机选取样本计算相应的梯度，并且使用一定的步长，对w进行更新，因为是一个凸规划问题，所以一定可以找到最优解，沿着梯度变化。

2、改进的随机梯度下降法

步长如果一直保持不变，那么容易引起在最优价附件的波动。改进的方式，是使用动态自适应的步长，步长随着迭代次数的增加不断的减小，但是不能减小到0，所以在上面添加一个常数因子。

四、应用

许多大公司实际上在处理上亿的大规模数据的时候用的比较多的算法实际上就是逻辑斯蒂回归，原因是简单可依赖。实际当中的实时性问题，不如今天的变化要作用域明天，比较复杂的模型无法做到这点。

[1] http://m.blog.csdn.net/blog/njustzj001/46755679

转载于:https://www.cnblogs.com/deepblueme/p/4789463.html

logistics模型的训练相关推荐

基于pytorch的模型稀疏训练与模型剪枝示例
基于pytorch的模型稀疏训练与模型剪枝示例稀疏训练+模型剪枝代码下载地址:下载地址 CIFAR10-VGG16BN Baseline Trained with Sparsity (1e-4) P ...
OpenAI发布最新「模拟机器人环境」,用「真实机器人」模型进行训练
图:pixabay 本文转自雷克世界(ID:raicworld) 作者|MACIEK CHOCIEJ.PETER WELINDER等「雷克世界」编译:嗯~阿童木呀最近,我们发布了8个模拟机器人环境 ...
目标检测模型从训练到部署！
Datawhale干货作者:张强,Datawhale成员训练目标检测模型并部署到你的嵌入式设备,让边缘设备长"眼睛". 目标检测的任务是找出图像中所有感兴趣的目标(物体),确定 ...
R语言决策树、bagging、随机森林模型在训练集以及测试集的预测结果（accuray、F1、偏差Deviance）对比分析、计算训练集和测试集的预测结果的差值来分析模型的过拟合（overfit）情况
R语言决策树.bagging.随机森林模型在训练集以及测试集的预测结果(accuray.F1.偏差Deviance)对比分析.计算训练集和测试集的预测结果的差值来分析模型的过拟合(overfit)情况 ...
python可视化多个机器学习模型在训练集(train set)上交叉验证（cross validation）的AUC值、可视化模型效能
python可视化多个机器学习模型在训练集(train set)上交叉验证(cross validation)的AUC值.可视化模型效能 # 所有的模型中填写的参数都是通过randomsearchcv ...
可视化深度学习模型的训练误差和验证误差
可视化深度学习模型的训练误差和验证误差 #导入基础包和库 # Load libraries import numpy as np from keras.datasets import imdb fro ...
tensorflow2.0中valid_data的作用是在训练的过程对对比训练数据与测试数据的准确率损失率，便于判断模型的训练效果：是过拟合还是欠拟合（过拟合）
tensorflow2.0中valid_data的作用是在训练的过程对对比训练数据与测试数据的准确率,便于判断模型的训练效果:是过拟合还是欠拟合过拟合:训练数据的准确率较高而测试数据的准确率较低欠 ...
BERT模型从训练到部署全流程
BERT模型从训练到部署全流程 Tag: BERT 训练部署缘起在群里看到许多朋友在使用BERT模型,网上多数文章只提到了模型的训练方法,后面的生产部署及调用并没有说明. 这段时间使用BERT模 ...
tensorflow 模型预训练后的参数restore finetuning
之前训练的网络中有一部分可以用到一个新的网络中,但是不知道存储的参数如何部分恢复到新的网络中,也了解到有许多网络是通过利用一些现有的网络结构,通过finetuning进行改造实现的,因此了解了一下关于 ...

logistics模型的训练

logistics模型的训练相关推荐

最新文章

热门文章