Logistic回归模型及损失函数和成本函数

2024-06-14 16:03:15

Logistic回归模型、损失函数和成本函数

logistic模型
损失函数
成本函数
梯度下降法

logistic模型

logistic模型： y^=σ(wTx+b)\hat{y} = σ(w^Tx+b)y^=σ(wTx+b) ；σ(z)=11+e−zσ(z)=\frac{1}{1+e^{-z}}σ(z)=1+e−z1，其中wTx+b=zw^Tx+b=zwTx+b=z，所以0≤y^≤10≤\hat{y}≤10≤y^≤1

损失函数

损失函数是在单个训练样本中定义的，它是衡量单个训练样本上的表现；
损失函数也叫误差函数，可以用来衡量算法的运行情况，损失函数越小，算法越精确；

如果使用L(y^,y)=12(y^−y)2L(\hat{y},y)=\frac{1}{2}{(\hat{y}-y)}^2L(y^,y)=21(y^−y)2，那么梯度下降法将不能使用；

因此使用L(y^,y)=−(ylogy^+(1−y)log(1−y^))L(\hat{y},y)=-(ylog\hat{y}+(1-y)log(1-\hat{y}))L(y^,y)=−(ylogy^+(1−y)log(1−y^))，其中0＜y^\hat{y}y^＜1;

如果训练样本y=1y=1y=1：那么L(y^,y)=−logy^L(\hat{y},y)=-log\hat{y}L(y^,y)=−logy^，要使L(y^,y)L(\hat{y},y)L(y^,y)足够小，就要logy^log\hat{y}logy^足够大，就要y^\hat{y}y^足够大（但是y^\hat{y}y^永远＜1，即无限接近1）；

如果训练样本y=0y=0y=0：那么L(y^,y)=−log(1−y^)L(\hat{y},y)=-log(1-\hat{y})L(y^,y)=−log(1−y^)，要使L(y^,y)L(\hat{y},y)L(y^,y)足够小，就要log(1−y^)log(1-\hat{y})log(1−y^)足够大，就要y^\hat{y}y^足够小（但是y^\hat{y}y^永远＞0，即无限接近0）；

总结：如果y=1y=1y=1，尽可能让y^\hat{y}y^接近1；如果y=0y=0y=0，尽可能让y^\hat{y}y^接近0。

成本函数

w和b的函数，衡量全体训练样本上参数w和b的效果的表现（成本函数越小越好）；

1m\frac{1}{m}m1的损失函数之和的平均值

梯度下降法

来训练或学习训练集的参数w和b；

损失函数就是将训练出来的y^(i)\hat{y}^{(i)}y^(i)和真值y(i)y^{(i)}y(i)进行比较；
成本函数衡量了参数www和bbb在训练集上的效果，要训练出合适的www和bbb使得成本函数最小。

$J(w,b)是如上的凸函数

下图是用二维来解释梯度下降法的实现原理

①是斜率，通常只有一个变量用ddd表示，两个变量以上用∂∂∂表示，通常④表达是对的，但是③易理解，且通常使用②变量符号来代表①；

左上角的函数图解读：若www在最低点的右边，则成本函数较大，通过减去σ∗d(w,b)σ*d(w,b)σ∗d(w,b)（此时d(w,b)d(w,b)d(w,b)为正），不断迭代使得www减小（bbb同理）最后找到最小的成本函数

Logistic回归模型及损失函数和成本函数相关推荐

R语言构建logistic回归模型：WVPlots包PRTPlot函数可视化获取logistic回归模型的最优阈值、优化（precision、enrichment）和recall之间的折衷
R语言构建logistic回归模型:WVPlots包PRTPlot函数可视化获取logistic回归模型的最佳阈值(改变阈值以优化精确度(precision.enrichment)和查全率(recal ...
R语言glm拟合logistic回归模型：模型评估（模型预测概率的分组密度图、混淆矩阵、准确率、精确度、召回率、ROC、AUC）、PRTPlot函数获取logistic模型最优阈值(改变阈值以优化)
R语言glm拟合logistic回归模型:模型评估(模型预测概率的分组密度图.混淆矩阵.Accuray.Precision.Recall.ROC.AUC).PRTPlot函数可视化获取logistic ...
R语言构建logistic回归模型并评估模型：构建基于混淆矩阵计算分类评估指标的自定义函数、阳性样本比例（垃圾邮件比例）变化对应的分类器性能的变化、基于数据阳性样本比例选择合适的分类评估指标
R语言构建logistic回归模型并评估模型:构建基于混淆矩阵计算分类评估指标的自定义函数.阳性样本比例(垃圾邮件比例)变化对应的分类器性能的变化.基于数据阳性样本比例选择合适的分类评估指标目录
R语言计算F1评估指标实战：F1 score、使用R中caret包中的confusionMatrix（）函数为给定的logistic回归模型计算F1得分（和其他指标）
R语言计算F1评估指标实战:F1 score.使用R中caret包中的confusionMatrix()函数为给定的logistic回归模型计算F1得分(和其他指标) 目录
R语言使用epiDisplay包的logistic.display函数获取二分类logistic回归模型的汇总统计信息（自变量初始和调整后的优势比及置信区间，回归系数的Wald检验的p值、简化汇总结果
R语言使用epiDisplay包的logistic.display函数获取二分类logistic回归模型的汇总统计信息(自变量初始和调整后的优势比及置信区间,回归系数的Wald检验的p值.自变量的似然 ...
R语言glm函数构建二分类logistic回归模型、epiDisplay包logistic.display函数获取模型汇总统计信息（自变量初始和调整后的优势比及置信区间，回归系数的Wald检验的p值
R语言glm函数构建二分类logistic回归模型(family参数为binomial).使用epiDisplay包logistic.display函数获取模型汇总统计信息(自变量初始和调整后的优势比 ...
R语言survival包clogit函数构建条件logistic回归模型、summary函数查看模型汇总统计信息、通过似然比检验分析结果判断模型有无统计学意义
R语言survival包clogit函数构建条件logistic回归模型.summary函数查看模型汇总统计信息.通过似然比检验分析结果判断模型有无统计学意义目录
R语言使用glm构建logistic回归模型，构建多个协变量和分组变量之间的关系模型进行倾向性评分计算、使用predict函数预测倾向性评分并将结果整合到dataframe中
R语言使用glm构建logistic回归模型,构建多个协变量和分组变量之间的关系模型进行倾向性评分计算.估计(Propensity score).使用predict函数预测倾向性评分并将结果整合到da ...
R语言使用epiDisplay包的lroc函数可视化logistic回归模型的ROC曲线并输出诊断表、输出灵敏度、1-特异度、AUC值等、设置lwd参数自定义ROC曲线线条的粗细（宽度）
R语言使用epiDisplay包的lroc函数可视化logistic回归模型的ROC曲线并输出诊断表(diagnostic table).输出灵敏度.1-特异度.AUC值等.设置lwd参数自定义ROC ...

最新文章

热门文章