文章目录

  • 逻辑回归
    • 逻辑回归的损失函数
    • 逻辑回归API
  • 分类模型的评价指标
    • 混淆矩阵
      • 准确率
      • 召回率（较多被使用）
      • 精确率
      • f1-score：精确率和召回率的调和平均数
      • AUC

逻辑回归

逻辑回归是经典的分类模型，使用的是sigmod函数

  • 函数解释：

    • Sigmoid函数是一个S型的函数，当自变量z趋近正无穷时，因变量g(z)趋近于1，而当z趋近负无穷时，g(z)趋近于0，它能够将任何实数（非0和1的标签数据）映射到(0,1)区间，使其可用于将任意值函数转换为更适合二分类的函数。 因为这个性质，Sigmoid函数也被当作是归一化的一种方法，与我们之前学过的MinMaxSclaer同理，是属于数据预处理中的“缩放”功能，可以将数据压缩到[0,1]之内。区别在于，MinMaxScaler归一化之后，是可以取到0和1的(最大值归一化后就是1，最小值归一化后就是0)，但Sigmoid函数只是无限趋近于0和1。

逻辑回归的损失函数

  • 在逻辑回归分类的时候，不管原始样本中的类别使用怎样的值或者文字表示，逻辑回归统一将其视为0类别和1类别。
  • 因为逻辑回归也采用了寻找特征和目标之间的某种关系，则每个特征也是有权重的就是w，那么也会存在真实值和预测值之间的误差（损失函数），那么逻辑回归的损失函数和线性回归的损失函数是否一样呢？
    • 由于逻辑回归是用于分类的，因此该损失函数和线性回归的损失函数是不一样的！逻辑回归采用的损失函数是：对数似然损失函数：
  • 注意：没有求解参数需求的模型是没有损失函数的，比如KNN，决策树。
  • 损失函数被写作如下：
    • 为什么使用-log函数为损失函数，损失函数的本质就是，如果我们预测对了，则没有损失，反之则损失需要变的很大，而-log函数在【0，1】之间正好符合这一点(-log可以放大损失)，我们可以画图尝试，在结果为1是，被分到1的损失越小，远离1的损失越大,log在0，1取值正好满足

      • -log(h)表示分类到正例1的损失
      • -log(1-h)表示分类到反例0的损失

综合后的损失函数为：

这里逻辑回归中优化损失的方法有两个：梯度下降和正则化

梯度下降