PyTorch-05神经网络与全连接（Logistic Regression逻辑回归、交叉熵、交叉熵来优化一个多分类的问题、全连接层（MLP网络层）、激活函数与GPU加速、测试（validation performance）、Visdom可视化）

一、Logistic Regression逻辑回归

Logistic Regression现在完全被classification分类的相关概念给代替掉了。

这里先回顾一下linear regression

linear regression是一个非常简单的线性模型 y = xw + b 。其中输入是x，网络参数w和b，输出值是一个连续的y值。因为输出y是连续型的，所以称其为regression。

如何将这个regression转为classification呢？
这里我们添加一个激活函数σ，即 y = σ(xw + b)。其中σ：sigmoid or logistic。

通过sigmoid函数后会将连续型的y值，压缩至[0,1]这个区间，即概率值（如果这个概率P越接近0，则输出为0表示不是；如果这个概率P越接近1，则输出为1表示是）。因此这样就可以理解为是一个classification的问题。

二分类 Binary Classification

就是通过sigmoid函数将输出值y压缩至0到1这个区间范围内再输出。输出结果越接近0，则分类为0；如果输入结果越接近1，则分类为1。

经过σ处理的过程就是logistic function。

分类与回归的区别：目标Goal v.s. 方法Approach

对于回归类型：
目标：预测值 = 真实值
方法：minimize dist 最小距离，即预测值Pred与真实值y的差距。这个差距是用范数来表示，可以使用2范数的平方 || pred - y ||₂ ² 来表示。 2范数为：|| pred - y ||₂ 2范数是要开根号的，所以mse就是对2范数增加一个平方以抵消开的根号。

对于分类类型：
目标：使得准确性accuracy很高，最大化的基准maximize benchmark。
分类型并不直接优化accuracy。(accuracy可以理解为有五个数字，预测对了3个，accuracy=3\5)
方法1：minimize dist 最小距离，只不过这里的预测值是

PyTorch-05神经网络与全连接（Logistic Regression、交叉熵、交叉熵来优化一个多分类的问题、全连接层（MLP网络层）、激活函数与GPU加速、测试、Visdom可视化）相关推荐

8月2日Pytorch笔记——梯度、全连接层、GPU加速、Visdom
文章目录前言一.常见函数的梯度二.激活函数及其梯度 1.Sigmoid 2.Tanh 3.ReLU 三.Loss 函数及其梯度 1.Mean Squared Error(MSE) 2.Softm ...
吴恩达深度学习神经网络基础编程作业Logistic Regression with a Neural Network mindset
吴恩达学习—Logistic Regression
原吴恩达学习-Logistic Regression 2017年12月08日 13:56:39 秋风05 阅读数:769 吴恩达机器学习第一课便是Logistic Regression,这个算法是一 ...
python训练模型函数参数_一步步亲手用python实现Logistic Regression
前面的[DL笔记1]Logistic回归:最基础的神经网络和[DL笔记2]神经网络编程原则&Logistic Regression的算法解析讲解了Logistic regression的基本原 ...
机器学习05神经网络--表示
神经网络:表示(Neural Networks: Representation) 如今的神经网络对于许多应用来说是最先进的技术. 对于现代机器学习应用,它是最有效的技术方法. 神经网络模型是许多逻辑单 ...
cs230 深度学习 Lecture 2 编程作业： Logistic Regression with a Neural Network mindset
本文结构: 将 Logistic 表达为神经网络的形式构建模型导入包获得数据并进行预处理: 格式转换,归一化整合模型: A. 构建模型 a. 初始化参数:w 和 b 为 0 b. 前向传 ...
逻辑回归还能这样解？关于Kernel Logistic Regression的详细解释
AI有道一个有情怀的公众号 1 Soft-Margin SVM as Regularized Model 先复习一下我们已经介绍过的内容,我们最早开始讲了Hard-Margin Primal的数学表 ...
台湾大学林轩田机器学习技法课程学习笔记5 -- Kernel Logistic Regression
红色石头的个人网站:redstonewill.com 上节课我们主要介绍了Soft-Margin SVM,即如果允许有分类错误的点存在,那么在原来的Hard-Margin SVM中添加新的惩罚因子C, ...
斯坦福大学机器学习第四课“逻辑回归(Logistic Regression)”
斯坦福大学机器学习第四课"逻辑回归(Logistic Regression)" 本次课程主要包括7部分: 1) Classification(分类) 2) Hypothesis R ...

PyTorch-05神经网络与全连接（Logistic Regression、交叉熵、交叉熵来优化一个多分类的问题、全连接层（MLP网络层）、激活函数与GPU加速、测试、Visdom可视化）