吴恩达机器学习笔记 —

http://www.cnblogs.com/xing901022/p/9332529.html

本章主要讲解了逻辑回归相关的问题，比如什么是分类？逻辑回归如何定义损失函数？逻辑回归如何求最优解？如何理解决策边界？如何解决多分类的问题？

更多内容参考机器学习&深度学习

有的时候我们遇到的问题并不是线性的问题，而是分类的问题。比如判断邮件是否是垃圾邮件，信用卡交易是否正常，肿瘤是良性还是恶性的。他们有一个共同点就是Y只有两个值{0,1}，0代表正类，比如肿瘤是良性的；1代表负类，比如肿瘤是恶性的。当然你想用1代表良性也可以，而且输出的值不仅仅局限为0和1两类，有可能还有多类，比如手写体识别是从0到9。

如果使用线性的方法来判断分类问题，就会出现图上的问题。我们需要人工的判断中间的分界点，这个很不容易判断；如果在很远的地方有样本点，那么中心点就会发生漂移，影响准确性。

如果我们想要结果总是在0到1之间，那么就可以使用sigmoid函数，它能保证数据在0-1之间。并且越趋近于无穷大，数据越趋近于1。

回到我们假设的问题上来，如果肿瘤是依赖于大小来判断良性恶性，如果超过0.7*平均值，就判断是恶性的，那么平均来算30%的是恶性的，70%是良性的，他们相加总会是100%。再来看看上面的sigmoid的图像，每个点都表示它属于1的概率是x，属于0的概率是1-x。这样一个分类的问题，就变成了曲线值得问题了。

如果想让y=1，即g(z)的值要大于0.5，那么z的值就需要大于0；相反，y=0，就是z的值小于0。因此整个分类问题，就变成了寻找决策边界的问题了。

那么如何确定逻辑回归的损失函数呢？如果使用均方误差，由于最终的值都是0和1，就会产生震荡，此时是无法进行求导的。

因此需要寻找一个方法，使得代价函数变成凸函数，从而易于求解。

如果把损失函数定义为上面的形式，当真实的值是1时，我们预测的值越靠近1，cost的值越小，误差越小。如果真实值是0，那么预测的值越靠近1，cost的值越大。完美的表达了损失的概念。而且，由于0和1的概念，可以把上面的公式合并成下面统一的写法。直接基于这个统一的写法，做梯度下降求解即可。

在求解最优化的问题时，不仅仅只有一种梯度下降Gradient descenet,还可以使用Conjugate gradient，BFGS，L-BFSGS。

多分类问题，可以理解为采用多个logistic分类器，进行分类。针对每个样本点进行一个预测，给出概率值，选择概率值最高的那个进行分类的标识。

吴恩达机器学习笔记 —— 7 Logistic回归相关推荐

【Nan‘s 吴恩达机器学习笔记】第八、九章神经网络
[Nan's 吴恩达机器学习笔记]第八.九章神经网络神经网络(Neural Networks) 8.1 非线性假设 8.2 模型表示前向传播算法(Forward Propagation) 8.3 ...
吴恩达机器学习笔记整理（Week1-Week5）
吴恩达机器学习笔记整理 1. Week1 1.1 什么是机器学习(What is Machine Learning) 1.2机器学习算法分类 1.3 单变量线性回归(Linear Regression ...
吴恩达机器学习笔记：（一）机器学习方法简介
吴恩达机器学习笔记 Supervised Learning(监督学习) Unsupervised Learning(无监督学习) clustering 聚类算法 market segments 市场细 ...
吴恩达机器学习笔记第一周
第一周吴恩达机器学习笔记第一周一. 引言(Introduction) 1.1 欢迎 1.2 机器学习是什么? 1.3 监督学习 1.4 无监督学习二.单变量线性回归(Linear Regress ...
吴恩达机器学习笔记整理（Week6-Week11）
1. Week 6 1.1 应用机器学习的建议(Advice for Applying Machine Learning) 1.1.1 决定下一步做什么到目前为止,我们已经介绍了许多不同的学习算法, ...
【经典】吴恩达——机器学习笔记001
[经典]吴恩达--机器学习笔记001 机器学习(Machine Learning)笔记001 学习地址:[中英字幕]吴恩达机器学习系列课程文字版参考及PPT来源:Coursera-ML-Andrew ...
吴恩达机器学习笔记55-异常检测算法的特征选择（Choosing What Features to Use of Anomaly Detection）
吴恩达机器学习笔记55-异常检测算法的特征选择(Choosing What Features to Use of Anomaly Detection) 对于异常检测算法,使用特征是至关重要的,下面谈谈 ...
吴恩达机器学习笔记：（四）矩阵、多元梯度下降
吴恩达机器学习笔记矩阵基础知识矩阵逆运算矩阵的转置实践乘法多元梯度下降特征缩放学习率α 矩阵基础知识矩阵逆运算矩阵的转置实践乘法多元梯度下降特征缩放学习率α 学习率的选择:
吴恩达机器学习笔记week8——神经网络 Neutral network
吴恩达机器学习笔记week8--神经网络 Neutral network 8-1.非线性假设 Non-linear hypotheses 8-2.神经元与大脑 Neurons and the brai ...

吴恩达机器学习笔记 —— 7 Logistic回归

吴恩达机器学习笔记 —— 7 Logistic回归相关推荐

最新文章

热门文章