再论 0/1 分类问题

在逻辑回归一章中，我们讨论了 0/1 分类问题，并且知道，通过对特征进行多项式展开，可以让逻辑回归支持非线性的分类问题。假定我们现在有 nnn 维特征，需要进行非线性分类，采用二次多项式扩展特征后，特征个数就为 n+Cn2≈n22n+C^2_n≈\frac {n^2}{2}n+Cn2≈2n2 个特征，特征的空间复杂度就为 O(n2)O(n^2)O(n2) ，如果扩展到三次多项式，则空间复杂度能达到 O(n3)O(n^3)O(n3) 。下图中，房屋的特征由原来的 2 维增加到了 100 维，进行二次多项式扩展后，特征个数达到了约 5000 维，对计算机的性能提出了很大的挑战：

也许上例略显夸张，但并不是高维特征不会出现，在计算机视觉（CV）领域，图像的特征往往都是高维的。下图中，我们想要区分一幅图像是否是汽车图像，假定图像分辨率为 50×5050×5050×50 ，且每个像素的灰度都为一个特征，那么一副图像的特征维度就高达 2500 维，进行二次多项式扩展后，特征维度更是达到了约 3000000：

因此，就需要考虑用新的机器学习模型来处理高维特征的非线性分类问题，神经网络是典型的不需要增加特征数目就能完成非线性分类问题的模型。

3.1 再论 0/1 分类问题-机器学习笔记-斯坦福吴恩达教授相关推荐

2.1 0/1分类问题-机器学习笔记-斯坦福吴恩达教授
0/1分类问题利用线性回归中的预测函数 hθ(x) ,我们定义阈值函数来完成 0/1 分类: hθ(x)>0.5=>y=1h_θ(x)>0.5=>y=1hθ(x)>0 ...
3.12 程序示例--多分类问题-机器学习笔记-斯坦福吴恩达教授
多分类问题我们手上包含有手写字符的数据集,该数据集来自斯坦福机器学习的课后作业,每个字符图片大小为 20×20 ,总的样本规模为 5000×400 , 我们的神经网络设计如下,包含 1 个隐含层,隐 ...
3.9 神经网络解决多分类问题-机器学习笔记-斯坦福吴恩达教授
神经网络解决多分类问题假定我们需要将图像分为四类: 行人图像车辆图像摩托车图像卡车图像这是一个多分类问题,由于图像特征较多,因此我们可以考虑设计含有多个隐含层的神经网络来完成特征优化(扩展) ...
2.7 程序示例--多分类问题-机器学习笔记-斯坦福吴恩达教授
程序示例–多分类问题我们采用 One-vs-All 方法来进行多分类,在原有的逻辑回归模块中添加 One-vs-All 的训练以及预测方法: # coding: utf-8 # logical_re ...
2.6 多分类问题-机器学习笔记-斯坦福吴恩达教授
多分类问题通常采用 One-vs-All,亦称 One-vs-the Rest 方法来实现多分类,其将多分类问题转化为了多次二分类问题.假定完成 KKK 个分类,One-vs-All 的执行过程如下 ...
4.4 机器学习系统设计--垃圾邮件分类-机器学习笔记-斯坦福吴恩达教授
机器学习系统设计–垃圾邮件分类假定我们现有一封邮件,其内容如下: From: cheapsales@buystufffromme.com To: ang@cs.stanford.edu Subjec ...
5.9 程序示例--非线性分类-机器学习笔记-斯坦福吴恩达教授
程序示例–非线性分类接下来,我们采用高斯核函数来解决非线性可分问题,由于数据集较大,我们使用性能更好的完整版 SMO 算法进行训练: # coding: utf8 # svm/test_non_li ...
5.8 程序示例--线性分类-机器学习笔记-斯坦福吴恩达教授
程序示例–线性分类首先,我们使用线性核函数来训练线性可分问题,这里,我们使用的是简化版 SMO 算法: # coding: utf8 # svm/test_linear import smo imp ...
0.0 Introduction-机器学习笔记-斯坦福吴恩达教授
斯坦福学习笔记本书为斯坦福吴恩达教授的在 coursera 上的机器学习公开课的知识笔记,涵盖了大部分课上涉及到的知识点和内容,因为篇幅有限,部分公式的推导没有记录在案,但推荐大家还是在草稿本上演算 ...

3.1 再论 0/1 分类问题-机器学习笔记-斯坦福吴恩达教授

再论 0/1 分类问题

3.1 再论 0/1 分类问题-机器学习笔记-斯坦福吴恩达教授相关推荐

最新文章

热门文章