神经网络解决多分类问题

假定我们需要将图像分为四类：

行人图像
车辆图像
摩托车图像
卡车图像

这是一个多分类问题，由于图像特征较多，因此我们可以考虑设计含有多个隐含层的神经网络来完成特征优化（扩展）：

注意，我们设计了一个含有多个输出的神经网络，亦即，我们会用01的组合来定义不同的分类：
y(i)=[1000],[0100],[0010],[0001],y^{(i)}=\left[\begin{matrix} 1 \\ 0 \\ 0 \\ 0 \end{matrix}\right], \left[\begin{matrix} 0 \\ 1 \\ 0 \\ 0 \end{matrix}\right], \left[\begin{matrix} 0 \\ 0 \\ 1 \\ 0 \end{matrix}\right], \left[\begin{matrix} 0 \\ 0 \\ 0 \\ 1 \end{matrix}\right],y(i)=⎣⎢⎢⎡1000⎦⎥⎥⎤,⎣⎢⎢⎡0100⎦⎥⎥⎤,⎣⎢⎢⎡0010⎦⎥⎥⎤,⎣⎢⎢⎡0001⎦⎥⎥⎤,

而不是使用标量来定义分类，这样使得我们容易利用上简单的 sigmoid 函数来进行预测：

y(i)=1,2,3,4y^{(i)}=1,2,3,4y(i)=1,2,3,4

整个网络的数学表达就可描述为

y(i)=[x0x1x2⋅⋅⋅xn]→[a0(2)a1(2)a2(2)⋅⋅⋅]→[a0(3)a1(3)a2(3)⋅⋅⋅]⋅⋅⋅[hΘ(x)1hΘ(x)2hΘ(x)3hΘ(x)4],y^{(i)}=\left[\begin{matrix} x_0 \\ x_1 \\ x_2 \\ \cdot\cdot\cdot x_n \end{matrix}\right]\rightarrow \left[\begin{matrix} a_0^{(2)} \\ a_1^{(2)} \\ a_2^{(2)} \\ \cdot\cdot\cdot \end{matrix}\right]\rightarrow \left[\begin{matrix} a_0^{(3)} \\ a_1^{(3)} \\ a_2^{(3)} \\ \cdot\cdot\cdot \end{matrix}\right]\cdot\cdot\cdot \left[\begin{matrix} h_\Theta(x)_1 \\ h_\Theta(x)_2 \\ h_\Theta(x)_3 \\ h_\Theta(x)_4 \end{matrix}\right],y(i)=⎣⎢⎢⎡x0x1x2⋅⋅⋅xn⎦⎥⎥⎤→⎣⎢⎢⎢⎡a0(2)a1(2)a2(2)⋅⋅⋅⎦⎥⎥⎥⎤→⎣⎢⎢⎢⎡a0(3)a1(3)a2(3)⋅⋅⋅⎦⎥⎥⎥⎤⋅⋅⋅⎣⎢⎢⎡hΘ(x)1hΘ(x)2hΘ(x)3hΘ(x)4⎦⎥⎥⎤,

3.9 神经网络解决多分类问题-机器学习笔记-斯坦福吴恩达教授相关推荐

3.12 程序示例--多分类问题-机器学习笔记-斯坦福吴恩达教授
多分类问题我们手上包含有手写字符的数据集,该数据集来自斯坦福机器学习的课后作业,每个字符图片大小为 20×20 ,总的样本规模为 5000×400 , 我们的神经网络设计如下,包含 1 个隐含层,隐 ...
3.1 再论 0/1 分类问题-机器学习笔记-斯坦福吴恩达教授
再论 0/1 分类问题在逻辑回归一章中,我们讨论了 0/1 分类问题,并且知道,通过对特征进行多项式展开,可以让逻辑回归支持非线性的分类问题.假定我们现在有 nnn 维特征,需要进行非线性分类,采用 ...
2.7 程序示例--多分类问题-机器学习笔记-斯坦福吴恩达教授
程序示例–多分类问题我们采用 One-vs-All 方法来进行多分类,在原有的逻辑回归模块中添加 One-vs-All 的训练以及预测方法: # coding: utf-8 # logical_re ...
2.6 多分类问题-机器学习笔记-斯坦福吴恩达教授
多分类问题通常采用 One-vs-All,亦称 One-vs-the Rest 方法来实现多分类,其将多分类问题转化为了多次二分类问题.假定完成 KKK 个分类,One-vs-All 的执行过程如下 ...
2.3 利用正规化解决过拟合问题-机器学习笔记-斯坦福吴恩达教授
利用正规化解决过拟合问题在之前的文章中,我们认识了过拟合问题,通常,我们有如下策略来解决过拟合问题: 减少特征数,显然这只是权宜之计,因为特征意味着信息,放弃特征也就等同于丢弃信息,要知道,特征的获 ...
2.1 0/1分类问题-机器学习笔记-斯坦福吴恩达教授
0/1分类问题利用线性回归中的预测函数 hθ(x) ,我们定义阈值函数来完成 0/1 分类: hθ(x)>0.5=>y=1h_θ(x)>0.5=>y=1hθ(x)>0 ...
4.4 机器学习系统设计--垃圾邮件分类-机器学习笔记-斯坦福吴恩达教授
机器学习系统设计–垃圾邮件分类假定我们现有一封邮件,其内容如下: From: cheapsales@buystufffromme.com To: ang@cs.stanford.edu Subjec ...
3.8 神经网络解决逻辑运算问题-机器学习笔记-斯坦福吴恩达教授
神经网络解决逻辑运算问题神经网络通过不同的架构设置,来完成不同的任务,比如我们看到一半的逻辑与运算: x1ANDx2={1ifx1=1andx2=10otherwisex_1\ AND\ x_2=\ ...
5.9 程序示例--非线性分类-机器学习笔记-斯坦福吴恩达教授
程序示例–非线性分类接下来,我们采用高斯核函数来解决非线性可分问题,由于数据集较大,我们使用性能更好的完整版 SMO 算法进行训练: # coding: utf8 # svm/test_non_li ...

3.9 神经网络解决多分类问题-机器学习笔记-斯坦福吴恩达教授

神经网络解决多分类问题

3.9 神经网络解决多分类问题-机器学习笔记-斯坦福吴恩达教授相关推荐

最新文章

热门文章