12 支持向量机(Support Vector Machines)

12.1 优化目标

在监督学习中，许多学习算法的性能都非常类似，因此，重要的不是你该选择使用学习算法A还是学习算法B，而更重要的是，应用这些算法时，所创建的大量数据在应用这些算法时，表现情况通常依赖于你的水平。

还有一个更加强大的算法广泛的应用于工业界和学术界，它被称为支持向量机(Support Vector Machine)。与逻辑回归和神经网络相比，支持向量机，或者简称SVM，在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。

下面将从逻辑回归开始展示如何一点一点修改来得到本质上的支持向量机，先从优化目标开始。

  • 调整逻辑回归的代价函数，紫色图像表示的是调整后的代价函数，这应该同逻辑回归代价函数做着类似的事情，但事实上，在之后的优化问题中，这会变得更坚定，并且为支持向量机带来计算上的优势。给两个图像命名，左边的是当y=1时的代价函数图像——，右边是y=0时的代价函数图像——。