SVM支持向量分类器原理及OpenCV实现

SVM原理：

通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。假设给定一些分属于两类的2维点，这些点可以通过直线分割，我们要找到一条最优的分割线，如下图所示：

在上面的图中，你可以直觉的观察到有多种可能的直线可以将样本分开。那是不是某条直线比其他的更加合适呢? 我们可以凭直觉来定义一条评价直线好坏的标准。很明显，距离样本太近的直线不是最优的，因为这样的直线对噪声敏感度高，泛化性较差。因此我们的目标是找到一条直线，离所有点的距离最远。
由此， SVM算法的实质是找出一个能够将某个值最大化的超平面，这个值就是超平面离所有训练样本的最小距离。这个最小距离用SVM术语来说叫做间隔(margin) 。概括一下，最优分割超平面最大化训练数据的间隔。如下图中间的斜线就是最大间隔向量：

至于如何去求解这个最大间隔向量，请参考http://blog.csdn.net/sealyao/article/details/6442403，说的很详细。

代码及注释：

#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/ml/ml.hpp>
#include<iostream>
using namespace cv;
using namespace std;
int main()
{int width = 512, height = 512;Mat image = Mat::zeros(height, width, CV_8UC3);// 1，设置样本训练数据float labels[4] = { 1.0, -1.0, -1.0, -1.0 };Mat labelsMat(3, 1, CV_32FC1, labels);float trainingData[4][2] = { { 501, 10 }, { 255, 10 }, { 501, 255 }, { 10, 501 } };Mat trainingDataMat(3, 2, CV_32FC1, trainingData);// 2，设置SVM的初始参数CvSVMParams params;params.svm_type = CvSVM::C_SVC;params.kernel_type = CvSVM::LINEAR;//直接线性化处理params.term_crit = cvTermCriteria(CV_TERMCRIT_ITER, 100, 1e-6);//求最大间隔向量的算法，最大迭代次数和容许误差// 3，训练CvSVM SVM;SVM.train(trainingDataMat, labelsMat, Mat(), Mat(), params);Vec3b green(0, 255, 0), blue(255, 0, 0);//4，进行预测for (int i = 0; i < image.rows; ++i){for (int j = 0; j < image.cols; ++j){Mat sampleMat = (Mat_<float>(1, 2) << i, j);float response = SVM.predict(sampleMat);if (response == 1)image.at<Vec3b>(j, i) = green;else if (response == -1)image.at<Vec3b>(j, i) = blue;}}// 显示样本的训练数据int thickness = -1;int lineType = 8;circle(image, Point(501, 10), 5, Scalar(0, 0, 0), thickness, lineType);circle(image, Point(255, 10), 5, Scalar(255, 255, 255), thickness, lineType);circle(image, Point(501, 255), 5, Scalar(255, 255, 255), thickness, lineType);circle(image, Point(10, 501), 5, Scalar(255, 255, 255), thickness, lineType);// Show support vectorsthickness = 2;lineType = 8;int c = SVM.get_support_vector_count();for (int i = 0; i < c; ++i){const float* v = SVM.get_support_vector(i);cout << "最大间隔向量方向" << v[0] << " " << v[1] << endl;circle(image, Point((int)v[0], (int)v[1]), 6, Scalar(0, 0, 255), thickness, lineType);}imwrite("resultSVM.png", image);imshow("SVM", image); waitKey(0);}

注意：SVM算法只能分割两部分，如果需要多个分割，请先把分割出一块，把其他部分当作一个整体，然后递归分割。

SVM支持向量分类器原理及OpenCV实现相关推荐

支持向量所在超平面方程_支持向量机通俗导论：理解SVM的三层境界（一）
前言动笔写这个支持向量机(support vector machine)是费了不少劲和困难的,原因很简单,一者这个东西本身就并不好懂,要深入学习和研究下去需花费不少时间和精力,二者这个东西也不好讲清 ...
SVM分类器原理详解
SVM分类器原理详解标签: svm文本分类java 2015-08-21 11:51 2399人阅读评论(0) 收藏举报分类: 数据挖掘文本处理(16) 机器学习分类算法(10) 目 ...
机器学习分类器——案例（opencv sklearn svm ann）
机器学习分类器--案例(opencv sklearn svm ann python) ps:最近师姐给我们留了一个任务,记录一下从一开始的什么都不懂到现在把任务做出来,并从中学习到的东西吧.... 语 ...
支持向量机 (SVM)分类器原理分析与基本应用
转自:穆晨阅读目录前言预备术语算法原理如何计算最优超平面使用SMO - 高效优化算法求解 α 值非线性可分情况的大致解决思路小结回到顶部前言支持向量机,也即SVM,号称分类算法, ...
机器学习——支持向量机（SVM）之超平面、间隔与支持向量
描述 SVM是一种二类分类模型,基本模型是定义在特征空间中的间隔最大的线性分类器. 学习策略是间隔最大化. 训练集线性可分时,通过硬间隔最大化,学习一个线性可分支持向量机: 训练集近似线性可分时,通过 ...
学习SVM（四）理解SVM中的支持向量（Support Vector）
学习SVM(四) 理解SVM中的支持向量(Support Vector) 版权声明:本文为博主原创文章,转载请注明出处. https://blog.csdn.net/chaipp0607/articl ...
【视频】支持向量机SVM、支持向量回归SVR和R语言网格搜索超参数优化实例
最近我们被客户要求撰写关于SVM的研究报告,包括一些图形和统计输出. 什么是支持向量机 (SVM)? 我们将从简单的理解 SVM 开始. [视频]支持向量机SVM.支持向量回归SVR和R语言网格搜索超 ...
ML之SVM：基于sklearn的svm算法实现对支持向量的数据进行标注
ML之SVM:基于sklearn的svm算法实现对支持向量的数据进行标注目录输出结果实现代码输出结果实现代码 import numpy as np import matplotlib.pyp ...
算法工程师面试备战笔记9_支持向量机(SVM)中的支持向量是什么意思
题目我们在下面的二元标签的数据集上训练一个线性SVM模型这个模型中的支持向量是哪些? A. (−1,1),(1,1),(2,1) B. (−1,1),(−1,−1),(2,1) C. (0,1), ...

SVM支持向量分类器原理及OpenCV实现

SVM支持向量分类器原理及OpenCV实现相关推荐

最新文章

热门文章