Mathematical Model

令x1,…,xm∈Rnx_1, \dots, x_m\in\mathbb{R}^nx1,…,xm∈Rn为给定的训练集，yi∈{−1,+1}y_i\in\{-1, +1\}yi∈{−1,+1}为标签集合，要求找到分离超平面wTx=bw^Tx=bwTx=b满足
yi(wTxi−b)≥1y_i(w^Tx_i-b)\geq 1 yi(wTxi−b)≥1
分离间隔{x∈Rn:−1<wTx−b<1}\{x\in\mathbb{R}^n: -1<w^Tx-b<1\}{x∈Rn:−1<wTx−b<1}不包含任何样本点，间隔宽度为2∥w∥−12\lVert w\rVert^{-1}2∥w∥−1，最大化间隔等价于最小化∥w∥\lVert w\rVert∥w∥，即求解优化问题（硬间隔SVM）
min⁡b,w12∥w∥2s.t.yi(wTxi−b)≥1\begin{aligned} &\min_{b, w} &\frac{1}{2}\lVert w\rVert^2 \\ &s.t. &y_i(w^Tx_i-b)\geq 1 \end{aligned} b,wmins.t.21∥w∥2yi(wTxi−b)≥1
相比较硬间隔SVM，软间隔SVM在模型精度和鲁棒性之间进行平衡，是一种更加常用的模型.
min⁡w,b12∥w∥2+C∑i=1mξis.t.yi(wTxi−b)≥1−ξi,i=1,…,mξi≥0,i=1,…,m\begin{aligned} &\min_{w, b}\quad &\frac{1}{2}\lVert w\rVert^2+C\sum_{i=1}^m\xi_i \\ &s.t. \quad &y_i(w^Tx_i-b)\geq 1-\xi_i, i=1,\dots, m\\ &\quad& \xi_i\geq 0, i=1,\dots, m \end{aligned} w,bmins.t.21∥w∥2+Ci=1∑mξiyi(wTxi−b)≥1−ξi,i=1,…,mξi≥0,i=1,…,m
矩阵形式表达为
min⁡b,w,ξ12∥w∥2+CeTξs.t.y×(Xw−be)+ξ≥eξ≥0\begin{aligned} &\min_{b, w, \xi}\quad& \frac{1}{2}\lVert w \rVert^2+C\mathbf{e}^T\xi\\ &s.t. \quad & y\times(Xw-b\mathbf{e})+\xi\geq \mathbf{e}\\ &\quad &\xi\geq 0 \end{aligned} b,w,ξmins.t.21∥w∥2+CeTξy×(Xw−be)+ξ≥eξ≥0
使用锥形式描述soft-marginSVM
min⁡b,w,ξ,tt+CeTξs.t.y×(Xw−be)+ξ≥e(1,t,w)∈Qrn+2ξ≥0\begin{aligned} &\min_{b, w, \xi, t}\quad& t+C\mathbf{e}^T\xi\\ &s.t.\quad& y\times(Xw-b\mathbf{e})+\xi\geq \mathbf{e}\\ &\quad &(1, t, w)\in\mathcal{Q}_r^{n+2}\\ &\quad &\xi\geq 0 \end{aligned} b,w,ξ,tmins.t.t+CeTξy×(Xw−be)+ξ≥e(1,t,w)∈Qrn+2ξ≥0
mosek建模代码

with fusion.mosek import *
import randomdef primal_svm(m, n, X, y, CC):with Model() as M:w=M.variable('w', n, Domain.unbounded())t=M.variable('t', 1, Domain.unbounded())b=M.variable('b', 1, Domain.ubbounded())xi=M.variable('xi', m, Domain.greaterThan(0.0))# 分量描述约束M.constraint(Expr.add(Expr.mulElm(y, Expr.sub(Expr.mul(X, w), Var.repeat(b, m))),xi), Domain.greaterThan(1.0))M.constraint(Expr.vstack(1, t, w), Domain.inRotatedQCone())for C in CC:M.objective(ObjectiveSense.Minimize, Expr.add(t, Expr.mul(C, Expr.sum(xi))))M.solve()# 考虑到可能存在无解的情况try:cb='{0:6f} | {1:8f} | '.format(C, b.level()[0])wstar=' '.join(['{0:8f}'.format(wi) for wi in w.level()])print(cb+wstar)except:pass    def main():"""generate a random dataset of two groups of points, each from a Gaussian, eachfrom a Gaussian distribution in R^2 with centers (1.0, 1.0) and (-1.0, -1.0)"""CC = [500.0*i for i in range(10)]m, n = 50, 3random.seed(0)nump=random.randint(0, 50)numm=m-numpy=[1 for _ in range(nump)]+[-1 for _ in range(numm)]mean=1, var=1X=[[random.gauss(mean, var) for _ in range(n)] for _ in range(nump)]+[[random.gauss(-mean, var) for _ in range(n)] for _ in range(numm)]primal_svm(m, n, X, y, CC)

【mosek.fusion】Primal SVM相关推荐

【机器学习系列】之SVM核函数和SMO算法
作者:張張張張 github地址:https://github.com/zhanghekai [转载请注明出处,谢谢!] [机器学习系列]之SVM硬间隔和软间隔 [机器学习系列]之SVM核函数和SMO ...
【机器学习系列】之SVM硬间隔和软间隔
作者:張張張張 github地址:https://github.com/zhanghekai [转载请注明出处,谢谢!] [机器学习系列]之SVM硬间隔和软间隔 [机器学习系列]之SVM核函数和SMO ...
【知识星球】从SVM对偶问题，到疲劳驾驶检测，到实用工业级别的模型压缩技巧...
欢迎大家来到<知识星球>专栏,本次发布这两天有三AI知识星球中专栏<AI 1000问>,<模型结构1000变>,<数据集>的知识便利贴. 作者& ...
网格向量必须包含特征点。_【专题研究】基于SVM支持向量机模型的选股策略
研究过集成学习中的随机森林和XGBoost后,本文将介绍一种更传统的机器学习方法:SVM支持向量机.SVM由于其较高的准确度,并且能够解决非线性分类问题,曾一度成为非常流行的机器学习算法.本文分别介绍 ...
【opencv机器学习】基于SVM和神经网络的车牌识别
基于SVM和神经网络的车牌识别深入理解OpenCV:实用计算机视觉项目解析本文用来学习的项目来自书籍<实用计算机视觉项目解析>第5章Number Plate Recognition 提 ...
CVPR2005【行人检测】HOG+SVM用于人体检测的梯度方向直方图
目录 CVPR2005-用于人体检测的梯度方向直方图 Histograms of Oriented Gradients for Human Detection 使用的数据集研究方法数据流程双对 ...
【VMware Fusion】如何配置VMware Fusion中的Vmnet网卡
文章目录前言一.vmnet网卡是什么? 二.配置方法总结前言在VMware Fusion下,如果需要实现两台虚拟机之间的互通,可以利用vmnet1.2.8的网卡,并可以修改为想要的ip地址. ...
【人脸识别】Gabor+SVM比较PCA+SVM人脸识别【含GUI Matlab源码 685期】
⛄一.简介 Gabor+SVM:利用Gabor程序实现对人脸的特征提取,然后用SVM进行分类: 1 Gabor Gabor 特征提取算法可以在不同方向上描述局部人脸特征,对光照.遮挡以及表情变换等情况 ...
【Python机器学习】之 SVM 支持向量机算法（二）
SVM 支持向量机(二) 1.支持向量机这样,由于w,x\mathbf{w,x}w,x初始值的不同,最后得到的分割超平面也有可能不同,那么一定存在一个最优的超平面,这种方法就是支持向量机. ...
【模式识别/机器学习】支持向量机SVM浅析
支持向量机(Support Vector Machines,SVM)是1995年Cortes喝Vapnik首先提出的,它在解决小样本.非线性以及高位模式识别问题中表现出了许多特有的优势,并且可以推广应 ...

【mosek.fusion】Primal SVM

导航

Mathematical Model

【mosek.fusion】Primal SVM相关推荐

最新文章

热门文章