• 拉格朗日的原始问题是minw,bmaxλLmin_{w,b} max_{\lambda} Lminw,b​maxλ​L
  • 对偶问题是maxλminw,bLmax_{\lambda} min_{w,b}Lmaxλ​minw,b​L
原问题 拉格朗日 对偶问题 分界面 最终参数
hard margin minw12∥w∥2min_w \frac{1}{2}\|w\|^2minw​21​∥w∥2约束yi(wTxi)>=1,对任意iy^i(w^Tx^i)>=1,对任意iyi(wTxi)>=1,对任意i L(λi,w,b)=Σi=1Nλi(1−yi(wTxi+b))++12∥w∥2L(\lambda_i,w,b)=\Sigma_{i=1}^N\lambda_i(1-y^i(w^Tx^i+b))_++\frac{1}{2} \|w\|^2L(λi​,w,b)=Σi=1N​λi​(1−yi(wTxi+b))+​+21​∥w∥2 maxλθD(λ)=Σi=1nλi−12Σi,j=1nyiyjλiλj(xi)Txjmax_\lambda \theta_D(\lambda)=\Sigma_{i=1}^n\lambda_i-\frac{1}{2}\Sigma_{i,j=1}^ny^iy^j\lambda_i\lambda_j(x^i)^Tx^jmaxλ​θD​(λ)=Σi=1n​λi​−21​Σi,j=1n​yiyjλi​λj​(xi)Txj约束:λi>=0;Σi=1nλiyi=0\lambda_i>=0;\Sigma_{i=1}^n\lambda_iy^i=0λi​>=0;Σi=1n​λi​yi=0 b∗+Σi=1nλi∗yi(xi)Txj=0b*+\Sigma_{i=1}^n\lambda_i* y^i (x^i)^Tx^j=0b∗+Σi=1n​λi​∗yi(xi)Txj=0 w∗=Σi=1nλi∗yixi;b∗=yj−Σi=1nλi∗yi(xi)Txjw*=\Sigma_{i=1}^n \lambda_i*y^ix^i;b*=y^j-\Sigma_{i=1}^n\lambda_i* y^i (x^i)^Tx^jw∗=Σi=1n​λi​∗yixi;b∗=yj−Σi=1n​λi​∗yi(xi)Txj
soft minw12∥w∥2+CΣi=1nξimin_w \frac{1}{2}\|w\|^2+C\Sigma_{i=1}^n\xi_iminw​21​∥w∥2+CΣi=1n​ξi​约束yi(wTxi)>=1−ξi,ξi≥0,对任意iy^i(w^Tx^i)>=1-\xi_i,\xi_i \geq 0,对任意iyi(wTxi)>=1−ξi​,ξi​≥0,对任意i L(λi,ηi,ξ,w,b)=Σi=1Nλi(1−yi(wTxi+b)−ξi)−Σi=1nηiξi+12∥w∥2L(\lambda_i,\eta_i,\xi,w,b)=\Sigma_{i=1}^N\lambda_i(1-y^i(w^Tx^i+b)-\xi_i)-\Sigma_{i=1}^n\eta_i \xi_i+\frac{1}{2} \|w\|^2L(λi​,ηi​,ξ,w,b)=Σi=1N​λi​(1−yi(wTxi+b)−ξi​)−Σi=1n​ηi​ξi​+21​∥w∥2 maxλθD(λ)=Σi=1nλi−12Σi,j=1nyiyjλiλj(xi)Txjmax_\lambda \theta_D(\lambda)=\Sigma_{i=1}^n\lambda_i-\frac{1}{2}\Sigma_{i,j=1}^ny^iy^j\lambda_i\lambda_j(x^i)^Tx^jmaxλ​θD​(λ)=Σi=1n​λi​−21​Σi,j=1n​yiyjλi​λj​(xi)Txj 约束:0≤λi≤C=λi+ηi(ηi>=0);Σi=1nλiyi=00 \leq \lambda_i\leq C=\lambda_i+\eta_i(\eta_i>=0);\Sigma_{i=1}^n\lambda_iy^i=00≤λi​≤C=λi​+ηi​(ηi​>=0);Σi=1n​λi​yi=0 b∗+Σi=1nλi∗yi(xi)Txj=0b*+\Sigma_{i=1}^n\lambda_i* y^i (x^i)^Tx^j=0b∗+Σi=1n​λi​∗yi(xi)Txj=0 w∗=Σi=1nλi∗yixi;b∗=yj−Σi=1nλi∗yi(xi)Txjw*=\Sigma_{i=1}^n \lambda_i*y^ix^i;b*=y^j-\Sigma_{i=1}^n\lambda_i* y^i (x^i)^Tx^jw∗=Σi=1n​λi​∗yixi;b∗=yj−Σi=1n​λi​∗yi(xi)Txj
kernel - - θD(λ)=Σi=1nλi−12Σi,j=1nyiyjλiλjK(xi,xj)\theta_D(\lambda)=\Sigma_{i=1}^n\lambda_i-\frac{1}{2}\Sigma_{i,j=1}^ny^iy^j\lambda_i\lambda_jK(x^i,x^j)θD​(λ)=Σi=1n​λi​−21​Σi,j=1n​yiyjλi​λj​K(xi,xj)约束:λi>=0;Σi=1nλiyi=0\lambda_i>=0;\Sigma_{i=1}^n\lambda_iy^i=0λi​>=0;Σi=1n​λi​yi=0 w∗=Σi=1nλi∗yixib∗=yj−Σi=1nλi∗yiK(xi,xj)w*=\Sigma_{i=1}^n \lambda_i*y^ix^i\\b*=y^j-\Sigma_{i=1}^n\lambda_i* y^i K(x^i,x^j)w∗=Σi=1n​λi​∗yixib∗=yj−Σi=1n​λi​∗yiK(xi,xj)

hard margin

  • 原问题

    • minw12∣∣w∣∣2min_w \frac{1}{2}||w||^2minw​21​∣∣w∣∣2
    • 约束yi(wTxi)>=1,对任意iy^i(w^Tx^i)>=1,对任意iyi(wTxi)>=1,对任意i
    • 拉格朗日:
      • L(λi,w,b)=Σi=1Nλi(1−yi(wTxi+b))++12∣∣w∣∣2L(\lambda_i,w,b)=\Sigma_{i=1}^N\lambda_i(1-y^i(w^Tx^i+b))_++\frac{1}{2} ||w||^2L(λi​,w,b)=Σi=1N​λi​(1−yi(wTxi+b))+​+21​∣∣w∣∣2(拉格朗日问题)
    • 损失函数
      • Σi=1Ni(1−yi(wTxi+b))++λ∣∣w∣∣2\Sigma_{i=1}^Ni(1-y^i(w^Tx^i+b))_++\lambda||w||^2Σi=1N​i(1−yi(wTxi+b))+​+λ∣∣w∣∣2
    • 目标函数(hinge loss function)
      • (1−yi(wTxi+b))+(1-y^i(w^Tx^i+b))_+(1−yi(wTxi+b))+​
  • 得到对偶形式:
    • θD(λ)=Σi=1nλi−12Σi,j=1nyiyjλiλj(xi)Txj\theta_D(\lambda)=\Sigma_{i=1}^n\lambda_i-\frac{1}{2}\Sigma_{i,j=1}^ny^iy^j\lambda_i\lambda_j(x^i)^Tx^jθD​(λ)=Σi=1n​λi​−21​Σi,j=1n​yiyjλi​λj​(xi)Txj
    • 约束:λi>=0;Σi=1nλiyi=0\lambda_i>=0;\Sigma_{i=1}^n\lambda_iy^i=0λi​>=0;Σi=1n​λi​yi=0
    • 时间复杂度O(N3)O(N^3)O(N3)
    • 空间复杂度O(N2)O(N^2)O(N2)
  • 最终结果
    • w∗=Σi=1nλi∗yixiw*=\Sigma_{i=1}^n \lambda_i*y^ix^iw∗=Σi=1n​λi​∗yixi
    • b∗=yj−Σi=1nλi∗yi(xi)Txjb*=y^j-\Sigma_{i=1}^n\lambda_i* y^i (x^i)^Tx^jb∗=yj−Σi=1n​λi​∗yi(xi)Txj
    • 所以分离超平面为:b∗+Σi=1nλi∗yi(xi)Txj=0b*+\Sigma_{i=1}^n\lambda_i* y^i (x^i)^Tx^j=0b∗+Σi=1n​λi​∗yi(xi)Txj=0
    • 决策函数:fw,b=sign(b∗+Σi=1nλi∗yi(xi)Txj)f_{w,b}=sign(b*+\Sigma_{i=1}^n\lambda_i* y^i (x^i)^Tx^j)fw,b​=sign(b∗+Σi=1n​λi​∗yi(xi)Txj)
  • 转化为对偶问题会简单化(原问题复杂度高)
    • 拉格朗日的原始问题是minw,bmaxλLmin_{w,b} max_{\lambda} Lminw,b​maxλ​L
    • 对偶问题是maxλminw,bLmax_{\lambda} min_{w,b}Lmaxλ​minw,b​L
      • 对偶问题:
      • 消去w/bθD(w)=minw,bL\theta_D(w)=min_{w,b}LθD​(w)=minw,b​L
        • 求梯度

          • ∂L∂w=w−Σi=1nλiyixi=0\frac{\partial L}{\partial w}=w-\Sigma_{i=1}^n \lambda_iy^ix^i=0∂w∂L​=w−Σi=1n​λi​yixi=0

            • w=Σi=1nλiyixiw=\Sigma_{i=1}^n \lambda_iy^ix^iw=Σi=1n​λi​yixi
          • ∂L∂b=−Σi=1nλiyi=0\frac{\partial L}{\partial b}=-\Sigma_{i=1}^n \lambda_iy^i=0∂b∂L​=−Σi=1n​λi​yi=0
            • Σi=1nλiyi=0\Sigma_{i=1}^n \lambda_iy^i=0Σi=1n​λi​yi=0
        • 结果带入L–得到对偶问题
          • θD(λ)=Σi=1nλi−12Σi,j=1nyiyjλiλj(xi)Txj\theta_D(\lambda)=\Sigma_{i=1}^n\lambda_i-\frac{1}{2}\Sigma_{i,j=1}^ny^iy^j\lambda_i\lambda_j(x^i)^Tx^jθD​(λ)=Σi=1n​λi​−21​Σi,j=1n​yiyjλi​λj​(xi)Txj
          • 约束:λi>=0;Σi=1nλiyi=0\lambda_i>=0;\Sigma_{i=1}^n\lambda_iy^i=0λi​>=0;Σi=1n​λi​yi=0
      • 再求最大d∗<−−maxλθD(w)d^*<--max_{\lambda}\theta_D(w)d∗<−−maxλ​θD​(w)
        • 由新的对偶问题求极值点,得到最优解$\lambda* $

          • 由此可以找到w∗,b∗w*,b*w∗,b∗
          • w∗=Σi=1nλi∗yixiw*=\Sigma_{i=1}^n \lambda_i*y^ix^iw∗=Σi=1n​λi​∗yixi
          • b∗=yj−Σi=1nλi∗yi(xi)Txjb*=y^j-\Sigma_{i=1}^n\lambda_i* y^i (x^i)^Tx^jb∗=yj−Σi=1n​λi​∗yi(xi)Txj
          • 所以分离超平面为:b∗+Σi=1nλi∗yi(xi)Tx=0b*+\Sigma_{i=1}^n\lambda_i* y^i (x^i)^Tx=0b∗+Σi=1n​λi​∗yi(xi)Tx=0
          • 决策函数:fw,b(x)=sign(b∗+Σi=1nλi∗yi(xi)Tx)f_{w,b}(x)=sign(b*+\Sigma_{i=1}^n\lambda_i* y^i (x^i)^Tx)fw,b​(x)=sign(b∗+Σi=1n​λi​∗yi(xi)Tx)
          • 可以看出
            1. 只受到支持向量的影响(其他的λ=0\lambda=0λ=0
            2. 正样本y=1,负样本y=-1,正样本对w起正向作用,负样本起负向作用

soft margin

  • 问题描述

    • minw12∣∣w∣∣2+CΣi=1nξimin_w \frac{1}{2}||w||^2+C\Sigma_{i=1}^n\xi_iminw​21​∣∣w∣∣2+CΣi=1n​ξi​
    • 约束yi(wTxi)>=1−ξi,ξi≥0,对任意iy^i(w^Tx^i)>=1-\xi_i,\xi_i \geq 0,对任意iyi(wTxi)>=1−ξi​,ξi​≥0,对任意i
    • 凸函数的QP问题
    • 对应拉格朗日函数:
      • L(λi,ηi,ξ,w,b)=Σi=1Nλi(1−yi(wTxi+b)−ξi)−Σi=1nηiξi+12∣∣w∣∣2L(\lambda_i,\eta_i,\xi,w,b)=\Sigma_{i=1}^N\lambda_i(1-y^i(w^Tx^i+b)-\xi_i)-\Sigma_{i=1}^n\eta_i \xi_i+\frac{1}{2} ||w||^2L(λi​,ηi​,ξ,w,b)=Σi=1N​λi​(1−yi(wTxi+b)−ξi​)−Σi=1n​ηi​ξi​+21​∣∣w∣∣2
  • 得到对偶形式:
    • maxθD(λ)=Σi=1nλi−12Σi,j=1nyiyjλiλj(xi)Txjmax\theta_D(\lambda)=\Sigma_{i=1}^n\lambda_i-\frac{1}{2}\Sigma_{i,j=1}^ny^iy^j\lambda_i\lambda_j(x^i)^Tx^jmaxθD​(λ)=Σi=1n​λi​−21​Σi,j=1n​yiyjλi​λj​(xi)Txj
    • 约束:0≤λi≤C=λi+ηi(ηi>=0);Σi=1nλiyi=00 \leq \lambda_i\leq C=\lambda_i+\eta_i(\eta_i>=0);\Sigma_{i=1}^n\lambda_iy^i=00≤λi​≤C=λi​+ηi​(ηi​>=0);Σi=1n​λi​yi=0
    • 原来λi\lambda_iλi​可以无限大,因为线性可分
    • C–容忍度是有限的,对应了λi\lambda_iλi​–C越大越苛刻,margin越小,容忍度越小
      • C的三种理解方式

        • 容忍度

          • 在中间范围内也算是分错了的点
          • C-会有多少个分错的点,C大容忍度小
        • 对ξ\xiξ的惩罚,C越大,惩罚越大,越苛刻
        • C=12λ,与λ是相反的,λ大,希望模型不要太复杂,也就是C小的情况C=\frac{1}{2\lambda},与\lambda是相反的,\lambda大,希望模型不要太复杂,也就是C小的情况C=2λ1​,与λ是相反的,λ大,希望模型不要太复杂,也就是C小的情况
      • 回忆KKT

        • λi∗fi(w∗)=0andηi∗ξi=0\lambda_i*f_i(w*)=0 and \eta_i*\xi_i=0λi​∗fi​(w∗)=0andηi​∗ξi​=0
        • λi∗=0==>yi(b∗+w∗Txi)>1,在正确的地方\lambda_i*=0==>y^i(b*+w*^Tx^i)>1,在正确的地方λi​∗=0==>yi(b∗+w∗Txi)>1,在正确的地方
          • λi∗=0==>ηi∗=C>0==>ξ=0==>yi(b∗+w∗Txi)>1−ξ=1,在正确的地方\lambda_i*=0==>\eta_i*=C>0==>\xi=0==>y^i(b*+w*^Tx^i)>1-\xi=1,在正确的地方λi​∗=0==>ηi​∗=C>0==>ξ=0==>yi(b∗+w∗Txi)>1−ξ=1,在正确的地方
        • 0<λi∗<C==>yi(b∗+w∗Txi)=1,在边界上−−−支持向量0<\lambda_i*<C==>y^i(b*+w*^Tx^i)=1,在边界上---支持向量0<λi​∗<C==>yi(b∗+w∗Txi)=1,在边界上−−−支持向量
          • λi∗>0==>ηi∗=C−λi∗>0==>ξ=0==>yi(b∗+w∗Txi)=1−ξ=1,在正确的地方\lambda_i*>0==>\eta_i*=C-\lambda_i*>0==>\xi=0==>y^i(b*+w*^Tx^i)=1-\xi=1,在正确的地方λi​∗>0==>ηi​∗=C−λi​∗>0==>ξ=0==>yi(b∗+w∗Txi)=1−ξ=1,在正确的地方
        • λi∗=C>0,ηi=0==>ξ>0==>yi(b∗+w∗Txi)=1−ξ<=1在错误的地方\lambda_i*=C>0,\eta_i=0==>\xi>0==>y^i(b*+w*^Tx^i)=1-\xi<=1在错误的地方λi​∗=C>0,ηi​=0==>ξ>0==>yi(b∗+w∗Txi)=1−ξ<=1在错误的地方
  • 最终结果
    • w∗=Σi=1nλi∗yixiw*=\Sigma_{i=1}^n \lambda_i*y^ix^iw∗=Σi=1n​λi​∗yixi
    • b∗=yj−Σi=1nλi∗yi(xi)Txjb*=y^j-\Sigma_{i=1}^n\lambda_i* y^i (x^i)^Tx^jb∗=yj−Σi=1n​λi​∗yi(xi)Txj
    • 所以分离超平面为:b∗+Σi=1nλi∗yi(xi)Txj=0b*+\Sigma_{i=1}^n\lambda_i* y^i (x^i)^Tx^j=0b∗+Σi=1n​λi​∗yi(xi)Txj=0
    • 决策函数:fw,b=sign(b∗+Σi=1nλi∗yi(xi)Txj)f_{w,b}=sign(b*+\Sigma_{i=1}^n\lambda_i* y^i (x^i)^Tx^j)fw,b​=sign(b∗+Σi=1n​λi​∗yi(xi)Txj)

kernel SVM

  • 得到对偶形式:

    • θD(λ)=Σi=1nλi−12Σi,j=1nyiyjλiλjK(xi,xj)\theta_D(\lambda)=\Sigma_{i=1}^n\lambda_i-\frac{1}{2}\Sigma_{i,j=1}^ny^iy^j\lambda_i\lambda_jK(x^i,x^j)θD​(λ)=Σi=1n​λi​−21​Σi,j=1n​yiyjλi​λj​K(xi,xj)
    • 约束:λi>=0;Σi=1nλiyi=0\lambda_i>=0;\Sigma_{i=1}^n\lambda_iy^i=0λi​>=0;Σi=1n​λi​yi=0
      • w∗=Σi=1nλi∗yixiw*=\Sigma_{i=1}^n \lambda_i*y^ix^iw∗=Σi=1n​λi​∗yixi
      • b∗=yj−Σi=1nλi∗yiK(xi,xj)b*=y^j-\Sigma_{i=1}^n\lambda_i* y^i K(x^i,x^j)b∗=yj−Σi=1n​λi​∗yiK(xi,xj)
      • 所以分离超平面为:b∗+Σi=1nλi∗yiK(xi,x)=0b*+\Sigma_{i=1}^n\lambda_i* y^i K(x^i,x)=0b∗+Σi=1n​λi​∗yiK(xi,x)=0
      • 决策函数:fw,b(x)=w∗Tϕ(x)+b∗=sign(b∗+Σi=1nλi∗yiK(xi,x))f_{w,b}(x)=w*^T\phi(x)+b*=sign(b*+\Sigma_{i=1}^n\lambda_i* y^i K(x^i,x))fw,b​(x)=w∗Tϕ(x)+b∗=sign(b∗+Σi=1n​λi​∗yiK(xi,x))
  • 常见几种核
    1. hillbert space:可以再生任意函数(最重要的)
    * ϕ(x)=K(⋅,x)K(x,z)=K(⋅,x)⋅K(⋅,z)=ϕ(x)Tϕ(z)再生性:f(⋅)=Σi=1mαiK(⋅,xi)f(⋅)K(⋅,x)=Σi=1mαiK(x,xi)=f(x),都是这个空间的两个函数\phi(x)=K(·,x)\\K(x,z)=K(·,x)·K(·,z)=\phi(x)^T\phi(z)\\再生性:f(·)=\Sigma_{i=1}^m\alpha_iK(·,x^i)\\f(·)K(·,x)=\Sigma_{i=1}^m\alpha_iK(x,x^i)=f(x),都是这个空间的两个函数ϕ(x)=K(⋅,x)K(x,z)=K(⋅,x)⋅K(⋅,z)=ϕ(x)Tϕ(z)再生性:f(⋅)=Σi=1m​αi​K(⋅,xi)f(⋅)K(⋅,x)=Σi=1m​αi​K(x,xi)=f(x),都是这个空间的两个函数
    2. 多项式核K(x,z)=(xTz+1)pK(x,z)=(x^Tz+1)^pK(x,z)=(xTz+1)p
    3. 高斯核:K(x,z)=exp{−∥x−z∥22σ2}K(x,z)=exp\{-\frac{\|x-z\|^2}{2\sigma^2}\}K(x,z)=exp{−2σ2∥x−z∥2​}–radial basis function(RBF)
    * K(x,z)=exp{−dist(x,z)2σ2}K(x,z)=exp\{-\frac{dist(x,z)}{2\sigma^2}\}K(x,z)=exp{−2σ2dist(x,z)​}
    * f(x)=sign(Σi=1nαi∗yiexp{−∥x−z∥22σ2}+b∗)f(x)=sign(\Sigma_{i=1}^n\alpha_i^*y^iexp\{-\frac{\|x-z\|^2}{2\sigma^2}\}+b^*)f(x)=sign(Σi=1n​αi∗​yiexp{−2σ2∥x−z∥2​}+b∗)
    4. Sigmoid kernel:K(x,x′)=tanh(2xTx′+1)K(x,x')=tanh(2x^Tx'+1)K(x,x′)=tanh(2xTx′+1)

4.SMO–可以快速求解svm

  • 用对偶形式
  • 得到对偶形式:
    • θD(λ)=Σi=1nλi−12Σi,j=1nyiyjλiλj(xi)Txj\theta_D(\lambda)=\Sigma_{i=1}^n\lambda_i-\frac{1}{2}\Sigma_{i,j=1}^ny^iy^j\lambda_i\lambda_j(x^i)^Tx^jθD​(λ)=Σi=1n​λi​−21​Σi,j=1n​yiyjλi​λj​(xi)Txj
    • 约束:λi>=0;Σi=1nλiyi=0\lambda_i>=0;\Sigma_{i=1}^n\lambda_iy^i=0λi​>=0;Σi=1n​λi​yi=0
  • Coordinate Ascent:每一次仅对一个λi\lambda_iλi​求最大,从i=1,2,…,n
    • 可以直接用在svm上吗?

      • 不可以,λ\lambdaλ之间是线性相关的。
    • 改进:每次对一对,其他n-2个固定,求最大。
  • SMO
    • 每次对一对,其他n-2个固定:λ1y1+λ2y2=−Σi=3Nαiyi=C\lambda_1y^1+\lambda_2y^2=-\Sigma_{i=3}^N\alpha_iy^i=Cλ1​y1+λ2​y2=−Σi=3N​αi​yi=C

      • λ1=(C−λ2y2)y1\lambda_1=(C-\lambda_2y^2)y^1λ1​=(C−λ2​y2)y1
      • L((C−λ2y2)y1,λ2,...,λN),先忽略约束求导,得到λ2new,unclipped,再加上约束L((C-\lambda_2y^2)y^1,\lambda_2,...,\lambda_N),先忽略约束求导,得到\lambda_2^{new,unclipped},再加上约束L((C−λ2​y2)y1,λ2​,...,λN​),先忽略约束求导,得到λ2new,unclipped​,再加上约束
      • 用λ2更新λ1:λ1new=λ1old(λ2old−λ2new)y2y1用\lambda_2更新\lambda_1:\lambda_1^{new}=\lambda_1^{old}(\lambda_2^{old}-\lambda_2^{new})y^2y^1用λ2​更新λ1​:λ1new​=λ1old​(λ2old​−λ2new​)y2y1
    • 从那一对开始呢?
      • 最优的λ\lambdaλ肯定是满足KKT条件的

        • λi=0<==>yig(xi)>=1\lambda_i=0<==>y^ig(x^i)>=1λi​=0<==>yig(xi)>=1
        • 0<λi<C<==>yig(xi)=10<\lambda_i<C<==>y^ig(x^i)=10<λi​<C<==>yig(xi)=1
        • λi=C<==>yig(xi)<=1\lambda_i=C<==>y^ig(x^i)<=1λi​=C<==>yig(xi)<=1
          • g(xi)=Σj=1NαjyjK(xi,xj)+bg(x_i)=\Sigma_{j=1}^N\alpha_jy^jK(x^i,x^j)+bg(xi​)=Σj=1N​αj​yjK(xi,xj)+b
      • 每次选择违背KKT条件最大的
        • 从0<λi<C0<\lambda_i<C0<λi​<C的开始,违背最多的选择一个
        • 第二个有固定准则来选:E1-E2
          • Ei=g(xi)−yiE_i=g(x^i)-y^iEi​=g(xi)−yi

国科大prml--SVM相关推荐

  1. 中国科学院大学庆生 一颗小行星以“国科大”命名

    新华网北京10月14日电(郭亚丽)14日,中国科学院大学迎来建校40周年校庆,一颗与国科大同一天"生日"的小行星被命名为"国科大星",据了解,这颗小行星由中科院 ...

  2. 国科大学习资料–模式识别--第六次作业

    国科大学习资料–模式识别–第六次作业(刘成林老师主讲) 题目 第一部分 1.有N个样本,-, ,每个样本维数D,希望将样本维数降低到K,请给出PCA算法的计算过程. 2.根据自己的理解简述结构风险最小 ...

  3. ICCV 2021 | 国科大提出首个CNN和Transformer双体主干网络!Conformer准确率高达84.1%!...

    点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 转载自:新智元 | 来源:arxiv 编辑:好困 Priscilla ...

  4. 国科大回应:博士生每月不低于4300元!

    点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 来源:新京报(张璐).深圳商报/读创 等 转载自:双一流高校 近日, ...

  5. 数值分析与算法-喻文健-国科大

    国科大数值分析资源列表 注:公式太难打了,已传文件,内含亲调代码. 数值分析代码 第一二单元作业 第三单元作业 第四单元作业 第五单元作业 第六单元作业 第七单元作业 期末考试题

  6. kali 2020 ssh自启动_自动化所于2020年“国科大杯”创新创业大赛获得多项奖项

    CASIA解锁更多智能之美 10月25日上午,2020年"国科大杯"创新创业大赛总决赛暨颁奖典礼在中国科学院大学雁栖湖校区举办,国科大党委常务副书记董军社.怀柔区委书记戴彬彬.自动 ...

  7. python自动登录校园网_免费自动登录国科大校园网python脚本

    UCAS-Network-Login A python program that helps you log in UCAS network for free. 免费自动登录国科大校园网 声明:本软件 ...

  8. 国科大生命科学学院华大专项-孙海汐导师课题组专访:去伪存真的过程一定不是一帆风顺的...

    本文转自国科大生命科学学院华大专项公众号一项项科研成果的成功发布离不开课题组成员们的智慧和辛劳,更离不开课题组导师的悉心指导.我们将对华大学院优秀的课题组导师与成员们进行专访,来一同了解优秀课题组是怎 ...

  9. NeurIPS2021 HRFormer:HRNet又出续作啦!国科大北大MSRA提出高分辨率Transformer,开源!...

    关注公众号,发现CV技术之美 本文分享NeurIPS 2021论文『HRFormer: High-Resolution Transformer for Dense Prediction』,HRNet又 ...

  10. 国科大学习资料--人工智能原理与算法-第四次作业解析(学长整理)

    国科大学习资料–人工智能原理与算法-第四次作业解析(张文生老师主讲)(4.4.4.12) 4.4 生成大量的八数码问题和八皇后问题并用以下算法分别求解(如果可能的话):爬山法(最陡上升和首选爬山法), ...

最新文章

  1. 无线路由器说说2.4G和5G Wi-Fi的区别
  2. python之运算符
  3. 嵌入式Linux基础学习笔记-文件IO编程-I/O多路复用
  4. (收藏)Html相关网址
  5. Spring测试上下文缓存+ AspectJ @Transactional + Ehcache的痛苦
  6. 数据自治开放应用平台设计与实践
  7. 项目管理学习笔记二:信息系统服务管理
  8. android自动播放mp3,audio标签移动端(微信)实现自动播放
  9. jsf取js变量_javascript中如何获取jsf后台数据?
  10. CES Asia专题|VR、AR硬件一箩筐,迭代升级亮点不多
  11. HW 静态路由实现PC间互通
  12. FormData 上传文件
  13. 计算机组装有哪些,详解电脑组装配置有哪些
  14. 使用aspose进行将word转换为图片格式
  15. 龙芯电脑开启串口的console控制台配置
  16. 如何运用时间管理四象限法则去管理时间?
  17. quickhit----快打小游戏
  18. 计算机主机散热器,如何自制计算机散热器
  19. loj10155 数字转换
  20. 计算机组老师颁奖词,获奖教师的颁奖词

热门文章

  1. win10系统能做域服务器吗,Win10 LTSC 加入 Windows Server 2019 域服务器
  2. CPtrArray、CObArray类
  3. python是面向对象还是过程_python编程:面向对象与过程是什么?
  4. 阅读英文论文的方法总结(三遍法)
  5. Python enum的使用总结
  6. cad完全卸载教程_CAD室内设计中厨房布置实例
  7. oracle 锁表如何解决_Java高并发解决什么方式
  8. LeetCode 2090. 半径为 k 的子数组平均值(滑窗)
  9. 使用GRU单元的RNN模型生成唐诗
  10. 潜在语义分析(Latent Semantic Analysis,LSA)