SVM原理：超平面方程

（1）超平面方程

3维空间中平面方程的一般形式：

$Ax+By+Cz+D=0$ (1)

我们都知道 $\mathit{D}$ 为平面到原点的距离。这里简单证明超平面的法向量为 $(A,B,C)$ 。

d维空间平面方程的一般形式：

$\boldsymbol{\mathbf{\boldsymbol{\mathit{w}}}}^{T}\mathbf{\mathit{x}}+b=0$ (2)

平面的法向量为 $\boldsymbol{\mathbf{\boldsymbol{\mathit{w}}}}=(w_{1};w_{2};...;w_{d})$ ，（分号表示列向量）。

（2）向量表示

3维空间中的向量 $\boldsymbol{\mathbf{\boldsymbol{\mathit{a}}}}$ 可以用点坐标 $(x_{1},y_{1},z_{1})$ 来表示。向量 $\boldsymbol{\mathbf{\boldsymbol{\mathit{a}}}}(x_{1},y_{1},z_{1})$ 表示一个过原点与该点的向量。

两个向量 $\boldsymbol{\mathbf{\boldsymbol{\mathit{a}}}}(x_{1},y_{1},z_{1})$ 和 $\boldsymbol{\mathbf{\boldsymbol{\mathit{b}}}}(x_{2},y_{2},z_{2})$ 垂直的充要条件为：

$\boldsymbol{\mathbf{\boldsymbol{\mathit{a}}}}\perp \boldsymbol{\mathbf{\boldsymbol{\mathit{b}}}}\Leftrightarrow \boldsymbol{\mathbf{\boldsymbol{\mathit{a}}}}\cdot \boldsymbol{\mathbf{\boldsymbol{\mathit{b}}}}=0$ (3)

即，

$x_{1}x_{2}+y_{1}y_{2}+z_{1}z_{2}=0$ (4)

（3）超平面的法向量

为什么超平面的法向量为 $\boldsymbol{\mathbf{\boldsymbol{\mathit{w}}}}=(w_{1};w_{2};...;w_{d})$ ？

以3维空间为例，设平面上任意两点 $\boldsymbol{\mathbf{\boldsymbol{\mathit{P}}}}(x_{1},y_{1},z_{1})$ , $\boldsymbol{\mathbf{\boldsymbol{\mathit{Q}}}}(x_{2},y_{2},z_{2})$ ，由于两个点都在平面上，所以均满足平面方程：

$Ax_{1}+By_{1}+Cz_{1}+D=0, Ax_{2}+By_{2}+Cz_{2}+D=0$

上两式相减得：

$A(x_{1}-x_{2})+B(y_{1}-y_{2})+C(z_{1}-z_{2})=0$ (5)

$\boldsymbol{\mathbf{\boldsymbol{\mathit{PQ}}}$ 连线构成的向量为 $\boldsymbol{\mathbf{\boldsymbol{\mathit{PQ}}}}=(x_{1}-x_{2},y_{1}-y_{2},z_{1}-z_{2})$

由式(5)可知，向量 $(A,B,C)\perp\boldsymbol{\mathbf{\boldsymbol{\mathit{PQ}}}$ 。

由于 $\boldsymbol{\mathbf{\boldsymbol{\mathit{P}}}}(x_{1},y_{1},z_{1})$ , $\boldsymbol{\mathbf{\boldsymbol{\mathit{Q}}}}(x_{2},y_{2},z_{2})$ 是平面上任意两点，所以 $\boldsymbol{\mathbf{\boldsymbol{\mathit{PQ}}}$ 为平面上任意一条直线。

所以，向量 $(A,B,C)$ 与三维平面(1)上任意一条直线垂直，它就是平面(1)的法向量。

同理，扩展到d维空间超平面(2)的法向量为： $\boldsymbol{\mathbf{\boldsymbol{\mathit{w}}}}=(w_{1};w_{2};...;w_{d})$ 。