实验3：利用SVM实现线性高斯分类

2024-06-04 13:40:35

实验3：利用SVM实现线性高斯分类

hw3.1

Perceptron：

Consider running the Perceptron algorithm on some sequence of examples S (an example is a data point and its label). Let S′ be the same set of examples as S , but presented in a different
1. a) Does the Perceptron algorithm necessarily make the same number of mistakes on S as it does on S′
  
  结论：一样
  
  首先我们知道感知机的误差定义准则为：
  
  $E_{P(w)} = -\sum_{n\in M}w^{T}\phi_{n}t_{n} \tag{3}$
  
  $M$ 表示所有错误分类样本的集合。某个特定的错误的分类的样本对误差函数的贡献为样本被错误分类的区域中 $w$ 的线性函数，正确分类的误差函数为零。因此，总的误差函数是分段线性的。
  
  现在对误差函数使用随机梯度下降算法。得到权重 $w$ 的变化为：
  
  $w^{\tau + 1} = w^{\tau} - \eta\nabla E_{P(w)} = w^{\tau} + \eta \phi_{n}t_{n} \tag{4}$
  
  [公式]
  
  下面基于以上原理进行证明，错误数是相同的
  
  取超平面为 $\hat{w}_{opt}·\hat{x}=w_{opt}·x+b_{opt}=0$ ,使 $\left| \left| \hat{w}_{opt} \right| \right|=1$
  
  (此处做了两件事，一是将 $b_{opt}$ 加入了 $w_{opt}·x$ 的矩阵，即回归，二是将组合后的矩阵归一化)
  
  因为对于有限的 $i=1,2,…,N$ .均有
  
  $y_{i}(\hat{w}_{opt}·\hat{x}_{i})=y_{i}(w_{opt}·x_{i}+b_{opt})>0$
  
  所以存在 $\gamma=min\left\{ y_{i}(w_{opt}·x_{i}+b_{opt}) \right\}$ ,使得
  
  $y_{i}(\hat{w}_{opt}·\hat{x}_{i})=y_{i}(w_{opt}·x_{i}+b_{opt})\geq\gamma$ （1）
  
  感知器算法中，从 $\hat{w}_{0}=0$ 开始，若输入实例被误分，则更新权重，令 $\hat{w}_{k-1}$ 是第 $k$ 个误分实例之前的扩充权重向量，即 $\hat{w}_{k-1}=(w_{k-1}^{T},b_{k-1})^{T}$
  
  则第k个误分实例的条件是
  
  $y_{i}(\hat{w}_{opt}·\hat{x}_{i})=y_{i}(w_{opt}·x_{i}+b_{opt})\leq0$ (2)
  
  而我们知道，若 $(x_{i},y_{i})$ 被 $\hat{w}_{k-1}=(w_{k-1}^{T},b_{k-1})^{T}$ 误分，则 $w$ 和 $b$ 的更新是
  
  $w_{k}\leftarrow w_{k-1}+\eta y_{i}x_{i}$
  
  $b_{k}\leftarrow b_{k-1}+\eta y_{i}$
  
  即 $\hat{w}_{k}=\hat{w}_{k-1}+\eta y_{i}\hat{x}_{i}$ (3)
  
  下面证明俩不等式：
  
  （4） $\hat{w}_{k}·\hat{w}_{opt}\geq k\eta\gamma$ **
  
  由（1）和（3）可得
  
  $\hat{w}_{k}·\hat{w}_{opt}=\hat{w}_{k-1}·\hat{w}_{opt}+\eta y_{i}\hat{w}_{opt}·\hat{x}_{i} \geq\hat{w}_{k-1}·\hat{w}_{opt}+\eta\gamma$
  
  由此递推可得（4）
  
  $\hat{w}_{k}·\hat{w}_{opt}\geq\hat{w}_{k-1}·\hat{w}_{opt}+\eta\gamma \geq\hat{w}_{k-2}·\hat{w}_{opt}+2\eta\gamma \geq…\geq k\eta\gamma$
  
  （5） $\left| \left| \hat{w}_{k} \right| \right|^{2}\leq k\eta^{2}R^{2}$ **
  
  由（2）和（3）得
  
  $\left| \left| \hat{w}_{k} \right| \right|^{2}=\left| \left| \hat{w}_{k-1} \right| \right|^{2}+2\eta y_{i}\hat{w}_{k-1}·\hat{x}_{i}+\eta^{2}\left| \left| \hat{x}_{i} \right| \right|^{2}$ $\leq\left| \left| \hat{w}_{k-1} \right| \right|^{2}+\eta^{2}\left| \left| \hat{x}_{i} \right| \right|^{2}\leq\left| \left| \hat{w}_{k-1} \right| \right|^{2}+\eta^{2}R^{2}\leq\left| \left| \hat{w}_{k-2} \right| \right|^{2}+2\eta^{2}R^{2}\leq…\leq k\eta^2R^2$
2. b) If so, why? If not, show such an S and S′ where the Perceptron algorithm makes a different number of mistakes on S′ than it does on S
  
  上题已证
自己的一些问题：
1. 在用感知机的时候，对偶形式为啥比原始形式高效?

hw3.2

A proposed kernel Consider the following kernel function:

image-20201012220743793
1. a) Prove this is a legal kernel. That is, describe an implicit mapping Φ : such that K x, x′ x′) = x ) Φ( x′x′). (You may assume the instance space X is finite.)
  
  要证明核矩阵是合法的，只需要证明
  
  由题意知：
  
  且对于映射：，若。所以假设输入空间X是一个有限维度的向量，则
  
  显然，K矩阵满足：，是对称矩阵。
  
  不妨去K矩阵为10阶方阵：
  
  利用MATLAB软件求解其特征值全为1，所以K是一个半正定矩阵。因此核矩阵K是合法的。
2. b) In this kernel space, any labeling of points in X will be linearly separable. Justify this claim.
  
  显然的，因为相同才为1，所以不论x怎么取，你总是可以把各种标签都给分开
3. c) Since all labelings are linearly separable, this kernel seems perfect for learning any target function. Why is this actually a bad idea?
  
  假设我们的训练实例含有两个特征[
  
  实验3：利用SVM实现线性高斯分类相关推荐
  1. sklearn svm如何选择核函数_文本挖掘篇|利用SVM进行短文本分类
    何为数据挖掘,顾名思义就是从大量数据中挖掘或抽取出知识.在实际中,进行数据挖掘的数据不仅仅有数值型数据,还有图片型数据,文本型数据等.而所谓文本挖掘,就是从大量文本数据中,提取出对信息使用者有价值的信 ...
  2. svm对未知数据的分类_【干货分享】支持向量机学习「下」利用SVM对歌曲进行分类...
    上期我们分享了线性SVM的内容,并对凸二次规划问题的求解进行了简单的推导,最后得到分离超平面的函数能够对新输入的样本进行分类.本期我们将继续探讨非线性SVM,了解核函数的概念,并利用Python sk ...
  3. sklearn保存svm分类模型_机器学习100天-Day1601线性支持向量机分类
    说明:本文依据<Sklearn 与 TensorFlow 机器学习实用指南>完成,所有版权和解释权均归作者和翻译成员所有,我只是搬运和做注解. 第五章是对支持向量机SVM的系统介绍,阐述支 ...
  4. 利用SVM 实现文本分类的实例
    原文来自:http://blog.csdn.net/zhzhl202/article/details/8197109 之前做过一些文本挖掘的项目,比如网页分类.微博情感分析.用户评论挖掘,也曾经将li ...
  5. 基于机器学习的车牌识别系统（Python实现基于SVM支持向量机的车牌分类）
    基于机器学习的车牌识别系统(Python实现基于SVM支持向量机的车牌分类) 一.数据集说明训练样本来自于github上的EasyPR的c++版本,包含一万三千多张数字及大写字母的图片以及三千多张中 ...
  6. 基于SVM的乳腺癌数据集分类
    目录 1.作者介绍 2.SVM算法介绍 2.1 SVM算法 2.2 SVM算法理解与分析 3.乳腺癌数据集介绍 4.基于SVM的乳腺癌数据集分类实验 4.1 导入所需要的包 4.2 导入乳腺癌数据集 ...
  7. svm理论与实验之11:svm开发工具包LibSVM
    徐海蛟博士 Teaching. 光说不练,很难真正理解svm的妙处,也难以真正实用.所以,有必要跟着徐海蛟老师一起练习svm.svm理论和工具已经很成熟了.童鞋们并不需要手写每一行代码.一个非常好用的 ...
  8. ML之SVM：基于Js代码利用SVM算法的实现根据Kaggle数据集预测泰坦尼克号生存人员
    ML之SVM:基于Js代码利用SVM算法的实现根据Kaggle数据集预测泰坦尼克号生存人员目录实验数据设计思路实现代码(部分代码) 实验数据设计思路实现代码(部分代码) /**js代码实 ...
  9. 实战｜利用机器学习解决一个多分类任务
    ↑ "小詹学Python"一个值得星标的公众号本文约3000字,阅读大概需要10分钟对于机器学习而言,如果你已经大致了解了相关算法的原理.理论推导,你也不是大家口中刚入门的小白 ...
  10. 用计算机进行频谱分析时,实验四-利用FFT对信号进行频谱分析1112
    实验四利用DFT 对信号进行频谱分析一.目的要求 (1) 进一步加深对线性卷积的理解和分析能力: (2) 通过编程,上机调试程序,进一步增强使用计算机解决问题的能力: (3) 掌握线性卷积与循环卷 ...
  最新文章
  热门文章