文献记录(part68)--K- 近邻分类器鲁棒性验证:从约束放松法到随机平滑法

学习笔记，仅供参考，有错必纠

关键词：监督学习 , 对抗机器学习 , 对抗鲁棒性 , 鲁棒性验证 , K- 近邻分类器

K- 近邻分类器鲁棒性验证:从约束放松法到随机平滑法

摘要

本文研究 K- 近邻分类器的鲁棒性验证问题 . 形式化鲁棒性验证的目标是计算分类器在给定样本点上的最小对抗扰动的精确值或者最小对抗扰动的非平凡下界 . 我们将计算 K- 近邻分类器的最小对抗扰动形式化为一组二次规划问题 . 二次规划问题的数目随近邻参数 K 的增大呈指数级增长 , 精确求解该组二次规划问题往往不可行 . 约束放松法通过放松优化的约束项 , 可以在多项式时间内求解最小对抗扰动的下界 . 然而 , 本文通过理论分析和实验发现 , 当近邻参数 K 取值较大时 , 约束放松法求得的下界往往过于宽松 , 甚至会出现 K 越大下界越小的反直觉结果 . 为解决这一问题 , 本文提出使用随机平滑法对 K- 近邻分类器进行鲁棒性验证 . 随机平滑法利用了 K- 近邻分类器对高斯 (Gauss) 白噪声鲁棒的特点 , 获得了较为理想的鲁棒性验证效果 . 基准数据集上的实验结果表明 , 相比于最新的鲁棒神经网络 , “ 随机平滑的 ” K- 近邻分类器展现出了更好的验证鲁棒性。

引言

近年来的研究发现 , 神经网络模型的预测结果非常容易受到对抗扰动的影响 —— 在人类看来难以察觉的微小扰动可以很容易地改变神经网络模型的预测标记[1∼3] .对抗扰动为机器学习模型在真实场景的应用带来了安全性挑战 , 同时也促使越来越多的研究者开始关注机器学习模型的形式化鲁棒性验证问题 . 鲁棒性验证的目标是计算分类器在给定样本点上的可以使得预测结果发生变化的最小扰动 , 即最小对抗扰动 . 针对神经网络模型 , 许多鲁棒性验证方法被相继提出 [4∼10] , 其核心思

文献记录(part68)--K- 近邻分类器鲁棒性验证:从约束放松法到随机平滑法相关推荐

图片分类-K近邻分类器
你可以注意到当我们做预测的时候,如果仅仅用最近的图片的是远远不够的.其实,我们更常用的是k近邻分类器.这个思想非常简单.代替寻找训练集中最近的图片,我们会寻找k个最相近的图片,并且让他们再测试图片上投 ...
K近邻分类器（李飞飞CS231n学习笔记---lecture2：K最近邻算法）
在讲解K近邻分类器之前,我们先来看一下最近邻分类器(Nearest Neighbor Classifier),它也是K = 1时的K近邻分类器. 目录最近邻分类器定义存在问题 K近邻分类器(KN ...
机器学习 —— 基础整理（三）生成式模型的非参数方法： Parzen窗估计、k近邻估计；k近邻分类器...
本文简述了以下内容: (一)生成式模型的非参数方法 (二)Parzen窗估计 (三)k近邻估计 (四)k近邻分类器(k-nearest neighbor,kNN) (一)非参数方法(Non-param ...
k近邻分类器的使用：简单例子
#k近邻分类器的简单例子 from sklearn.neighbors import KNeighborsClassifier #创建一组数据x和它对应的标签y: x = [[0], [1], [2] ...
python分类器分5类_Python机器学习之K近邻分类器
KNN 现在,如果我们有一个分类任务.需要用到scikit-learn库的分类器对象. 分类器要完成的任务是,给定一种鸢尾花卉的测量数据,为这种花卉分类.最简单的分类器是近邻分类器.近邻算法搜索训练集 ...
Iris鸢尾花卉数据集算法练习——PCA和K近邻分类器
本文章主要以sklearn中的Iris鸢尾花数据集为训练对象,练习了PCA和K-近邻算法的使用,以下为笔记内容: Iris数据集也叫安德森鸢尾花卉数据集,通过测量了三种不同花卉(山鸢尾.变色鸢尾和维吉 ...
3、k - 最近邻分类器及使用验证集取得超参数
3.k - 最近邻分类器注意到了吗,前面我们做一个预测时,只使用最近的图像的标签.事实上,通过使用所谓的k-最近邻分类器可以做得更好.这个想法很简单:在训练集中,不是找到最接近的一个图像,而是找到最 ...
基于k近邻算法的干豆品种分类
摘要近年来,干豆由于其较高的营养价值和良好的口感越来越受到人们的欢迎.其种类繁多且易于种植,是世界食用作物中产量最高的一种.干豆品种分类对干豆培育方向.产量需求和品质改良具有重要意义.本文以k近邻 ...
k近邻算法原理c语言,实验二 K-近邻算法及应用
作业信息一.[实验目的] 理解K-近邻算法原理,能实现算法K近邻算法: 掌握常见的距离度量方法: 掌握K近邻树实现算法: 针对特定应用场景及数据,能应用K近邻解决实际问题. 二.[实验内容] 实现曼 ...

文献记录(part68)--K- 近邻分类器鲁棒性验证:从约束放松法到随机平滑法

K- 近邻分类器鲁棒性验证:从约束放松法到随机平滑法

摘要

引言

文献记录(part68)--K- 近邻分类器鲁棒性验证:从约束放松法到随机平滑法相关推荐

最新文章

热门文章