【文献阅读】机器学习中的超参数窃取Stealing Hyperparameters in Machine Learning

[IEEE 2018 IEEE Symposium on Security and Privacy (SP) - San Francisco, CA, USA (2018.5.20-2018.5.24)] 2018 IEEE Symposium on Security and Privacy (SP) - Stealing Hyperparameters in Machine Learning

超参数指的是在机器学习模型训练前就已经确定好的参数，作者提及超参数是机器学习专有算法中十分机密的数据，因此对超三叔窃取进行了研究，并且提出了防御措施。

作者假设窃取者已知模型的数据集、算法以及（可选）参数，这种窃取方法与USENIX 16中的一篇Stealing Machine Learning Models via Prediction APIs一致，都是对已知模型的精确逆向，核心思想都是通过建立方程求解参数。

作者将问题定义为：已知数据输入X，标签y，参数向量w，正则项R，求取lambda的过程。

他观察到当目标函数取得最小值时，L对w的梯度应该为0，因此有以下公式：

根据这一条件可以建立超参数的方程，又因为方程个数比超参数个数要多，这个方程是一个超定方程，使用最小二乘进行计算：

所以整个攻击过程可以概括为：攻击者对于一个给定的数据集，给定的学习算法和学习模型参数计算a和b,然后根据最小二乘计算超参数。

文章从单个超参数窃取出发，讨论了当L对w不可微的情况，多个超参数可以通过分解的方法求得，以及回归和分类两种模型窃取的不同计算方法，最后从理论上对超参数为精确求解和估算求解的误差计算进行了公式推导，对已知模型还有MLaaS提供的模型进行了评估。

【文献阅读】机器学习中的超参数窃取Stealing Hyperparameters in Machine Learning相关推荐

机器学习模型的超参数优化 | 原力计划
作者 | deephub 责编 | 王晓曼出品 | CSDN博客头图 | CSDN付费下载自东方IC 引言模型优化是机器学习算法实现中最困难的挑战之一.机器学习和深度学习理论的所有分支都致力于模 ...
机器学习模型定点化_机器学习模型的超参数优化
引言模型优化是机器学习算法实现中最困难的挑战之一.机器学习和深度学习理论的所有分支都致力于模型的优化. 机器学习中的超参数优化旨在寻找使得机器学习算法在验证数据集上表现性能最佳的超参数.超参数与一般 ...
tensorflow超参数优化_机器学习模型的超参数优化
引言模型优化是机器学习算法实现中最困难的挑战之一.机器学习和深度学习理论的所有分支都致力于模型的优化. 机器学习中的超参数优化旨在寻找使得机器学习算法在验证数据集上表现性能最佳的超参数.超参数与一般 ...
模型效果差？我建议你掌握这些机器学习模型的超参数优化方法
模型优化是机器学习算法实现中最困难的挑战之一.机器学习和深度学习理论的所有分支都致力于模型的优化. 机器学习中的超参数优化旨在寻找使得机器学习算法在验证数据集上表现性能最佳的超参数.超参数与一般模型参 ...
机器学习模型的超参数优化用于分子性质预测
在<预测化学分子的nlogP--基于sklearn, deepchem, DGL, Rdkit的图卷积网络模型>中简单介绍了sklearn模型的使用方法. 现在来介绍一下,如何对sklea ...
python 超参数_完整介绍用于Python中自动超参数调剂的贝叶斯优化
完整介绍用于Python中自动超参数调剂的贝叶斯优化-1.jpg (109.5 KB, 下载次数: 0) 2018-7-4 23:45 上传调剂机器学习超参数是一项繁琐但至关重要的任务,因为算法的性 ...
谈谈深度学习中的 Batch_Size Batch_Size（批尺寸）是机器学习中一个重要参数，涉及诸多矛盾，下面逐一展开。首先，为什么需要有 Batch_Size 这个参数？ Batch 的选
From Here 谈谈深度学习中的 Batch_Size Batch_Size(批尺寸)是机器学习中一个重要参数,涉及诸多矛盾,下面逐一展开. 首先,为什么需要有 Batch_Size 这个参数? ...
【超全面】机器学习中的超参优化方法总结
目录 1. 什么是超参数 2. 超参数类型 3. 主流超参优化方法 (1)手动调参缺点: python代码:(例子) 手动调参参数的重要性顺序超参具体如何影响模型性能超参合适的范围 (2)网格 ...
深度学习中的超参数以及两个重要的超参数——学习率和batch_size
前言在深度学习中有很多参数是我们在训练模型之前自己设定的,我们把这些参数就称为--超参数.其中主要超参数包括了:学习率.batch_size.梯度下降法循环的数量.隐藏层数目.隐藏层单元数目.激 ...
R语言机器学习mlr3：超参数调优
获取更多R语言和生信知识,请关注公众号:医学和生信笔记. 公众号后台回复R语言,即可获得海量学习资料! 目录模型调优调整超参数方法一:通过`tuninginstancesinglecrite`和 ...

【文献阅读】机器学习中的超参数窃取Stealing Hyperparameters in Machine Learning

【文献阅读】机器学习中的超参数窃取Stealing Hyperparameters in Machine Learning相关推荐

最新文章

热门文章