贴一下汇总贴：论文阅读记录

论文链接：《Killing Two Birds with One Stone: Stealing Model and Inferring Attribute from BERT-based APIs》

一、摘要

预训练模型（例如BERT，XLNET等）的进步在很大程度上改变了各种现代自然语言处理任务的预测性能。这使公司可以通过将基于BERT的微调模型封装为商业API来提供机器学习即服务（MLaaS）。但是，先前的工作发现了基于BERT的API中的一系列漏洞。例如，基于BERT的API容易受到模型提取攻击和对抗性示例可移植性攻击的攻击。然而，由于基于BERT的API的高容量，微调的模型很容易被过度学习，从提取的模型中泄漏出什么样的信息仍然是未知的和缺乏的。为了弥合这一差距，在这项工作中，我们首先提出一种有效的模型提取攻击，在这种情况下，攻击者实际上只需查询有限数量的查询就可以窃取基于BERT的API（目标/受害者模型）。我们进一步开发了一种有效的属性推理攻击，以暴露基于BERT的API使用的训练数据的敏感属性。我们在各种实际设置下对基准数据集进行的广泛实验证明了基于BERT的API的潜在漏洞。

二、结论

这项工作不仅仅是从基于BERT的应用程序接口中提取模型，我们还发现，即使在困难的情况下(例如，有限的查询预算；来自不同于受害者应用程序接口的训练数据的分布的查询；当受害者模型的架构未知时，等等)。基于典型的自然语言处理数据集和不同环境下的任务的大量实验证明了我们对基于BERT的应用程序接口攻击的有效性。我们希望我们的调查能够提供新的见解，并提高社区对构建更值得信赖的基于BERT的APIs的认识。许多进一步工作的途径都很有吸引力。更广泛地说，我们希望将我们的工作扩展到更复杂的NLP任务，并开发能够同时确保隐私、鲁棒性和准确性的防御措施。

三、model

模型：

算法：

好吧…我是被标题吸引进来的，这个文章不咋感兴趣…这个标题党，他的目的达到了

【论文泛读95】一石二鸟：窃取模型并从基于BERT的API推断属性相关推荐

【论文泛读】 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
[论文泛读] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift ...
【论文泛读】 Deep Learning 论文合集
[论文泛读] Deep Learning 论文合集文章目录 [论文泛读] Deep Learning 论文合集 Batch Normalization: Accelerating Deep Netw ...
【论文泛读】 ResNet：深度残差网络
[论文泛读] ResNet:深度残差网络文章目录 [论文泛读] ResNet:深度残差网络摘要 Abstract 介绍 Introduction 残差结构的提出残差结构的一些问题深度残差网络 ...
方面级情感分析论文泛读02：Syntax-Aware Aspect-Level Sentiment Classification with Proximity-Weighted Convolution
提示1:原文链接提示1:代码链接文章目录前言一.论文信息二.笔记要点 2.1. 目前存在的问题 2.2. 目前解决方法: 2.3.本文方法和创新点 2.4. 实验效果 2.5. 模型结构 2 ...
【论文泛读】Easing Embedding Learning by Comprehensive Transcription of Heterogeneous Information Networks
Easing Embedding Learning by Comprehensive Transcription of Heterogeneous Information Networks [2018 ...
ICRA2017三篇论文泛读
1.Convergence and Consistency Analysis for a 3-D Invariant-EKF SLAM(泛读)(ICRA2017)引用 9 摘要翻译: 在这篇文章中,我 ...
云计算中微服务相关论文泛读
以下是最近对于云计算中微服务系统调度论文的泛读,欢迎一起探讨问题,如需要论文请私聊. Amoeba: QoS-Awareness and Reduced Resource Usage of Micro ...
【论文泛读】Modeling Intra and Inter-modality Incongruity for Multi-Modal Sarcasm Detection
论文题目:Modeling Intra and Inter-modality Incongruity for Multi-Modal Sarcasm Detection 时间:2020 来源:EMNL ...
【论文泛读97】建立具有情感原因的在线移情聊天机器人
贴一下汇总贴:论文阅读记录论文链接:<Towards an Online Empathetic Chatbot with Emotion Causes> 一.摘要现有的感知情绪的会话模 ...

【论文泛读95】一石二鸟：窃取模型并从基于BERT的API推断属性

一、摘要

二、结论

三、model

【论文泛读95】一石二鸟：窃取模型并从基于BERT的API推断属性相关推荐

最新文章

热门文章