面向自然语言处理的对抗攻防与鲁棒性分析综述 Survey of Adversarial Attack, Defense and Robustness Analysis for Natural Lang

6.面向自然语言处理的对抗攻防与鲁棒性分析综述
Survey of Adversarial Attack, Defense and Robustness Analysis for Natural Language Processing

摘要：随着人工智能技术的飞速发展，深度神经网络在计算机视觉、信号分析和自然语言处理等领域中都得到了广泛应用.自然语言处理通过语法分析、语义分析、篇章理解等功能帮助机器处理、理解及运用人类语言.但是，已有研究表明深度神经网络容易受到对抗文本的攻击，通过产生不可察觉的扰动添加到正常文本中，就能使自然语言处理模型预测错误.为了提高模型的鲁棒安全性，近年来也出现了防御相关的研究工作.针对已有的研究，全面地介绍自然语言处理攻防领域的相关工作，具体而言，首先介绍了自然语言处理的主要任务与相关方法；其次，根据攻击和防御机制对自然语言处理的攻击方法和防御方法进行分类介绍；然后，进一步分析自然语言处理模型的可验证鲁棒性和评估基准数据集，并提供自然语言处理应用平台和工具包的详细介绍；最后总结面向自然语言处理的攻防安全领域在未来的研究发展方向.

关键词: 深度神经网络, 自然语言处理, 对抗攻击, 防御, 鲁棒性

Abstract：With the rapid development of artificial intelligence, deep neural networks have been widely applied in the fields of computer vision, signal analysis, and natural language processing. It helps machines process understand and use human language through functions such as syntax analysis, semantic analysis, and text comprehension. However, existing studies have shown that deep models are vulnerable to the attacks from adversarial texts. Adding imperceptible adversarial perturbations to normal texts, natural language processing models can make wrong predictions. To improve the robustness of the natural language processing model, defense-related researches have also developed in recent years. Based on the existing researches, we comprehensively detail related works in the field of adversarial attacks, defenses, and robustness analysis in natural language processing tasks. Specifically, we first introduce the research tasks and related natural language processing models. Then, attack and defense approaches are stated separately. The certified robustness analysis and benchmark datasets of natural language processing models are further investigated and a detailed introduction of natural language processing application platforms and toolkits is provided. Finally, we summarize the development direction of research on attacks and defenses in the future.

Key words: deep neural network, natural language processing, adversarial attack, defense, robustness

syntax：n.语法
semantic：n.语意
comprehension：n.理解
vulnerable：adj.易受攻击的
adversarial：adj.对抗的
imperceptible：adj.难以察觉的
perturbations：n.扰动
prediction：n.预测
robustness：n.鲁棒性=稳健性
defense-related：n.防卫性事务
comprehensively：adv.完全地
defenses：n.防御
Specifically：adv.具体来说
state：v.陈述
separately：adv.单独地
certify：v.认证
benchmark：n.基准
dataset：n.数据集
investigate：v.调查
toolkit：工具集
direction：n.方向

面向自然语言处理的对抗攻防与鲁棒性分析综述 Survey of Adversarial Attack, Defense and Robustness Analysis for Natural Lang相关推荐

【论文阅读】深度强化学习的攻防与安全性分析综述
文章目录一.论文信息二.论文结构三.论文内容摘要 1 深度强化学习方法 2 深度强化学习的攻击方法 2.1 基于观测的攻击 4 深度强化学习的安全性分析 5 应用平台与安全性评估指标 5.1 ...
对抗样本(论文解读八):Towards More Robust Adversarial Attack Against Real World Object Detectors
准备写一个论文学习专栏,先以对抗样本相关为主,后期可能会涉及到目标检测相关领域. 内容不是纯翻译,包括自己的一些注解和总结,论文的结构.组织及相关描述,以及一些英语句子和相关工作的摘抄(可以用于相关领 ...
直播 | AAAI 2021：文本对抗攻防中的对抗训练方法
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和 ...
「智源论坛Live报名」清华大学董胤蓬：深度学习对抗攻防平台
直播时间: 2020年2月25日19:30-20:30 报名方式见文末最新一期的智源论坛Live,我们请来了上个月刚刚获得了"百度奖学金"的董胤蓬同学: 嘉宾介绍董胤蓬,清华大 ...
开源系列：AI对抗攻防算法开源平台，哪家强？
原创:谭婧人工智能算法攻与防,始于一个有趣的"捣乱",在谷歌实验室里. "捣乱",纯粹是人为的,自己给自己添乱. 得到的实验室结论是:对输入样本(一张图片)故 ...
面向自然语言处理的深度学习
面向自然语言处理的深度学习作者:[印]帕拉什·戈雅尔(Palash Goyal)苏米特·潘迪出版时间:2019-02-18 出版社:机械工业出版社
免费公开课 | AI对抗攻防系列专题，今晚7点第一讲
精选6讲针对人脸识别的AI对抗专题课,搭配实战项目演练,完成项目作业即可获得完课奖品近年来,AI安全问题愈加受到行业关注.在今年6月的智源大会上,清华大学计算机系教授.RealAI 首席科学家朱军就 ...
超越源域的攻击：面向黑盒域制作对抗样本
超越源域的攻击:面向黑盒域制作对抗样本 [对抗样本][生成器方法][BIA] [CVPR2022]
AidLux智慧交通实战-车辆检测AI对抗攻防算法实现
完整项目代码:https://github.com/yangdadage/AidLux_intelligent_transportation/tree/master 课件及老师示例代码可关注AidLu ...

面向自然语言处理的对抗攻防与鲁棒性分析综述 Survey of Adversarial Attack, Defense and Robustness Analysis for Natural Lang

面向自然语言处理的对抗攻防与鲁棒性分析综述 Survey of Adversarial Attack, Defense and Robustness Analysis for Natural Lang相关推荐

最新文章

热门文章