【华为云技术分享】文字识别服务（OCR）基于对抗样本的模型可信安全威胁分析初析

【摘要】文字识别作为计算机视觉的重要分支之一，面临着视觉方向同样的安全威胁分析。随着人工智能的普及和文字识别服务大规模的商业落地，解决好相关的模型安全威胁问题已经刻不容缓。

OCR处理流程融合了多种图像处理技术。主要是包括图像预处理表格提取有没有表格进一步处理文字定位其中可能会有文字矫正文字识别文字后处理等最后返回给客户的是结构化的json数据。所有涉及模型的模块均可能遭遇模型可信威胁，比如表格提取模块、文字定位模块、文字识别模块等。

威胁模型可以分为两个方面，对抗目的和对抗知识。对抗目的包含在数据集中加入或修改成虚假样本的Poisoning Attack，模型已经固定，直接生成分类器会识别错误的对抗样本的Evasion Attack。对抗知识包含假设目标模型的所有信息都是已知的白盒，以及只知道输入输出的黑盒。

安全评估可以从鲁棒性，以及对抗风险等方面考虑。

对抗攻击的应对方法可以从以下几个方面考虑。（1）模型导数模糊策略：将模型的导数信息模糊化处理让攻击者无法得到正确的模型导数信息主要应对白盒攻击及灰盒攻击。例如模型蒸馏方法用多个模型来混淆攻击者使其无法得到模型准确的导数信息。该策略安全指数较低只能在一定程度上对抗攻击者。（2）鲁棒优化策略：通过改变模型的学习方法来提升模型的鲁棒性。主要方法包括增加正则化限制对抗式训练。（3）攻击样本检测：在实际使用中预先判断输入样本是否为攻击样本。

在“Fooling OCR Systems with Adversarial Text Images”论文中，将安全对抗等级分成四个等级。等级一：误导OCR系统随机误识别一些字符造成单词识别错误识别的单词可能不存在。等级二：误导OCR系统将某些单词识别成指定的反义词。等级三：在等级二的情况下句子依旧保证流畅。等级四：在等级二的情况下段落文本依旧保证流畅。

论文中的对抗流程主要分为三个阶段。第一阶段是确定需要攻击的图片根据其文本通过文本生成对抗模型得到对应的攻击文本确保攻击之后语义流畅。第二阶段是根据攻击文本确定需要修改的单词。第三阶段是使用文本图片生成对抗模型生成攻击图片。

攻击难点主要包含两方面，（1）要求可以获得整个OCR模型参数预处理、后处理等过程。（2）OCR任务相对于图片分类任务来说由于存在RNN网络存在上下文语义的纠正能力因此更难直接影响识别。

攻击结果也可以从字段效果和整文效果来看。

作者：blackmoon

【华为云技术分享】文字识别服务（OCR）基于对抗样本的模型可信安全威胁分析初析相关推荐

【华为云技术分享】数据管理服务DAS 之数据库自动化运维功能展播4：慢SQL
概述数据库优化点很多,但最常见.也最容易影响性能的一大因素,就是慢SQL! 在慢SQL的发现以及优化上,也一直是DBA比较头疼的问题,尤其对于使用自建数据库的企业DBA来说,这更加是一个长期而且艰苦 ...
【华为云技术分享】“技术-经济范式”视角下的开源软件演进剖析-part 1
前言以互联网为代表的信息技术的迅猛发展对整个经济体系产生了巨大的影响.信息技术的发展一方面使知识的积累和传播更加迅速,知识爆炸性的增长:另一方面,使信息的获取变得越来越容易,信息交流的强度逐渐增加, ...
【华为云技术分享】三大前端技术(React,Vue,Angular)探密（下）
[华为云技术分享]三大前端技术(React,Vue,Angular)探密(上) [Angular] Angular(通常被称为 "Angular 2+"或 "Angula ...
【华为云技术分享】“技术-经济范式”视角下的开源软件演进剖析-part 3
4. 微观层面 4.1 个体动机在开源软件发展之初, 商业组织的投入很少甚至没有, 完全是靠Richard Stallman 或者 linus Torvalds 这样的个人在努力推动开源软件艰难前行 ...
【华为云技术分享】云图说|人工智能新科技—文字识别服务
在日常生产和生活中,我们往往要处理大量的文字.报表和文本.为了减轻人们的劳动,提高工作效率,华为云文字识别服务应用而生.您可以调用服务提供的文字识别API接口,将我们日常中大量的证件.票据.表格识别成 ...
【Python】调用百度云API文字识别服务 OCR
# encoding:utf-8 # !/usr/local/bin/python3# 百度云:文字识别服务 # 应用名称:文字识别练习项目import urllib3 from urllib.par ...
【华为云技术分享】打卡APIG服务专享版，打造全栈API治理方案
伴随企业的数字化转型跟IT架构演进,越来越多的企业&组织选择以API的方式实现能力的开放跟通讯,这部分也成了系统集成的交界点.通过三组数据来看整体趋势 2017年,有50%的B2B商业合作将通 ...
【华为云技术分享】云图说｜应用编排服务AOS，助力应用上云自动化
摘要:应用编排服务AOS为企业提供应用上云的自动化能力,支持编排华为云上的主流云服务,实现在华为云上一键式的应用创建及云服务资源开通,并提供高效的一键式云上应用复制和迁移能力. 如今,企业想要扩大业务 ...
【华为云技术分享】华为云 DevCloud 首席产品布道师：AIOps 不是 DevOps 的下一代
近年来,将软件开发流程迁移到云上成为开发领域的一大趋势.随之而来地,人们会关心,和本地开发方式相比,云上开发能为企业带来哪些益处?能否保证安全.可信?未来它还将与 AI 技术碰撞出怎样的火花?在 QC ...

【华为云技术分享】文字识别服务（OCR）基于对抗样本的模型可信安全威胁分析初析

【华为云技术分享】文字识别服务（OCR）基于对抗样本的模型可信安全威胁分析初析相关推荐

最新文章

热门文章