‍数据智能产业创新服务媒体

——聚焦数智 · 改变商业

在AI的赋能之下，金融、医疗、安防等领域的应用遍地开花。人们忽然发现，AI技术似乎成了一种基础配置，各行各业都在大力引入AI。AI到底安不安全？这个问题想必是一直萦绕在每个人心底的。

据报道，最新安全专家表示可以使用人工智能生成的语音来欺骗银行的验证系统，可查看余额和近期转账记录。

这个操作细思极恐，当不法分子利用AI技术，掌握当事人的声音或者面部信息，从而合成某人的声音或者动态视频便可以骗取“安全系统”的信任，直接就可以从对方的账户查到自己想要的信息。

随着技术开源、标准化工具的推出，制作一段虚假内容的门槛越来越低，因此近年网络社交平台上虚假视频的数量呈高速增长。而且随着技术的不断成熟，合成视频在清晰度、流畅度、逼真度等各方面都有大幅提升，真假难辨的背后更是危害性的不断增强。

AI攻破AI

对于一个颠覆性科技成果的出现，人们容易只看到狂欢，背后带来的安全性问题却常常被忽略。

近日，资深撰稿人约瑟夫·考克斯（Joseph Cox）在Vice平台发布文章，分享了他如何利用AI生成的语音成功入侵银行账号。

据悉，大多数美国和欧洲银行都提供了语音 ID 的登录方式，不过最新安全专家表示可以使用人工智能（AI）生成的语音来欺骗银行的验证系统。

约瑟夫·考克斯打电话给银行的服务热线，在电话接通之后他点击附近笔记本电脑上的一份文件，播放一段声音：" 检查我的余额 "。实际上这是使用AI生成的一段声音，并不是约瑟夫·考克斯自己的的声音。

约瑟夫·考克斯表示，他自己不敢相信AI生成的声音真的奏效了，“我成功使用人工智能生成的声音进入银行账户。之后，我可以访问账户信息，包括余额和最近的交易和转账清单”，约瑟夫·考克斯说。

事实上，这样的语音生成其实并没有那么难以获得，GitHub上就有类似的项目。只需要从GitHub下载一个名为“Real-Time-Voice-Cloning”的AI项目，就能轻松克隆声音。实际原理就是一个实时语音克隆工具，通过AI的深度学习，只需要说话者几秒钟的原始音频，就能模仿该说话者的声音生成音频并进行说话。

约瑟夫·考克斯的实验打破了这样一个想法，即基于语音的生物识别安全并不能妥善保护用户隐私。一些专家也呼吁银行完全放弃语音认证，因为滥用人工智能语音可能会导致欺诈和账户黑客攻击。

当AI用于诈骗，解决只能靠AI。

在2021年一家名为Pindrop的安全初创公司宣布，它已经筹集了9000万美元，通过一个AI平台来解决AI语音克隆这一问题。该公司表示，该AI平台可以通过分析近1400种声音属性来验证来电者或语音命令是否合法，从而识别最复杂的模仿和黑客企图。Pindrop所建立的关键是，让一个声音的“指纹”不仅仅是你发出的特定的音调，还包括如何说话、通常在哪里打电话、声音的空间，甚至是常用设备。只有将所有这些与你确定的“正常”环境相匹配，才能被该系统认定为真实。

约瑟夫·考克斯的实验并不是个别案例，随着智能科技的发展，近年来AI诈骗开启了“狂飙”之路，层出不穷。

深度合成技术大大降低了信息造假的难度

2021年6月，一个“网络科技公司”法人马某就以某电竞网络科技公司作为创收的平台，联合满某等人通过非法渠道大量收购捆绑了公民个人信息（包含公民身份证号、照片）的游戏账号。

他们通过使用AI技术破解“人脸识别”系统侵犯个人信息，将非法获取的公民照片制作动态人脸，然后利用特殊处理的手机“劫持”摄像头，使系统不启动摄像头，而是获取之前做好的视频，最后通过了认证，借非法出售捆绑公民信息的游戏账号从中非法牟利。

他们使用特定方法犯罪嫌疑人通过出售、出租相关游戏账号以及提供售后破解服务方式非法获利3万余元，交易流水60余万元，买卖个人有效账号共897条，身份证号码（包含照片）432条。

2021年9月24日，广西玉林警方一举将这个团伙捣毁，这也是广西首个通过破解人脸识别技术侵犯公民个人信息犯罪团伙。

当前，“人脸识别”技术，已被广泛运用于生活中。“人脸识别”自带的天然属性，使其拥有媲美人类指纹的唯一性，因而往往被设置为完成各类事项的终极验证环节。

但在大规模落地的同时，人脸识别系统也面临安全挑战，比如容易受到对抗样本攻击，即通过对人脸图像做微小的改动，就能够欺骗识别系统作出错误的判断，破坏人脸认证系统，可能引发重大损失。

在2022“互联网之光”博览会上，海淀企业北京瑞莱智慧科技有限公司演示的“换脸术”便引来了众多人的驻足。张嘴、摇头，摄像头在捕捉到观众的动作后，屏幕上原本静态的人像瞬间“动”了起来，动作幅度和真人完全一致，还能眨眼和露齿微笑，仿真度很高；甚至观众拍完一张照片后，几分钟内就能生成一段视频，将观众的脸自动替换掉某影视剧中知名演员的脸。

据瑞莱智慧技术专家介绍，这背后采用的是深度合成技术，利用深度学习、虚拟现实等生成合成类算法，制作图像、音频、视频等信息。

与此同时，专家也表示，这项技术却存在着安全隐患。

就目前来看，我们现在安全系统的验证主要通过AI识别技术实现，如人脸识别、语音识别。而目前触发的安全事件则是通过AIGC（AI生成），如AI生成图片、生成视频、生成语音。

其中，人工智能识别技术的实现主要基于机器学习和深度学习技术，其中最核心的技术点是神经网络模型。

对于人脸识别技术，其原理是通过采集图像数据，利用计算机视觉技术提取出人脸的特征信息，并将这些信息编码为向量或矩阵形式。然后，通过训练深度神经网络模型，将这些特征与身份信息进行关联，从而实现对人脸的自动识别。在实现过程中，需要考虑光照、姿态、表情等多种因素对人脸特征的影响，以及保护用户隐私的问题。

对于语音识别技术，其原理是通过采集语音信号，对其进行数字化处理并提取出其声学特征，然后将这些特征输入到深度神经网络模型中进行训练，从而实现语音识别。在实现过程中，需要解决噪声、口音、说话速度等多种因素对语音信号的影响，以及提高识别准确率和效率的问题。

除了深度神经网络模型，人工智能识别技术还需要借助大规模数据集、特征提取算法、模型训练算法等多种技术来支持其实现。

而AI生成技术主要基于深度学习中的生成模型，其中最主要的是生成对抗网络（GAN）模型。

对于AI生成图片技术，其原理是通过训练一个生成器网络和一个判别器网络，让它们在对抗的过程中相互学习和提升，最终生成逼真的图像。生成器网络接受随机噪声或其他输入，输出一张图片；判别器网络则评估这张图片是否真实，生成器网络通过反馈机制来优化生成的图片。这样，通过不断训练生成器和判别器，生成器就能够生成高度逼真的图片。在实现过程中，需要考虑图像的分辨率、颜色、纹理等特征，并保持生成图片的多样性。

对于AI生成动态视频技术，其原理与生成图片类似，但是需要考虑时间序列上的连续性，即生成一系列逼真的视频帧。这需要在生成器和判别器之间设计合适的架构，以及合适的损失函数来保持视频的连续性。在实现过程中，需要考虑视频的帧率、分辨率、场景和物体的运动等特征，以及保持生成视频的真实性和流畅性。

对于AI生成语音技术，其原理是通过训练一个神经网络，将文本或其他形式的输入转化为逼真的语音。这需要在神经网络中设计合适的声学特征提取和语音合成算法，以及考虑声音的音高、音色、语调和发音等特征。在实现过程中，需要解决音频信号的质量、连续性和自然度等问题。

除了生成对抗网络（GAN）模型，AI生成技术还需要借助大规模数据集、合适的损失函数和优化算法、模型架构等多种技术来支持其实现。

虽然这些技术乍看起来对于普通人来说很难实现，但随着技术开源、标准化工具的推出，制作一段虚假内容的门槛越来越低。

可以看到，AI识别和AI生成（AIGC）在技术原理上都依赖于深度学习技术，尤其是神经网络模型。它们共用的底层技术包括数据预处理、特征提取、模型训练和优化等方面。

虽然AI识别和AIGC在底层技术上有很多共性，但它们的主要区别在于任务的不同。

就拿此次AI生成语音攻破银行系统事件来说，银行的语音识别主要是通过识别已有的事物来进行分类、识别、检测；而专家通过AI技术生成的语音则是基于模型生成新的事物或场景，包括图片、视频、语音等。

因此，在AI识别和AIGC任务的实现过程中，会有一些不同的技术和算法被应用，例如在AIGC中需要考虑生成的多样性、连续性和可控性，而在AI识别中需要考虑鲁棒性、准确性和泛化能力等问题。

据工商银行金融研究院安全攻防实验室主管专家苏建明介绍，人脸识别流程依次是动作活体检测、现场人脸采集、人脸特征上送、静默活体检测、人脸比对，对应的典型攻击分别是打印照片攻击、ROM注入摄像头劫持攻击、报文篡改攻击、高精度伪造攻击、人脸融合对抗攻击。

如果黑产分子利用“AI换脸”破解线上银行的人脸核验系统，通过表情操纵让照片做出“张嘴、眨眼、摇头”等指令性动作，再让智能设备不启动摄像头，直接底层注入合成的动态人脸视频，绕过活体检测，便可顺利破解人脸识别。这一方式也容易被不法分子用于盗刷银行卡、非法办理手机卡等诈骗场景。除了欺骗机器外，还可以通过伪造电话语音、视频通话画面等欺骗真人，引诱转账、实施敲诈等。

用魔法打败魔法

任何事物客观上都有两面性，人工智能也不例外。一方面，它为技术的探索和创造提供了空间。另一方面，它也为犯罪、欺骗，以及欺诈提供了可能性。

目前，AIGC生成内容对当前AI识别的挑战主要体现在以下几个方面：

1、对抗样本攻击：通过对已有的训练模型进行修改、添加噪声等手段，使其在识别新的输入数据时产生误判，这对于基于AI识别的安全系统来说是一种重要的挑战。

2、多样性和可控性：AI生成的图片、视频、语音等内容具有更高的多样性和可控性，这意味着在识别过程中需要考虑更多的变化和可能性，增加了AI识别的难度和复杂度。

3、数据质量和可信度：由于AIGC生成的内容并非真实的物理世界中的数据，因此其质量和可信度存在一定的风险和不确定性。如果将其用于关键领域，例如医疗、金融、军事等，可能会带来严重的安全问题和损失。

如果利用AIGC生成的图片、视频、语音骗过相关的安全系统，将对目前以生物识别为基础建立的安全体系带来极大的影响。生物识别技术在实现上已经相对成熟，被广泛应用于各个领域。但如果这些技术被AIGC生成的虚假数据所攻击，将可能导致系统的误判、失效和瘫痪，从而给人们的生命和财产安全带来巨大威胁。

因此，针对AIGC生成内容对AI识别的挑战，可以采取以下措施来升级AI生物识别系统：

如通过多种生物特征进行识别，目前的生物识别系统主要以人脸识别和语音识别为主，但随着AIGC技术的发展，这些特征越来越容易被伪造。因此，可以引入其他生物特征，如指纹、虹膜、静脉等，增加识别难度，提高安全性。

还可以加强算法研究，算法是生物识别系统的核心，需要不断研究和开发更加先进的算法。例如，可以采用深度学习等新技术来提高识别准确率和对抗攻击的能力。

除此之外，可以引入人工智能安全技术，如对抗样本训练、可解释性机器学习等，提高生物识别系统的抗攻击能力和可靠性。采用多因素认证技术，如结合生物识别和密码识别等，提高认证的安全性和可靠性等。

统筹发展和安全是每项新技术发展过程中面临的必然问题，如何实现高水平发展和高水平安全的良性互动，也是当前人工智能产业发展的重要命题。

针对开放环境下的人工智能系统面临的诸多安全挑战，北京航空航天大学软件开发环境国家重点实验室副主任刘祥龙表示，目前人工智能算法及系统的安全性缺乏科学评测手段，难以有效评测完整的人工智能模型和算法能力。

在他看来，从技术上来看应形成从安全性测试到安全性分析与安全性加固的完整技术手段，最终形成标准化的测试流程。未来的人工智能安全应该围绕从数据、算法到系统各个层次上的全面评测，同时配合一套整体的从硬件到软件的安全可信计算环境。

文：媛媛 余小鱼 / 数据猿

联系数据猿