1999年,出于对网易内部产品安全保护的需求,网易成立了安全部,那时候饶晓艳还没有加入网易,而网易易盾更是还没“出生”。当时的她不会想到,17年后的自己将与网易易盾结缘。

“那会儿,人们对于网络安全还没有概念,更没人知道什么是内容安全。很长一段时间里,网易安全部仅仅是支撑和保障内部多款亿级用户产品安全的。”

2016年,中国网民规模达6.68亿,却有55.18%的网民曾遭遇网络诈骗;83.48%的网民网上支付行为存在安全隐患。显然,互联网时代的飞速发展越来越多的网络安全问题日益突显出来。

大背景下,众多内容安全问题也相继浮出水面——包括门户网站、社区论坛、社交平台、短视频在内的479万家网站输出了海量UCG内容。以2017年8月来看,全国各地网信办受理网民举报386万件;广告信息占比最高71.8%。随着国家对于内容安全监管力度的持续加大,行业急需可行方案来解决这“疑难杂症”。

2016年时,网易安全在互联网界已是17岁“高龄”了。正值“老当益壮”的网易安全决定把其自身的技术沉淀和实践云化并对外提供服务,从而推出了——“网易易盾”这个品牌,内容安全是其主打的产品服务。

也正是在网易安全能力商业化的前夕,饶晓艳加入了网易易盾团队。接下来的三年,饶晓艳见证了网易易盾品牌诞生和内容安全成为领域弄潮者的过程,也深刻认识到20多年技术积累的重要性。

▲网易易盾产品总监饶晓艳

追忆网易易盾的成长

看一个事物,人总是喜欢问这样一个终极问题:“你是谁,你从哪里来?又要到哪里去?”如果谈网易易盾,也绕不开这些。

易盾的内容安全服务,实际上是源于网易安全部支撑内部多个亿级用户的内容型产品的技术项目,在2016年网易安全部正式把对内的服务商业化,对外提供服务,品牌定为“易盾”。

经过短短三年的发展,网易易盾第三代内容安全服务提供鉴黄、涉政、暴恐、广告等数十大类近千小类的有害内容智能识别过滤服务,智能识别精准率超过99.8%,每天检测信息上十亿条,服务互联网企业数千家。作为国内最早把内容安全作为一个品类单独对外提供服务的云服务(市场初期有“信息过滤”、“敏感词过滤”、 “反垃圾”等五花八门的称呼,后都改为“内容安全”),网易易盾其知名度和市场占有率,在行业内领先。

想必很多人都好奇一点,原本好好对内提供服务的安全业务,基于什么契机把它商业化?时间点上,为什么是2016年?

网易易盾产品总监饶晓艳说,主要是四个方面,简单来讲:一个是法律法规的完善和人们对内容安全的意识觉醒;另外个是海量的内容遇上信息的实时传输和传播,使得过去人工的审核方式适应不了时代的要求;再一个是云计算的流行和人工智能技术的逐步成熟,使得内容安全能够作为一个商业化项目去运作;而更重要的一点则是,内容安全在网易内部已经很成熟了,由于服务了包括网易新闻、网易Lofter、网易云音乐等多款用户过亿的产品,“反垃圾”经验和数据也积累了将近20年,效果经历了实践验证。

20年里,从项目诞生到成为内容安全行业内的领先者,网易易盾的内容安全服务一共经历了三次大的技术进化:

第一代内容安全技术是建立在关键词、黑白名单、过滤器和分类器上;

第二代内容安全技术基于内容特征识别(肤色、纹理)、贝叶斯过滤、相似度匹配和规则系统;

第三代则升级为大数据分析(用户行为、用户分类)、人机识别、人工智能和机器学习(语义识别、图像识别)。

在这次长达两个小时的采访中,饶晓艳——这位易盾商业化产品的“操盘手”和雷锋网分享了,从产品角度易盾内容安全服务所经历的四个历史阶段:

纯文本垃圾阶段。饶晓艳称:“在互联网不是很发达的早期,网易易盾的内容安全服务只对内服务,当时主要以筛选文本垃圾的功能为主,使用了关键词、黑白名单、过滤器和分类器等实现垃圾文本的过滤。”

图文垃圾阶段。在移动互联网开始发展前后,内容传播的形式更加丰富。“图片垃圾是内容安全治理的‘重灾区’。此外,文字垃圾也不仅仅局限在关键词监测的阶段,大量的变种文本垃圾为其筛选、处理有害内容的能力提出更高要求。”

团伙作案阶段。饶晓艳表示:“在这个阶段,由于多媒体方面的内容在不断增加,对于分发垃圾的人来说已经不再是原来的单一个体,而是逐渐形成了有组织的黑灰产产业链。这种团伙作案方式会让图文、视频的传播增速,并且具备较强的目的性。”

在这样的背景之下,内容安全监测不光是对有害内容进行检测,同时还要对用户行为进行分析。与此同时,图文有害信息再次升级,很多有害内容通过P图、旋转、剪切、水印图等方式企图逃过网易易盾的筛选机制。

融媒体实时检测阶段。最近几年,直播、短视频是最流行的内容传播方式之一,对于一些实时性较强的有害信息的检测显得尤为重要。

饶晓艳称:“而这对于内容安全处理技术要求更高。尤其是这两年,包括《网络表演经营活动管理办法》、《互联网直播服务管理规定》、《网络短视频内容审核标准细则》和《网络短视频平台管理规范》等法律法规完善,内容安全领域对于违规的定义越来越细化。比如对于直播而言,加入了类似‘主播吃香蕉’这种相对抽象的低俗内容定义,这就要求网易易盾将色情内容检测的模型拆分的更细,这个阶段,网易易盾的内容安全服务开始向精细化方向发展。”

AI赋能

法律法规的完善、图文/视频变种的层出不穷以及直播行业的兴起,推动着网易易盾不断结合实际场景推出新的技术解决方案。

“没有什么是技术不能解决的。”值得庆幸的是,网易本身作为内容拥有者,以及20多年的数据和技术沉淀,为网易易盾提供了一个庞大的训练用数据库,这也是网易易盾所拥有的天然优势。在饶晓艳看来,解决上述内容安全的难题在于如何结合人工智能技术快速实现有害信息的识别与筛选。

她从三个层面进行了解释:

首先,如何在一段短视频或一张图片中识别出‘主播吃香蕉’这个行为?饶晓艳分析道:“在这之前,我们并不把此类行为定义为色情,现在我们需要教会网易易盾的技术判定‘主播+香蕉=低俗’,然后让机器在数据库中进行大量训练来强化这一判断标准。”

饶晓艳告诉雷锋网(公众号:雷锋网),这样的训练一开始识别率是相对比较低的,好在网易易盾有专门的法律法规研究团队(内部岗位名称叫“政策法规研究员”)、舆情分析团队,再配合关键特征提取和识别训练,之后这一细分部分的识别能力上才得到很大提升。

其次,音频监测传统手段是采用把音频语音转成文本,然后再结合文本来筛选出其中的有害信息。但随着形态的发展,开始出现一些带有色情的音频,比如短视频的呻吟声或者娇喘声,以及ASMR场景下的违规音频。这是用传统手段无法识别的,对此网易易盾又进行了技术迭代,使用了声纹检测技术,并在内容安全类目上新增了娇喘呻吟类。与此同时,为了更好的服务内容平台,易盾还提升了语种识别准确率,支持英语、泰语、印尼语等;此外,易盾也积极研究各个国家政策法规,以及响应客户各种新的需求,不断完善自身的内容安全标准。

最后,饶晓艳提及:“人工智能技术并非万灵药,面对实时性直播和短视频,机器检测还需要人工辅助。而为了补充此空缺,网易易盾在2017年研发并推出了短视频电视墙审核方案,技术和人工共力的方式,去解决当时在直播和短视频中出现的“秒露”问题。

网易易盾短视频电视墙服务是针对点播视频的高效审核服务,可广泛应用于各类短视频、长视频的审核。雷锋网得知,易盾的短视频电视墙可灵活配置进审范围、同时审核的路数,可按照机器疑似度或进审时间排序等。进审视频全视频流展示,针对秒级或帧级出现的违规镜头,可做到风险“0”漏过。而当某个短视频热度突然上升,其弹幕数增加等多维数据发生异常时,该短视频就会被纳入到重点监控名单里,进入到人工辅助审核的步骤,审核人员可准确定位疑似时间戳,快速发现问题视频。

饶晓艳称:“经过不断发展,现阶段人工智能已全面赋能网易易盾的内容安全产品处理渉政暴恐、色情低俗等数十大类近千小类的业务,实现了文本、图片、音频、视频等品类的全覆盖,针对直播、短视频、政企、社交、金融、游戏和媒体等行业,易盾还推出一站式安全解决方案。”在实际应用场景中,饶晓艳表示,有客户反馈易盾虽然不一定是最便宜的,但效果、价格以及服务及时性、业务场景的覆盖等维度综合起来,网易易盾是综合效益最好的。

值得一提的是,在产品和技术不断进化的过程中,网易易盾实验室2018年还研发出了一种对多视角多模态特征信息进行有效融合的自编码器神经网络,在准确率、NMI、Purity、ARI等各项性能指标上,较当下多项国际先进的多视角多模态信息融合技术有显著性的领先。

这是什么技术呢?可以这么理解:传统的自编码器神经网络技术只能“摸”出美女的头、腿、身子等部分,却无法全面还原其出一个真实的美女。上述技术则能够对数据的多视角、多模态特征进行综合提取和有效融合,能把这个美女完整、客观的呈现出来。

“第三方”这条路,不好“走”

在内容安全服务整个商业化过程中,网易易盾遭遇很多挑战。除了上面提及的困难外,饶晓艳后来又提及两大块:一个是市场培育问题,另外一个是内容安全越来越精细化,特征提取难。

2016年,饶晓艳在安全部处在商业化阶段的大背景下加入了正在孕育的网易易盾团队,负责商业化产品的落地。她回忆,当时客户的意识还没觉醒,他们没意识到还可以寻找专门的第三方服务来解决内容安全的问题,从而摆脱人力成本上的桎梏。

而彼时,国外已经诞生了Mollom、WebPurify、Sightengine等第三方反垃圾服务。尽管网易易盾在国内推出了内容安全服务,并成长为一个值得信赖的平台,但客户却没有这个意识——去接入第三方专业的服务。与此同时,也有些偏事业型政府企业,接受不了云服务,有各种顾虑;再加上他们的决策流程也非常长,很难“啃”下来。

后来,随着易盾不断投入资源进行市场培育,云计算趋势的流行、内容安全意识的强化、法律法规的完善,以及易盾不断提供新的解决途径和方案,这块问题最终得到解决。

谈到第二个挑战时,饶晓艳表示,现在客户要求不仅高,精细度也越来越细了,细化到一个图片、一段视频里面的某一个动作、神态,甚至有的会要求综合性地去分析某个直播,里面的主人公是怎么样的一个人……

“技术同事经常对产品说,没有什么是技术不能解决的。”但饶晓艳指出,在产品落地上却不是这样,因为内容安全标准的提炼存在挑战。就比如说露乳沟、露大腿,到底到什么程度才算是低俗?主播舔东西到什么界限,才触达“违规”标准……这些的这些,都需要去界定和特征提炼。

后来网易易盾成立了易盾实验室,基于得天独厚的自身内容型数据和服务数千家客户的积累,从舆情、策略分析、运营规则、标注以及人工智能等领域不断深入、打磨,把标准层面的东西一点点确定出来。在这个过程中,易盾还把主播嚼冰块、露大腿等不违规,但和色情擦边的行为提取特征,训练模型实现“命中”,并在内容系统后台中提交给客户,由客户决定到底要不要删除……这些是易盾实验室整合科研资源和数据积累的力量。

也正是易盾商业化产品落地的经历和各种挑战,让饶晓艳对于中小企业是否自建内容审核系统上,深有洞察,也颇具发言权。

她旗帜鲜明地说,非常不建议中小企业建设内容安全服务。对于自己的观点,她给出了三个理由:

首先,内容安全系统并不好开展,主要是因为其海量的数据往往只有BAT这类的大公司才有——尤其是和内容型相关的数据,这就导致开发出来的系统往往效果不好,对内容安全问题“后知后觉”。

其次,内容安全团队一旦组建运作,对于中小企业来说是一个无底洞。随着业务和形态的发展,以及黑灰产攻防的升级,需要不断投入大量人力、物力。而即使其两者都能满足,其是否有足够量级的模型库用于训练,训练后效果能否达到预期?在数据之外,又涉及到另外一个难题——中文博大精深,双关、同音字、多音字等都比较复杂,中文的文字结构与语义复杂性使得垃圾信息与衍生格式变化多端。饶晓艳指出,这并不是有些人口中所说的“不就是算法的问题嘛”。

最后,国内对于色情内容的界限相对模糊,鉴黄的难度也随之增加。正如上面提到“美女吃香蕉”的案例,如何在有效筛选黄色内容的同时,又不影响内容平台的正常运营?显然,业务的发展和内容审核之间的这个度很难把控,如果不在这块下足功夫,中小企业研发或安全部门往往会落下个出力不讨好的坏名声——做的好,没你的事;一出事故,就背锅。

“我不建议中小企业自建内容安全团队,其远没多数公司想象的那么容易。有些事看似简单,但做起来却十分不容易。”这位网易易盾产品总监最后点评到。

雷锋网得知,网易安全部之所以成立内容安全团队,起初其实也是迫于无奈。在那个连网络都称不上流行的年代,没有一家厂商可以帮助网易完成有害内容的审核。凭借20多年的技术沉淀,网易易盾依托其海量的云计算资源、特征库以及创新技术成果,才得以在数年间就在内容安全领域取得弄潮者地位。

尾声

对于当下很多人提及的互联网寒冬,雷锋网问及是否会对易盾的业务拓展造成影响,饶晓艳表示,她不这么看,觉得反而是一个机会:“在所谓的互联网寒冬悲观预期下,有些企业会更加关注成本核算,在很多业务上会关注投入产出比,这会促使一部分企业在采用第三方内容安全服务上采取积极态度,而易盾有信心也有实力去获取这部分用户。”

从整个行业来看,网易易盾开创了内容安全的品类、参与内容安全行业标准的起草,推动内容安全行业的发展,那网易易盾在2018年,又完成了哪些进化?

饶晓艳总结到,如果把2016、2017两年定义为产品体系和服务建立和完善的阶段,那么2018年,她则认为是场景化解决方案落地和多业务融合联动的一年。“易盾还有业务安全、移动安全和网络安全,我们融合在一起,提供了一站式解决方案。”她接着指出,2018年也是易盾开始出海,走向世界舞台的一年,易盾向东南亚地区也提供了内容安全服务,为出海企业提供内容安全保障。

对于未来,饶晓艳说,网易易盾的内容安全服务将在战略上向着场景化、精细化、智能化三个大方向不断深化,“希望我们的努力,能够解除一些互联网产品深受有害内容的困扰,维护他们的产品口碑,为营造风清气正的互联网环境贡献一份力。”

网易易盾饶晓艳:内容安全“第三方”这条路,曾经不好“走”...相关推荐

  1. 网易易盾饶晓艳:内容安全“第三方”这条路,曾经不好“走”

    1999年,出于对网易内部产品安全保护的需求,网易成立了安全部,那时候饶晓艳还没有加入网易,而网易易盾更是还没"出生".当时的她不会想到,17年后的自己将与网易易盾结缘. &quo ...

  2. 网易易盾李雨珂:服务性能+算法确定性优化,迎接5G时代内容安全爆发式流量增长...

    人工智能取代人类的言论一直甚嚣尘上,而深度学习算法通过大量的样本数据也能帮助人工对图像.视频.音频中的信息做出识别,本次采访邀请到网易易盾的资深算法专家李雨珂,他将会为大家解答深度学习在实际应用中的样 ...

  3. 浙江经信公布人工智能5大榜单 网易易盾内容安全解决方案上榜

    ​​ 浙江经信微信公众号 昨日,浙江省经济和信息化厅(以下简称:"浙江经信")发布了人工智能5大榜单,网易易盾榜上有名. 据悉,本榜单评选是经企业自愿申报,各地经信部门推荐.浙江省 ...

  4. 智能检测营销是否合规,网易易盾发布广告合规检测解决方案

    近日,网易易盾广告合规检测解决方案重磅上线,它能够智能高效地检测企业营销内容是否违反广告法,确保企业的广告内容合规性. 2015年4月24日,<×××广告法>在×××第十二届×××常务委员 ...

  5. 网易易盾升级内容安全体系 发布智能审核管理系统

    内容安全已成为全球性互联网生态治理难题.互联网平台多媒体内容爆发带来海量信息的同时,也泥沙俱下裹挟有大量不良有害信息. 当内容平台发展快速,就会被灰黑产盯上,视作"流量蜜罐",利用 ...

  6. 听运营者们分享背后的故事 2017网易易盾成就内容安全王道

    [51CTO.com原创稿件]2017年1月8日,天公作美吹散了漫天雾霾,网易大厦在周末的下午迎来了一百多位互联网运营小伙伴,共聚"亿级互联网产品背后的故事"线下沙龙,一起讨论互联 ...

  7. 场景多、变种快、粒度细,网易易盾是如何有效解决这些内容安全难题的?

    广电一年一度的开年大展CCBN已经拉开帷幕,3月19日,2019IPTV&OTT产业高峰论坛在北京维景国际大酒店召开. 网易易盾人工智能首席科学家方正 作为产业一年的风向标,"201 ...

  8. php易盾,内容审核统一管控!网易易盾智能审核管理系统开放试用

    内容审核的后台管理,迎来一个新的时代. 当下人工审核依然无可替代,然而在人工审核上内容审核的后台管理存在多个痛点.比如当下的内容审核管理系统依旧太简单,没能打通审核的所有流程,导致人员和协同效率太低: ...

  9. 网易易盾验证码移动端迎来新版本 开始支持智能无感知验证

    近日,网易易盾验证码移动端迎来新版本,该版本支持智能无感知验证码,对整体交互及性能等方面进行了优化和提升. 移动端智能无感知验证码交互流程图 验证码移动端最新版本开始支持智能无感知验证码,极致用户体验 ...

最新文章

  1. RegularExpressions(4) RegularExpressions 成员(一)
  2. 多路归并排序_1600W整数排序多路归并
  3. Oracle 11g 数据库启动和关闭
  4. 【Java】《Java编程的逻辑》第4章 类的继承 笔记+感悟分享
  5. 深入理解CSS六种颜色模式
  6. python 定时器_按键精灵定时器介绍和使用,不会的小伙伴速速看看精辟
  7. mac mysql5.7_Mac 安装配置 MySql(Version 5.7.22) 环境变量
  8. dw教程php个人网页,dreamweaver制作网页的步骤
  9. springboot 腾讯云短信平台SDK
  10. Excel怎么批量删除开头文本
  11. 不同时区时间换算_不同时区时间转换
  12. 推荐系统之协同过滤概述
  13. 通过Java读取Excle中的内容
  14. 2、面向对象的思维(与结构化思维比较)
  15. 电机设计--主要参数
  16. bzoj 1171: 大sz的游戏, bzoj 2892: 强袭作战
  17. SVN出现黄色感叹号,红绿双箭头
  18. mysql 分区表 外键_【MySQL】表分区
  19. 华为手机p40pro计算机不管,华为p40pro支持PC模式吗
  20. 密集匹配实验数据共享

热门文章

  1. 计算机系统可靠性(串并联)计算方法
  2. C语言编程-猜数字程序
  3. SPS、PPS、IDR介绍
  4. JPA使用报错:Connection is read-only. Queries leading to data modification are not allowed
  5. 终于知道META是什么意思了
  6. 经销商回收旧iPhone 换新机还可获得补贴
  7. c语言ofstream头文件,c++中ifstream及ofstream超详细说明
  8. 以太网交换机有何特点?用它怎样组成虚拟局域网?
  9. java的printwriter_Java PrintWriter.print()写入数据
  10. 【IoT】 产品设计之互联网思维:羊毛出在狗身上,猪来买单