全文共6575字，预计学习时长19分钟

来源：Pexels

你知道吗？深受孩子们喜爱的网络游戏，如《堡垒之夜》、《我的世界》、《部落冲突》和《罗布乐思》，已经渐渐成为恋童癖的狩猎场。

近期报告表明，至少有成千上万的孩子（可能远不止于此）被洗脑、哄骗、欺骗、恐吓或勒索，这些受害者将自己或他人的性爱图片发送给在游戏平台和聊天应用程序的“撒网”的“捕食者”。

在人们普遍认识到一种成人无法理解的新趋势，且新技术对儿童构成威胁时，通常会引起一种道德恐慌感，《纽约时报》的一项调查清楚地表明，这一问题真实存在、影响广泛而且正在不断加剧。如果你仍然持怀疑态度的话，从一家为在线应用开发家长式控制的初创公司巴克（Bark）员工那里了解“捕食者”是怎样的的第一手资料，就可以说明这个问题在社交媒体和信息平台上是多么普遍。父母在不担心孩子在网络游戏世界中的安全和福祉的情况下，绝不会阅读这些故事。

但是，到目前为止，尚未完全清楚地报告解决该威胁的实际措施。

《泰晤士报》报道中提到的大多数公司——包括罗布乐思、Discord、索尼（“游戏站”的开发商）和微软（Xbox和《我的世界》的开发商等）——都指出，它们至少采取了一些措施来保护未成年用户，但很少有公司能够证明取得了意义非凡的成果。几乎所有讨论的方法都有明显的缺点。

内容审核、网络上的性剥削和互联网法律方面的专家说，希望以有意义的方式解决该问题。这并不容易——有些人认为，如果不修改保护在线平台免受多种形式责任的基本法律，这一切不会改变。

监管游戏如此棘手，部分原因在于“掠食者”和孩子之间的互动几乎不会停留在游戏平台上。通常，这些掠夺者会在游戏网站上找到孩子们，并与他们建立联系，转移到 Facebook Messenger 或 Kik 等更加私密的聊天应用程序，进而进行性照片交易并敲诈他们。加州大学洛杉矶分校信息研究助理教授莎拉·T·罗伯茨（Sarah T.Roberts）将未受监管的游戏聊天比作“到处充斥着不怀好意的人的虚拟游乐场”——而且没有家长在场。

“我对这种零敲碎打的方式感到更加乐观。”—罗凯蒂

你可以想象保护这样一个场地的众多方法。一种办法是让负责任的成年人来监督——也就是审核。另一种办法是安装监视摄像机，通过自动化程序进行监督。第三种办法是检查进入游戏的每个人的身份或年龄（笔者将其称为验证类别）。第四种是确保社区中的所有父母和孩子都意识到游戏的风险，并帮助他们更安全地玩游戏，即进行相关教育。最后一种，社会可以制定限制此类游戏的法律，或要求其开发者对以上提到发生的事情负责，也就是做到监管。

如果只有一个虚拟游戏，则可能只有一个正确答案。但是有很多这样的游戏，而且功能各不相同，因此无法制定一项有效的政策。“我看不到一个宏大的技术解决方案，”罗凯蒂说，他是非营利组织 Meedan 的在线审核专家和内容审核项目负责人，Meedan为记者和非营利组织构建开源工具。

这并不意味着陷入绝境。她补充说：“我对这种零敲碎打的方式感到更加乐观。”罗凯蒂，罗伯茨和其他专家建议的解决办法可以大致分为以下概述的五个类别。

1.监督

来源：Pexels

监管网络空间最明显的方法也许是引入人为监督，无论是通过委派用户担任主持人（如 Reddit所做的那样）还是雇用承包商或员工来完成这样的工作。但是，对于那些业务建立在软件和规模基础上的科技公司来说，每一次聊天都让一名员工参与很耗费成本，对于那些希望在没有就差队长监督的情况下轻松交谈或协调游戏的用户来说也是如此。

在专门传递私人消息的平台环境中，审核也没有多大意义。许多大型多人在线游戏，例如暴雪的“魔兽世界”，都使玩家能够通过称为“密语”的功能，随时向其他任何玩家发送私人消息。Epic Games的《堡垒之夜》让你可以在好友列表中向其他玩家发送私人信息，并提供小组文本和语音聊天。罗伯茨提出，此类平台应“转为减少私人消息传递，而更多面向群体的消息传递的模型”，并由社区经理进行监控。她说，虽然保留孩子的私人空间对他们的成长很重要，但没有理由将游戏平台纳入这些空间。

当然，监控远非完美的解决方案。问问 Facebook 吧，其的签约监管者忍受着艰苦的工作条件，难以坚持执行这些规则。还有一种风险是，限制诸如 Minecraft  之类的游戏平台上的私人消息传递只会将用户推向甚至更多的私人平台上进行聊天，例如 Discord。但是，鉴于尚不存在完美的解决方案，因此假设你可以使用平台来进行游戏聊天，那么在聊天中有更多的监管将是一个好的开始。（我们将进一步应对这一挑战。）

你还可以选择简单地限制或删除聊天功能。2014年发行的暴雪游戏《炉石传说》允许玩家仅通过预设消息菜单与匹配的对手进行交流。该公司当时告诉游戏网站 Polygon，目标是“让《炉石传说》保持有趣、安全并吸引所有人。”

2.自动化

Fortnite拥有约2.5亿注册玩家，其中在任何给定时间，都可能有超过一百万在线。任何时候，规模都是个问题-在这种情况下，因为太多的人同时玩大型多人在线游戏，而却无法监视他们彼此说的一切——至少值得考虑一下自动化是否可以作为其中一种解决方案。事实证明，在某些情况下，自动化已经成为解决方案的一部分。这取得了胜利。

自2009年以来，微软发布了一款名为 PhotoDNA 的免费工具，该工具可扫描静态图像以查找与儿童色情作品已知实例的匹配情况，此后此方法已被其他公司广泛使用。去年，它扩展了该工具以包含监测视频。上周，这家公司宣布，它正在发布一项名为Project Artemis的新技术，该项目利用机器学习扫描在线对话，寻找儿童性诱拐的线索，并将可疑的指标标记出来，供人类审查。微软与包括 Roblox 和 Kik 在内的其他技术公司以及非营利组织 Thorn 合作开发了这项技术，而且将免费提供给其他平台使用。

Roblox 告诉 OneZero，这项技术已经将过滤工具应用于其平台上的所有聊天，并对13岁以下的孩子有额外的限制。过滤器会阻止粗俗语言，但还会尝试检测并阻止玩家试图诱使另一位玩家退出游戏并进入私人交流（例如通过询问其电话号码）。一位发言人说，Project Artemis 将为 Roblox 的系统增加另一层。

同时，Facebook一直在构建自己的机器学习软件，其中包括一个试图识别“掠食者”为儿童提供美容的例子的工具——即与他们成为朋友，以便以后再获取性图片。使用此类软件的公司通常会与美国全国失踪和被剥削儿童中心 (NCMEC) 合作，向执法部门报告材料。但正如《泰晤士报》在另一项针对 Facebook Messenger 等平台儿童色情内容的调查中所报道的那样，NCMEC 本身近年来也出现在各大报道中。

来源：jingyan.baidu

诸如 PhotoDNA 之类的图像扫描工具在游戏平台上的适用性较差，因为性图片倾向于在更多的私人消息传递服务中进行交换。罗说，像 Project Artemis 这样的一种分析聊天中可疑语音模式的方法，可能会为游戏平台带来希望，但这取决于聊天的上下文。在一些在线设置中，这种监控可能被用户和监管机构视为侵犯隐私。如果系统不够复杂且无法持续更新，“掠食者”将了解其工作原理，并使用加密暗号来应对。在 Discord 之类的平台上，这种系统可以被忽略，因为该平台允许用户通过语音和文本进行聊天。

美国海军学院的网络安全法助理教授杰夫·科塞夫（Jeff Kosseff），也是《通信礼仪法案》（互联网法律的一个基础部分）第230条的作者，他指出，在一些环境下，尝试对语音通信进行记录和分析可能受到隐私法的限制。此外，科瑟夫说，如果科技公司与执法部门在监视用户方面太过于密切合作，这些做法可能会违反《第四修正案》对政府无权搜查的限制。希望进行此类监控的游戏公司必须独立进行，并适当地通知用户以获取其同意，例如通过其服务条款。

要实现这种人工智能，可能需要一些小型游戏工作室所缺乏的资源。罗指出，“这就是行业合作和标准可以提供帮助的方面。”但是，此类系统必须不断发展，否则“掠夺者”将迅速了解监督者正在寻找的内容并部署规避策略（例如编码语言）以避免被发现。罗补充道，“即使是最先进的系统，也可能无法与训练有素的监控者的效率相媲美。”自动检测仍然是第一层价值，例如标记可疑互动以进行人工跟踪，但前提是必须将其作为更全面方法的一部分。

3.验证

其中一种最简单的方法就是在在线平台上将孩子与成人分开。但是有很多游戏，例如《我的世界》，既吸引青少年，又吸引成年人。按年龄将他们完全分开将是很艰难的一步，也许是不现实的一步。

适当一点的措施可能是将某些功能（例如私人聊天）限制为只允许成年人使用。“说到儿童和游戏，仅仅是因为可以让他们拥有不受限制的信息传递能力，是否应该允许这样做？”，罗伯茨说。“儿童的隐私对他们的成长至关重要。但也许并不是在任何时候任何地方都允许他们有自己的隐私。”

另一种可能的方案是要求用户以真实姓名注册。Facebook 要求用户验证其身份，这限制了困扰 Twitter 和 Reddit 等平台的部分（尽管不是全部）匿名闲逛和谩骂行为。

但这些政策需要核实人们的身份，这在整个游戏和社交网络的发展史上都是一个令人头疼的问题。科塞夫指出，试图通过立法或法规限制匿名可能会引起《第一修正案》的关注。例如，1995年最高法院的一项裁决为匿名辩护，认为匿名是“抵御多数人暴政的盾牌”，该裁决推翻了俄亥俄州的一项法律，该法律要求撰写政治竞选文献的人必须表明自己的身份。而在缺乏监管的情况下，要求这样做的公司可能会吓跑用户，此外还会提高数据泄露的风险，因为用户的活动可能更容易与他们的身份挂钩。卢指出了其他问题。

“例如，一个同性恋孩子可能希望有一个单独的、非常私人的个人资料”与他们的真实身份联系起来，”罗说。“如果他们的父母虐待或不接受他们的身份，那么实名政策将“限制他们在线互动的方式，并且很可能会隔离本来已经边缘化的社区。”

“为了确保孩子的安全，这样做的代价不应该是说你必须成为游戏专家。”——玛丽·安妮·弗兰克斯（Mary Anne Franks）

4.教育

让孩子和他们的父母了解并准备好如何应对网上儿童剥削可能是最没有争议的方法。一些游戏平台为用户提供教程，而一些非营利组织则开设数字扫盲课程。每个都大有裨益。

罗伯茨说：“最终，父母的监督必须成为其中的一部分。”“家长们对此应该更加精通，并准备好利用家长的特权来限制他们孩子使用的平台上的功能。但这意味着他们需要掌握成熟的技巧。不幸的是，在大多数家庭中，谈到他们最喜欢的在线平台的运作时，往往是孩子们的操作更加娴熟。她说，“一个建议可能是家长们将玩游戏的空间限制在家中的公共区域。”“不是，‘你带着 Nintendo Switch 进了房间，然后关上门，上帝知道会发生什么。”

迈阿密大学的法学教授，非营利组织“网络民权倡议”主席玛丽·安妮·弗兰克斯（Mary Anne Franks）也认为，“教育永远是一个好选择。”但她说，指望父母在网上做所有保护孩子的工作是不现实的，还是要让这些平台自己摆脱促进这些互动的束缚。她说：“为了保护孩子的安全，这样做的代价不应该是要成为游戏专家。”

不过，这些平台可以通过在孩子们实际使用的服务中发出一些教程，来帮助家长们进行教育。或许他们可以通过给参与者提供游戏奖励来激励他们完成一个关于如何避免被利用的教程。不过，归根结底，弗兰克斯说，“对话必须是这些技巧的有效性。”。没有人比开发和运行游戏平台的公司更能弄清楚如何停止游戏平台上的利用。这就是为什么弗兰克斯认为唯一真正的答案是……

5.管控

来源：Pexels

“我认为我们陷入混乱的原因是，我们一直将在线空间与离线空间区别对待，”弗兰克斯说。“想像一下这样一所学校，它允许成年人随意出入，可以与孩子们肆意交谈，并希望他们做到最好。”

除了一些例外，第230条保护了在线空间不因其用户发布的内容而被起诉。作为1996年《通信规范法》的一部分，该规定使现代互联网成为可能。如果没有它，任何带有评论部分的网站，更不用说社交媒体应用程序，将面临不断的法律风险，无论他们是否尝试管理自己的平台。但是，其中一个例外是违反联邦刑法，包括传播儿童色情制品。实际上，如果平台在其服务器上真正掌握了儿童色情内容，则根据法律，他们必须举报并删除该内容。但是，成年人试图对未成年人进行培训，或者劝说他们通过另一个渠道发送性图片，这些都不一定包括在联邦刑法中。

评论家们说，问题在于，第230条经常被法院和行业解释为一种不负责任的全权委托——例如，被解释为不做任何有关儿童性诱拐借口。弗兰克斯指出，这就是需要改变的地方，与监管机构或非营利组织相比，公司本身处于更好的位置，以了解哪种措施最有效地威慑对游戏平台中的儿童侵害。但是，在依法追究其责任之前，他们几乎没有动力采取任何可能损害其底线的行动。

从理论上讲，一种可能的补救办法是将第230条中专门针对儿童性诱拐的部分重新划分出来。这是立法者在通过FOSTA-SESTA时采取的方法，这是2018年一项颇具争议的法案，该法案要求平台对违反州和联邦性交易法的行为负责。但是该法案在多种方面产生了适得其反的效果，包括使性工作对其本应该保护的人们来说更加危险。除此之外，弗兰克斯说，她认为修改第230条的零碎做法相当于“糟糕的政策”，造成了混乱的重叠监管，只有那些拥有庞大律师队伍的大公司才能真正遵守这些监管。

相反，弗兰克斯和波士顿大学法学教授、网络民权倡议副主席丹妮尔·西特龙（Danielle 西特伦）正在就从更根本上修改第230条的想法进行合作。西特伦与Lawfare的本杰明•威特斯 (Benjamin Wittes) 共同撰写了一份颇具影响力的2017年提案。西特伦认为，最好的办法是将第230条的法律保护限定在能够展示“合理内容审查实践”的平台上。

在游戏平台和儿童性诱拐方面，这至少意味着至少要为用户提供报告机制并采取行动。这将为微软和Roblox等公司采取负责任的行动提供强大的后盾，即使它们没有抓住所有“掠食者”。但它将不再对第230条对那些甚至没有采取基本措施保护用户的平台进行保护。西特伦补充说，“你可能会惊讶其中有多少个。”“我们看到了很多严重的疏忽和鲁莽行为，”她说，比如约会应用程序，可以接收强奸或儿童剥削的报告，但从不跟进。很难说服他们投入必要的资源来改变第230条规定的法律豁免权。

科塞夫说，他担心，除非这些改革得到认真实施，否则可能会使小型平台的运营风险过高，从而减少在线交流的选择。最大的科技公司，如 Facebook，将在监管者、A.I.系统和法律团队上投入大笔资金，以保护自己免受针对用户行为的诉讼。但也有其他公司可能干脆关门，而不是冒着一大堆他们负担不起的诉讼的风险。

罗补充说，面临用户言论责任的平台将通过消除匿名性和以其他方式侵犯隐私来“过度补偿”。她说，必须在引人注目的平台之间取得平衡，既要严肃对待儿童性诱拐等问题，又要允许存在不积极监控用户的在线空间。

来源：Pexels

西特伦承认，合理性显然是一个主观标准。但这在其他法律领域很常见。“合理性的概念是在严格责任和无责任之间找到某种中间点。”

罗和西特伦同意，但是，责任首先在于平台，一种或另一种方式。制定特定技术方法的立法将创造出随着用户的适应而迅速过时的系统。

罗说，随着在线平台的发展，“这些问题正在不断变化”，解决方案也必须做到不断革新。仅仅因为没有快速解决方案，并不意味着我们应该接受这个损坏的系统。

推荐阅读专题

留言点赞发个朋友圈

我们一起分享AI学习与发展的干货

编译组：余书敏、孙梦琪

相关链接：

https://onezero.medium.com/how-to-keep-child-predators-out-of-virtual-playgrounds-like-fortnite-and-minecraft-78f8baf5a7b2

如转载，请后台留言，遵守转载规范

推荐文章阅读

ACL2018论文集50篇解读

EMNLP2017论文集28篇论文解读

2018年AI三大顶会中国学术成果全链接

ACL2017论文集：34篇解读干货全在这里

10篇AAAI2017经典论文回顾

长按识别二维码可添加关注

读芯君爱你