新研究旨在用“黑箱”算法解决人工智能偏差问题

来源：亿欧

概要：随着越来越多的自动化决策，能够理解AI如何思考对我们来说变得越来越重要。

随着越来越多的自动化决策，能够理解AI如何思考对我们来说变得越来越重要。从挑选股票到检查X射线，人工智能越来越多地被用来做一些决策，而这些决策从前都是由人类所做。但是人工智能只是像它处理的数据一样好，在多数情况下，我们还是把人性的偏见都当成了可能对人们的生活产生巨大影响的算法。

研究人员在一篇发表在arXiv上的新论文中说，他们可能已经想出了一种方法来排减难以被外人检查的算法的问题——所谓的“黑匣子”系统。

出现偏差的一个特别令人不安的地方是风险评估模型，例如它可以决定一个人获得保释或批准贷款的机会。通常在这种情况下考虑种族等因素是非法的，但算法可以学习识别和利用这样一个事实，即一个人的教育水平或家庭住址可能与其他人口统计信息相互关联，种族偏见和其他偏见可能通过这些信息有效地渗透到他们的脑海中。

是什么让这个问题变得更加棘手？许多用来做出这些选择的AI都是黑匣子，要么是它们太复杂，不易理解，要么是公司拒绝解释专有算法。研究人员一直在使用工具来了解发生了什么，但是这个问题是普遍存在的，并且在不断增长。

在这篇论文中，当时在微软工作的Sarah Tan和他的同事尝试了两种黑箱风险评估模型：一种是同等规模公司LendingClub的贷款风险和违约率，另一种是Northpointe，该公司向全国各地的法院提供基于算法的服务来预测被告的累犯风险。

研究人员使用双管齐下的方法来阐明这些潜在的有偏算法是如何工作的。首先，他们创建了一个模拟正在检查的黑盒算法的模型，并根据初始数据集创建风险评分，工作原理同LendingClub和Northpointe一样。然后，建立第二个模型，他们针对现实世界的结果，用该模型确定最初数据集中对最终结果重要的变量是哪些。

对于LendingClub，研究人员分析了从2007年到2011年的一些到期贷款的数据。LendingClub的数据库包含了许多不同的领域，但研究人员发现，该公司的贷款模式可能忽略了申请人的年收入和贷款目的。因为申请人自己报告收入并且可以伪造收入，因此忽略收入尚情有可原。但贷款目的与风险高度相关，例如，小企业的贷款比用于支付婚礼的贷款风险大得多。所以说LendingClub似乎忽略了一个重要的变量。

与此同时，Northpointe说，COMPAS算法在提出量刑建议时不把种族作为变量。然而，ProPublica的一项调查表明，在COMPAS帮助下记者收集了被判刑的被告的种族信息，并发现了种族偏见的证据。在他们的模拟模型中，研究人员使用ProPublica收集的数据以及被告的年龄、性别、收费等级、先前的定罪数量、此前的服刑时间等信息。该方法与ProPublica的研究结果一致，这表明COMPAS可能偏向于某些年龄和种族群体。

批评者可能会指出，这些并不是确切的副本—因为是没有必要的，研究人员进行了大量有依据的猜测。但是马萨诸塞大学的助理教授Brendan O'Connor发表了一篇关于自然语言处理偏见的论文，他说，如果利用某种算法的公司不愿意发布其系统如何工作的相关信息，这个研究中的近似模型则是获得洞察力的一个合理方法。

奥康纳说：“我们需要意识到这一切正在发生，而不是闭上眼睛，假装什么都没有发生。

新研究旨在用“黑箱”算法解决人工智能偏差问题相关推荐

糟糕，手机密码不保！剑桥大学新研究，用AI算法“监听”手机打字，触摸屏也中招...
栗子安妮发自凹非寺量子位出品 | 公众号 QbitAI 触摸屏,也能出卖你的手机密码. 手机的内置麦克风,搭配AI算法,就能让输入的每一个字无处可逃. 你可能听不到,但手指每在屏幕上轻轻点一 ...
[小红猪]算法：人工智能的新曙光
[小红猪]算法:人工智能的新曙光 Comments>> | Tags 标签:人工智能, 人工神经网络, 译文, 贝叶斯网络小红猪小分队发表于 2011-07-07 09:00 译 ...
苏黎世新研究：人工智能探测暗物质【智能快讯】
By 超神经 AI 无处不在的时代,每天都有新的技术与研究成果出现.无论学术界还是商界,技术还是产品,AI 的新发现都源源不断,在带给我们全新视角的同时,也引起我们更深的思考. HyperAI 超神经 ...
Nature发表新研究，用“光”加速人工智能 | AI日报
Nature发表新研究,用"光"加速人工智能光子计算研究再登Nature.2021刚开年,顶级科学期刊<Nature>就在一天之内连发两篇利用光学特性加速AI处理的 ...
Science新研究颠覆认知，有望一举解决困扰器官移植60余年问题，网友：生物课本得改了...
鱼羊金磊发自凹非寺量子位报道 | 公众号 QbitAI 看来这一次,免疫学教科书得改版了. 事情是这样的. 顶级期刊 Science 发表了一篇关于免疫学方面的重磅文章(共同一作还是一位华人 ...
贝叶斯网络之父Judea Pearl：新因果科学与数据科学、人工智能的思考
来源:AI科技评论本文约6000字,建议阅读10分钟本文介绍贝叶斯网络之父 Judea Pearl <新因果科学与数据科学.人工智能的思考>的报告. 标签:人工智能 6月21日,图灵奖 ...
DeepMind强化学习新研究：更快的知识学习，更强的环境适应
2021-05-04 13:36:12 编译 | Mr Bear 校对 | 维克多 DeepMind官方博客在一篇文章"Fast reinforcement learning through ...
李飞飞新研究：基于深度学习和视觉化语言来了解不同物体间的关系
来源:凤凰科技概要:最近她所在的实验室正在做一项新研究,基于深度学习和视觉化语言模式了解不同物体之间的关系. 2017未来科学大奖颁奖典礼暨未来论坛年会28.29日在京举办,斯坦福大学终身教授.谷歌 ...
新研究表明深层神经网络的功能存在局限性
GETTY IMAGES/IEEE SPECTRUM 来源:IEEE电气电子工程师深度神经网络越来越有助于设计微芯片,预测蛋白质如何折叠,并在复杂游戏中胜过人们.然而,研究人员现在发现,这些人工智能 ...

新研究旨在用“黑箱”算法解决人工智能偏差问题

新研究旨在用“黑箱”算法解决人工智能偏差问题相关推荐

最新文章

热门文章