作者：Karen Hao

翻译：陈超

校对：Kay

本文长度为4400字，建议阅读10+分钟

本文将介绍由于自动化算法的广泛应用在日常信用积分领域带来的一系列法律及现实问题。

越来越多的律师在揭露、引导并应对妨碍贫困人士住房、工作中使用基本服务的自动化系统。

DANIEL ZENDER

遇到Nick时，Miriam只有21岁。她是一名摄影师，刚大学毕业，正在餐厅当服务员。Nick比她年长16岁，是一位曾在金融业工作的本地企业家。他非常迷人且有魅力，带她参加浪漫的约会并为她买任何东西。Miriam很快就陷入了他的温柔陷阱。

事情是从一张信用卡开始的，那时候，这还是她唯一的一张信用卡。一开始，Nick会透支最高额度5000美元，并在第二天迅速还上。Miriam（由于担心干扰他们现在正在进行的离婚流程，她要求我不要使用他们的真实姓名）发现这样可以提高她的信用分，她在一个低收入的单亲家庭中长大，因此十分相信Nick比她懂得更多这方面的专业技术。Nick对此欣然鼓励，并给Miriam洗脑，说她不懂金融财务，于是Miriam在她自己的名下为Nick开了更多的信用卡。

然而在三年前，麻烦来了。Nick要求她辞掉工作，来帮助他开展业务，她照做了。他让她去读研究生，且不要担心增加她现有的学生债务，她也照做了。他承诺会照顾好一切，她相信他。然而此后不久，他停止结清她的信用卡余额，她的信用分数开始下降。

即便如此，Miriam还是跟他在一起。他们结婚了。他们有三个孩子。然后有一天，FBI来到他们家逮捕了他。在联邦法庭上，法官判定他涉及了接近250000美元的电信诈骗。Miriam发现他把上万美元的债务都放在了她的名下。“他去监狱的那一天，我只有250美元现金，一套丧失抵押品赎回权的房子，一辆准备被收回的汽车，三个孩子，”她说。“我在一个月之内从拥有保姆、漂亮的房子以及几乎任何东西到一贫如洗。”

Miriam是所谓的“强迫债务”的幸存者，“强迫债务”通常是亲密伴侣或家庭成员实施的一种虐待形式。德州RioGrande法律援助机构的律师卡拉·桑切斯·亚当斯（Carla Sanchez-Adams）表示，虽然经济滥用是一个长期存在的问题，但数字银行业务使以受害者的名义开户和提取贷款变得更加容易。在自动信用评分算法时代，这种影响还可能更具破坏性。

信用评分已被用于评估消费者的信用度数十年，但是它们的专业性在算法提供的支持下变得更强了：不仅是在被获取分析数据的数量和类型上的增强，还会更多地关系到你是否可以购买汽车，租住公寓或获得全职工作。它们的广泛的影响意味着如果你的得分受损，它是几乎不能恢复的。更糟的是，这个算法被私有公司所有，他们不会透露得出结论的方法。受害者可能进入恶性循环，他们最终要么倾家荡产，要么回归虐待者的怀抱。

信用评分算法并不是唯一会影响人们的经济状况和基本服务获取的算法。现在，算法可以确定哪些儿童接受寄养，哪些患者接受医疗护理，哪些家庭可以使用稳定的住房。我们中那些有能力的人可以在没有任何意识到的情况下过我们的生活。但是对于低收入个体，自动决策系统的快速增长和采用已经创建了一个隐藏的环环相扣的陷阱网。

幸运的是，越来越多的民事律师开始将此问题规范化。借鉴刑事辩护界对风险评估算法的抵制方法，他们开始自学这些系统，建立一个社区，并且建立辩护策略。“基本上每一个民事律师都开始处理这类事务了，因为我们所有的客户都或多或少被这类系统影响，”巴尔的摩大学的临床法学教授Michele Gilman说道。“我们需要清醒，并且得到训练。如果我们想成为真正的全才律师，我们需要对此了解。”

“我需要质询这个算法吗？”

Gilman在巴尔的摩执业20年。在担任民事律师和贫困律师的过程中，她的所有案例都能归结为同一件事：为无法获得基本需求（例如住房，食物，教育，工作或医疗保健）的人们发声。有时这意味着与政府机构对峙。其他时间则是与信用报告机构，或者房东。现在关于客户权利的诉讼也越来越多地涉及到一些算法。

“这对我们的客户来说是全方位的，”她说。“他们陷入了不同算法所造成的禁止他们使用基本服务的问题之中。并且顾客可能不会意识到，因为这些系统是无形的。”

对低收入个体来说，暂时的经济困境可能会造成恶性循环，只有破产或者无家可归才能终止

JONTYSON / UNSPLASH

她记不清她是什么时候意识到一些可用性决策是被算法影响的了。到那时当交易第一次发生的时候，它很不明显。有一次，她给一个老年的残疾客户做代理，她莫名其妙地被切断了由医疗补助基金资助的家庭医疗援助。“我们不能找到原因，”Gilman记得。“她病得更重了，如果你病得更重了，你会获得更多的时间，而非更少。”

直到他们站在法庭的庭审，代表该州的证人才透露政府刚刚采纳了一种新的算法。证人是一名护士，她什么也解释不了。“她当然无法解释，它们是现成的”。

Gilman说。“她是护士，不是计算机科学家。她无法回答导致此问题的原因。它是如何加权的？你想要什么结果？所以我跟在我律师事务所的我的学生讨论，就像‘哦，我要质询一个算法吗？’”

对Arkansas的法律援助律师Kevin De Liban来说，这个变化同样是具有隐蔽性的。2014年，他所在的州也发布了分发医疗补助基金资助的家庭医疗援助新系统，切断了原来可以获得资助的一大群人获取权。在那时，他和他的同事无法识别问题根源所在。他们只知道有东西发生了变化。“我们发现评估系统从一个20题纸质问卷变成了283题的电子问卷”他说。

两年之后，当算法的错误再次将其带到了法律的审查之下，De Liban最终找到了问题的根源。他意识到护士告诉病人，“好吧，电脑的锅——不是我。”“这启发了我们，”他说。“如果我们早知道我们在2016年才知道的事实，我可能在2014年的时候就做到了更好的工作支持”，他补充说。

“一个人每天会经历过许多系统”

从那以后，Gilman变得更加精明。从她代表客户处理一系列问题的优势来看，她观察到了两个算法网络的兴起和碰撞。第一类包括信用报告算法，例如困扰Miriam的算法，这些算法会影响对私人物品和服务（如汽车，房屋和就业机会）的获取。第二类包括政府机构采用的算法，这些算法会影响人们获得诸如医疗保健，失业和儿童抚养服务之类的公共利益。

从算法报告的角度来看，数据的收集和共享比之前更为容易，这也推动了算法的发展。信用报告不是新的东西，但是近来它们的脚步变得更广阔。消费者报告包括信用局，筛选承租户公司，或者检查验证服务，从更广泛的资源当中集聚信息：公共记录，社交媒体，网络浏览，银行活动,app使用以及更多。算法可以给人们赋值“价值”分，这在银行，雇主，房东，甚至学校的背景调查中起到了重要作用。

另一方面，政府在系统现代化过程中必须采纳算法。在2000年初，对基于网络的app和数据工具的采用就开始了，并且这种趋势随着更为数据驱动的自启动系统和AI而持续进行。这些变化背后的原因是好的。在疫情期间，许多失业福利系统要处理大量的新请求，导致了显著的延迟。将这些系统现代化就可以保障更快、更可信的结果获取。

但是软件的采购过程并不可能是透明的，因此缺乏可解释性。公共代理机构通常直接从私人供应商处能够买到自启动的决策工具。结果是当系统出错，个体会受影响——以及他们的律师——也会陷入困境。“他们不会在任何地方进行宣传，”费城法律援助的律师JuliaSimon-Mishel说。“它通常不会写在任何政策指导或者政策手册当中。我们处于不利境地。”

缺乏公共审查也会让系统更易出错。最惊人的故障发生在2013的密歇根。在大费周章将州的失业福利系统自动化之后，算法异常地标记了超过34000人有欺诈行为。“它导致大量的福利损失，”Simon-Mishel说。“有破产;不幸的是，也有自杀。真是一团糟。”

 吉尔曼担心，新冠相关的债务和驱逐将被写入信用评分，这会使人们永远难以获得工作、住房和贷款。

SCOTTHEINS/GETTY

对于算法造成的影响，低收入个体首当其冲。他们是最易受到编入消费者报告的短期经济困难的影响的人群，也是最需要并寻求公共福利的人。在过去这些年里，Gilman已经看到过越来越多的客户冒险进入恶性循环的案例了。“一个人每天会接触到很多的系统”她说。“我的意思是，我们都是这样的。但是这种结果对贫穷的人和少数人民来说影响更大。”

她把自己最近在事务所的一个案子为例。一个家庭成员由于疫情失去了工作，并因自动系统的问题而被拒绝获取失业福利。这个家庭拖欠房租，导致他们的房东起诉要驱逐他们。然而驱逐并不合法，因为CDC的禁令，这场诉讼仍在公共记录里。

那些记录会放进承租人筛选算法，这会让这个家庭在将来更难找到稳定的住房。他们未能支付租金和水电费也会对他们的信用评分有一定影响，这又再次产生了影响。“如果他们尝试建立电话服务或者取出贷款或者买车或者申请工作，这又会产生连锁的涟漪效应，”Gilman说道。

“每一个案例都会变成一种算法案例”

九月份时，Gilman已经是数据和社会研究机构的教职员了，发布了一个报告记录所有的贫困者律师可能遇到的算法。叫做贫困法律算法，它是该领域同事的一本指南。分成了特定的领域，像消费者法，家庭法，住房、公共利益，它解释了如何在现存法律视角下处理算法以及其他数据驱动的技术带来的问题。

例如，如果客户因信用评分差而被拒绝入住公寓，报告建议律师首先检查输入计分系统的数据是否准确。根据《公平信用报告法》，要求报告机构确保其信息的有效性，但也并非总会如此。对任何错误的索赔提出异议可以帮助恢复客户的信誉，从而获得住房。然而，该报告承认，现有法律只能做到这么多。Gilman表示，仍有监管空白需要填补。

Gilman希望这个报告敲响警钟。她许多同事仍然没有意识到在发生的问题，他们不能问出揭示算法的正确问题。那些意识到问题的人分散在美国的各个角落，了解，引导并孤独地向这些系统宣战。她看到了一个连接他们和创造一个互助社区的机会。“我们都需要训练、更多的知识——不仅仅是法律，而且是在这些系统里，”她说。“最终就像所有的案例都将变成一个算法的案例。”

相关故事

登录即出局：美国的虚拟驱逐危机内幕

上千的租户通过手机和视频电话被逐出家门。

从长远来看，她希望从刑事法律界获得启发。她说，在作为一个社区组织起来并反对确定判决的风险评估算法时，刑事律师一直处于“领先地位”。她希望看到民事律师也做同样的事情：发起一项运动，将更多的公众审查和监管带给客户面对的隐藏算法网络。她说：“在某些情况下，可能应该将其关闭，因为没有办法使它公平。”

至于Miriam，在Nick被指控犯罪之后，她一走了之。她跟三个孩子搬到了新的州，并且与支持强迫债务和家暴幸存者的非营利组织取得了联系。通过他们，她上了一系列教她如何管理自己的财产的课程。这个组织帮助她解决了她大部分的强迫债务，了解了更多关于信用分的知识。当她去买车的时候，她的信用分刚刚勉强通过了最低限额，她爸爸是联合担保人。自那之后，她的定期支付的车贷和学生贷款慢慢增加了她的信用分。

Miriam仍然需要保持警惕。Nick有她的社会安全码，他们尚未离婚。她一直担心他可能会再开更多的账户，以她的名义取更多的贷款。有一段时间，她每天都要检查她的信用报告是否有欺诈行为。但是这些天，她也有了值得期待的东西。她的爸爸已经六十多岁了，想退休。他们两个人现在正在计划买一套房子。“我非常焦虑这件事。我的目标是今年结束之前攒到700分，”她说道自己的信用分，“并且之后我就准备好买房了”

“我从没住在一个我自己所拥有的房子里过，”她补充道。“他和我正共同努力来攒钱买一个永久的家。”

原文标题：

The coming war on the hiddenalgorithms that trap people in poverty

原文链接：https://www.technologyreview.com/2020/12/04/1013068/algorithms-create-a-poverty-trap-lawyers-fight-back/

编辑：黄继彦

校对：汪雨晴

译者简介

陈超，北京大学应用心理硕士在读。本科曾混迹于计算机专业，后又在心理学的道路上不懈求索。越来越发现数据分析和编程已然成为了两门必修的生存技能，因此在日常生活中尽一切努力更好地去接触和了解相关知识，但前路漫漫，我仍在路上。

翻译组招募信息

工作内容：需要一颗细致的心，将选取好的外文文章翻译成流畅的中文。如果你是数据科学/统计学/计算机类的留学生，或在海外从事相关工作，或对自己外语水平有信心的朋友欢迎加入翻译小组。

你能得到：定期的翻译培训提高志愿者的翻译水平，提高对于数据科学前沿的认知，海外的朋友可以和国内技术应用发展保持联系，THU数据派产学研的背景为志愿者带来好的发展机遇。

其他福利：来自于名企的数据科学工作者，北大清华以及海外等名校学生他们都将成为你在翻译小组的伙伴。

点击文末“阅读原文”加入数据派团队~

转载须知

如需转载，请在开篇显著位置注明作者和出处（转自：数据派ID：DatapiTHU），并在文章结尾放置数据派醒目二维码。有原创标识文章，请发送【文章名称-待授权公众号名称及ID】至联系邮箱，申请白名单授权并按要求编辑。

发布后请将链接反馈至联系邮箱（见下方）。未经许可的转载以及改编者，我们将依法追究其法律责任。

点击“阅读原文”拥抱组织