On the Opportunities and Risks of Foundation Models-SOCIETY

这里写目录标题

SOCIETY
- Inequity and fairness
- - Introduction.
  - Harms
  - Sources
  - Interventions and recourse.
  - Takeaways
- Misuse
- - Foundation models will be misused for harmful purposes
  - Foundation models will be powerful detectors of harmful content.
- Environment
- - Carbon impacts can and should be mitigated in many cases
  - Costs and benefits should be assessed before using foundation models.
  - Carbon/energy impacts should be systematically reported.
- Legality
- - Training
  - Output liability
  - 输出的法律保护。
- Economics
- - Productivity and Innovation
  - Wage inequality
  - Centralization
  - Other considerations
- Ethics of scale
- - Homogenization and scale.
  - Surveillance, exclusion, and power
  - Norms
  - Release and Auditing
  - When not to build
  - Conclusion

SOCIETY

基础模型的社会影响，既涉及到模型本身的构建和它们在开发应用程序中的作用，都需要仔细检查。具体来说，我们预计基础模型将产生广泛的社会后果，并具有挑战性地理解：基础模型是不直接部署的中介资产，而是作为一个进一步适应的基础。因此，推理技术的社会影响的传统方法可能很复杂；对于具有明确目的的系统，社会影响更容易掌握（但仍然困难）。在本章中，我们将讨论我们如何应对并开始理解模型基础模型的社会影响的复杂性。具体而言，我们讨论了(i)关于不公平（5.1：公平）和滥用（5.2：误用）的危害，（ii）对经济（5.5：经济）和环境（5.3：环境）的影响，以及（iii）关于法律（5.4：合法性）和伦理（5.6：伦理）的更广泛的考虑。

Inequity and fairness

图24。基础模型中存在的内在偏差是各种训练偏差源（左）的副产品，以及在适应过程中引入的偏差，决定了用户在特定下游应用环境中所经历的外部危害（右）。我们强调，相同的基础模型是许多不同应用程序的共享基础；因此，它的偏见会传播到这些许多应用程序中。此外，由于用户所经历的危害是特定适应模型的结果，将这些危害归因于图中描述的各种过程和来源是至关重要和具有挑战性的。

Introduction.

基础模型有可能产生不公平的结果：对不公正的人的对待，特别是由于加剧历史歧视的不平等分布[海尔曼2021]。与任何人工智能系统一样，基础模型可以通过产生不公平的结果、巩固权力系统，并不成比例地将技术的负面后果分配给那些已经被边缘化的人来加剧现有的不平等[Sweeney 2013；凯等人2015；布兰维尼和格布鲁2018；本杰明2019；阿荣瓦2019；达格纳齐奥和克莱因2020年；克劳福德2021年]。在这里，我们要问什么与公平相关的危害与基础模型有关，什么来源要对这些危害负责，以及我们如何可以进行干预来解决它们。我们在这里讨论的问题与更广泛的算法公平和人工智能伦理问题有关[科比特-戴维斯和目标2018；乔尔德科瓦和罗斯2020；海尔曼2020；约翰逊2020；法泽尔普和丹克斯2021]，种族和技术[本杰明2019；汉娜等人2020；格布鲁2021；菲尔德等人2021年]，以及社会与技术的共存[Abebe等人2020年]。

Harms

基础模型是在适应之前没有特定目的的中介资产；了解它们的危害需要推理它们的属性以及它们在构建特定于任务的模型中所扮演的角色。我们描述了内在偏差，即间接但广泛影响下游应用的基础模型的特性，以及外部危害，即在特定下游应用中产生的危害[镓和Sparck Jones 1993]。

内在偏见。基础模型的特性会对下游系统造成危害。因此，这些内在偏差可以在基础模型中直接测量，尽管危害本身只有在适应基础模型并随后应用时才会实现，即这些是潜在的偏差或危害[DeCamp和Lindvall 2020]。我们关注研究最广泛的内在偏差、表征偏差，特别是考虑错误陈述、陈述不足和过度陈述。人们可能被有害的刻板印象歪曲[博鲁基等人2016；卡利斯坎等人2017；Abid等人2021；Nadeem等人2021；格曼等人2020]或消极态度[哈钦森等人2020]，可通过下游模型传播，强化这种社会误解[2018年高贵；本杰明2019年]。人们可能被代表不足或完全消除，例如，当LGBTQ+身份术语[加强等2020年2020；奥利瓦等2021；托马舍夫等人2021]或描述非裔美国人的数据[布奥兰维尼和格布鲁2018；科内克等人2020；布洛杰特和奥康纳2017]被排除在训练数据中，下游模型在测试时难以处理类似的数据。人们可能被过度代表，例如，BERT似乎默认编码了一个角度中心的观点[Zhou et al. 2021a]，这可以放大大多数声音，促进观点的同质化[克里尔和海尔曼2021]或单一文化[克莱因伯格和拉格哈万2021]（5.6：伦理）。这些表征偏差适用于所有的人工智能系统，但它们的重要性在基础模型范式中大大提高。由于相同的基础模型是无数应用程序的基础，因此人员表示的偏见会传播到许多应用程序和设置。此外，由于基础模型做了大部分的重型工作（与适应相比，这通常是轻量级的），我们预计，许多经历过的危害将显著地取决于基础模型的内部属性。

外在的危害。用户可以体验到来自通过调整基础模型而创建的下游应用程序的特定危害。这些危害可以是具有代表性的[巴罗卡等人2017；克劳福德2017；2010年布洛杰特等人2020]，如信息检索系统产生的黑人女性的性描述[高贵2018]，机器翻译系统默认男性代词的性别错误[2013,2014]，或产生有害的刻板印象[Nozza等人2021；盛等2019；Abid等2021]。它们可能包括滥用，例如，基于基础模型的对话代理攻击含有有毒内容的用户[Dinan等人2021年；Gehman等人2020年]或微侵犯[布雷菲勒等人2019年；尤尔根斯等人2019年]。所有这些面向用户的行为都可能导致心理伤害或强化有害的刻板印象[斯宾塞等人，2016年；威廉姆斯，2020年]。

除了个人所经历的伤害外，群体或亚群体也可能受到伤害，如群体水平的表现差异。例如，系统可能在非裔美国人英语的文本或语音上表现不佳[布洛吉特和奥康纳2017；科内克等人2020]，从种族、性别和保险地位少数群体的临床记录中错误地检测到医疗状况[张等人2020b]，或未能检测到深色肤色人群的面孔[威尔逊等人2019；布奥兰维尼和格布鲁2018]。随着基础模型的广泛应用，包括在高风险领域，这些差异可能会演变成进一步的、更严重的危害。Koenecke等人[2020]讨论如何如果非裔美国人英语不能可靠地使用语音识别技术（例如，由于不平等的基础模型），这可能意味着他们不能受益于某些衍生产品（如语音助手、辅助技术），将弱势如果这些技术用于进行面试就业或转录法庭程序。更普遍地说，描述这些群体层面的伤害（并为那些受到伤害的人争取正义而努力）也需要人工智能社区提高其对基于群体的偏见的理解[Allport 1954]和社会群体：我们指出了社会科学和其他社区关于超越二元性别治疗的相关工作,更细致的种族处理[例如，彭纳和萨珀斯坦2008年；弗里曼等人2011年；萨珀斯坦和彭纳2012年；萨珀斯坦等人2013年；彭纳和萨珀斯坦2015年；菲尔德等人2013年，2016年；2018年，梅等人2019年；2019年，2019年，巴特伯里2012年；哈钦森等人2020年]。

其他注意事项。为了更全面地理解基础模型的危害，需要进一步记录内在偏差和外在危害；未来的工作应该阐明内在偏见和外在危害之间的关系[布洛杰特等人2020,2021；戈德法布-塔兰特等人2021]。该文档要求将利益相关者集中在学术界和行业从业者之外：基础模式的不公平影响将主要来自少数族裔人口，他们在学术界和工业界都代表不足。具体来说，基金会模型的创建和研究可能将由那些有渠道和资源的人进行，进一步强调集中边缘化声音的场所的重要性[D‘Ignazio和Klein2020,5.6：伦理]。特别是，用户对特定的适应模型的研究，当跨应用程序聚合时，可以提供引人注目的和个性化的文档，从基础模型的内在偏见中产生的危害，同时以个人用户为中心。通过这种方式，我们想象人机交互（HCI）的方法，通过一些调整以适应基础模型中涉及的抽象，将有助于集中边缘社区的声音（2.5中的进一步讨论：交互）。

Sources

为了充分描述基础模型的危害并进行适当的干预，我们必须能够将其来源追溯到基础模型的性质和适应过程，并进一步分解为个体偏差来源的作用[弗里德曼和尼森鲍姆，1996]。来源追踪对于将经历过的伤害归因于伦理和法律责任至关重要，尽管归因将需要新的技术研究，以突出因果关系[Pearl 2000]和影响[Koh和Liang 2017]。

数据。几种类型的数据基于基础模型塑造了应用程序的行为和相关的外部危害：用于训练基础模型的训练数据，用于适应基础模型的自适应数据，以及测试时的用户数据/交互。对于所有这些数据源，数据的属性（例如，毒性和仇恨言论[亨德森等2017]，辱骂语言[Waseem等2017]，微攻击[飞行员等2019]，刻板印象[他等2018]）将体现在偏见的基础模型（及其适应derivatives）.91自训练数据是关键数据源，决定了基础模型和相关的内在偏见，我们关注这里的训练数据。目前，训练数据与相关数据实践（如数据管理、数据选择和数据加权[Paullada等人2020；2020；Bender等人2021；罗杰斯2021]）与基础模型获得的内在偏差之间的关系尚不清楚；迫切需要未来的工作来澄清这一关系。

由于基础模型通常需要巨大规模的训练数据，这不仅对其文档提出了明显的挑战[Bender等人，2021]，而且还需要全面的科学探索来阐明数据偏差和模型偏差之间的关系，我们预计需要新的协议来解决这个规模。建立偏差尺度定律，类似于准确性指标[Kaplan等人2020年20；亨尼安等人2020]，可能使更小规模的系统研究成为可能，为更大尺度的数据实践提供信息。

建模。建模决策（例如，培训目标（4.2：培训）、模型体系结构（4.1：建模）、自适应方法（4.3：自适应））影响基础模型及其衍生物的偏差，从而影响所经历的外部危害。现有的工作表明，基础模型放大了训练数据偏差，扩展了机器学习和深度学习模型的趋势[赵等2017；Wang等2019d；贾等2020；桥本等2018]，尽管仍不清楚模型属性如何导致这种偏差放大。此外，考虑到直接应用基础模型可能是不可行的（由于其规模），努力压缩这些模型或使它们更有效率似乎也会放大偏差[Hooker等人，2020年；伦杜钦塔拉等人，2021年]。反馈循环也可能会加剧放大，在反馈循环中，基础模型修改社会行为并诱发社会变化，从而诱发社会变化，从而修改后续的训练数据；这种形式的反馈效应往往会加剧其他ML应用中的不平等[Lum和Isaac 2016；Ensign等2018；桥本等2018]。除了在培训和应用基础模型中做出的明确决定外，社区价值观[Birhane等人2020]和规范（5.6：伦理）间接和含蓄地[Liu等人2021b]塑造了构建模型中的决策。因此，测量偏差与工作引入基础模型[例如，布朗等2020]和标准基准[弗里德曼和尼森鲍姆1996,4.4：评估]，以及进行用户研究与不同用户组文档经历了伤害，步骤确保最佳实践积极强调偏见和不平等的考虑。

建模者。与所有算法系统一样，开发或应用基础模型的决策机构中利益相关者和边缘群体的代表性和多样性本质上是有问题的，可能对这些社区造成更大的伤害。92虽然难以记录，但现有的开发基础模型表明这是一种可能性：卡斯韦尔等人[2021]演示了有缺陷的多语言的多语言数据集中训练多语言模型和哈钦森等人[2020]表明，模型往往包含对残疾人的不良偏见。在这两种情况下，这些偏见和危害可能已经被在开发团队中更好地代表这些各方所注意到。此外，由于最终用户可能比开发人员更多样化，并且可能更早地注意到这些问题，允许用户反馈有助于基础模型设计（2.5：交互）是一个重要的方向。

Interventions and recourse.

解决、减轻和纠正与技术相关的不平等现象需要整合社会和技术方法[Abebe等人，2020年]。对于基础模型，我们特别考虑了改变模型开发和部署以预防性减少伤害的主动方法，以及应对伤害并对未来做出改变的反应性方法。在其核心，基础模型的抽象复杂的两个方面：知道干预层面的基础水平成功地减少伤害需要下游观察的特定部署应用程序和追索权的伤害需要上游传播反馈和问责基础模型提供者。

干预。管理技术系统干预的一般原则适用于基础模型设置：确定哪些来源对偏见或伤害最负责，提供有针对性行动所需的证据。例如，呼吁改善设计、生产和控制技术（如基础模型）及其应用的团队多样性的紧迫性[朗吉诺1990年；哈定2015年；尼尔森等人2017年；奥康纳等人2019年；霍夫斯特拉等人2020年；卡特尔等人2020年如果缺乏多样性会进一步加剧[Caswell等人2021年]。此外，透明文件[例如，格布鲁等人2018年；本德和弗里德曼2018年；米切尔等人2019年]和审计[例如，拉吉和布奥兰维尼2019年]在提供干预和变革动力方面同样关键[伯勒尔2016年；立顿2018年；克里尔2020年；拉吉等人2020年；威尔逊等人2021年]。基础模型的规模，以及它们的可访问性的细节，为现有的文档和审计协议带来了新的挑战，我们将在5.6：伦理学中进一步讨论。

迄今为止，许多为减少技术的不公平影响而考虑的干预措施，包括在基础模型制度中，都是以数据为中心的技术缓解方法（消除反映不平等或偏见）和建模所涉及的决策（避免放大数据的偏见）。基础模型制度中的特别重要的是认识到这些缓解方法可能针对管道中的不同步骤，如训练数据[例如，陆等2020]，建模目标[例如，赵等2018])、适应方法和测试时间使用[例如，公园等2018；赵等2019]。因此，不同的方法可能不仅或多或少有效，但需要行动从不同的实体（例如，基础模型提供者和应用程序开发人员）和或多或少地集中影响这些模型的昂贵的培训过程（例如，改变创建一个基础模型的过程和改变它事后）。这种形式的技术干预也可能针对不同的目标：一些干预措施，如改变训练数据，旨在减少内在的偏见。另一方面，大多数算法/ML公平性的缓解工作都考虑减少模型行为方面的结果差异，即与外部伤害更直接相关的下游系统的输出。目前所有形式的技术缓解都严重有限：衡量或对抗内在偏见的方法是脆弱或无效的[戈宁和戈德堡2019；埃塔亚拉赫等人2029；博马萨尼等人2020；周等人2021b；安东尼亚克和诺2021]，衡量或对抗外部结果差异的方法可能与利益相关者目标不一致[萨哈等人2020]，有一些证据表明某些类型的技术干预可能同时无法满足[2018；2017]，不可能[莱奇纳等人2021]，或甚至可能加剧不平等[徐等人2021]。尽管存在这种情况，但我们仍然相信，技术方法仍将在解决基础模式制度中出现的危害方面发挥重要作用；一般来说，我们提倡透明度，特别是考虑到技术缓解方法可能无法实现预期的目标。更广泛地说，必须谨慎地提出偏见和偏见缓解的主张，以清楚地向不同专业知识、不同的利益相关者（例如，应用程序开发人员和基础模型；[Nissim等人，2020]）。

追索权。不幸的是，主动干预不太可能完全解决由于基础模型可能产生的所有潜在伤害或不平等。当出现损害时，目前没有广泛采用的（或法律要求的）框架来解决对受损害当事方的适当追索权。虽然对于特定的应用程序可能存在某些协议，但基础模型的抽象再次引入了一种脱节：危害可能部分归因于基础模型提供商和下游应用程序开发人员，但将这种责任分配给任何一方仍然具有挑战性。更简单地说，甚至还没有机制将这些危害传达给基础模型提供商（即使向应用程序开发人员提出了反馈或投诉）。因此，需要新的规范和标准，说明来自应用程序开发人员和最终用户的反馈应该如何到达基础模型提供商的上游，如何确定负责这些伤害的实体（如基础模型提供商、应用程序开发人员），以及与法律责任的关系（5.4：合法性）。在这个问题上取得进展，我们鼓励未来的工作咨询实践用于其他领域（特别是那些类似的抽象和多实体结构），我们预计任何标准引入可能需要合理动态，这样他们可以同步的快速变化的现状这些模型和他们的应用程序。

Takeaways

机器学习有一个不公平影响的既定跟踪记录，其危害的大部分负担是由边缘化社区承担的。基础模型为这种计算带来了新的挑战，但最终，要使其社会影响更加公平，需要进行重大的研究和改变，以了解它们造成的危害，并有意义地解决和纠正这些危害：

(1)基础模型的一对多性质，即在许多应用程序中使用相同的少数基础模型，意味着基础模型的内在特性渗透到许多下游应用程序中。因此，这些模型中的有害偏见对所经历的危害有巨大的影响。

(2)基础模型制度中的偏见和危害来自许多来源（例如，培训和适应数据、建模和适应决策、建模者多样性和社区价值）。将偏见和伤害的来源归因是干预和责任问题的基础；归因需要可靠地进行新的技术研究。

(3)基础模型的不平等并非不可避免，但解决它们需要一种多管齐下的方法，包括主动干预（例如，以数据为中心和以模型为中心的变化）和反应性求助（例如，反馈和问责机制）。

Misuse

图25。这张图显示了基础模型对操作性和有害内容生成的影响，以及对检测的影响。

在本节中，我们考虑了基础模型的误用——人们在使用基础模型时使用它们的情况（例如，生成语言），但它们的能力被有意地利用来对人口或个人造成伤害。该定义定位不平等（模型可以造成恶意；5.1：公平）和安全(不良行为者利用模型中的无意能力或漏洞造成伤害；4.7：安全）之间的滥用问题。下面，我们将概述基础模型如何既支持新形式的误用，并支持误用检测和缓解的新工具。

Foundation models will be misused for harmful purposes

生成基础模型的量表（4.2：训练）、多模态（4.1：建模）和自适应性（4.3：自适应）的进步将允许它们被误用，用于生成高质量的、廉价的、个性化的内容。在本节中，我们将在两个恶意活动的例子中讨论这三个维度：操纵性内容创建和骚扰.

内容质量。与之前的人工智能方法相比，基础模型能够自动生成更高质量、更人性化的内容。它们可能赋予虚假信息行为者权力，例如，国家创造内容来欺骗外国人口，而不透明的内容与一个国家有关。目前，创建这种内容通常需要雇佣会说目标人群语言的人。政府可能会将内容生产外包给其目标国家的母语人士，93,94，但这一决定给业务安全造成了真正的风险.基础模型将允许创建通常与人类创建的内容难以区分的内容[Kreps等人，2020；克拉克等人，2021]——事实上，它将能够为各种语言做到这一点——实现创建能够产生共鸣的内容和维护操作安全的目标。

除了欺骗外国人口外，基金会模型生成高质量合成图像（深度伪造）或文本的能力也可能被滥用来骚扰个人。深度造假已经被用于骚扰的目的。例如，印度调查记者Rana Ayyub被一个高质量的深度造假者所攻击，它将她的脸叠加在一个色情视频上，导致她离开了几个月的公众生活。95因为基础模型通常是多模态的（4.1：建模），它们同样可以模仿言语、动作或写作，并可能被滥用，以难堪、恐吓和勒索受害者。

内容创建成本。基础模型将大大降低内容创建的成本，进一步降低恶意参与者进行有害攻击的进入障碍[Brundage等人，2018年]。2017年起源于俄罗斯并针对美国人的一次影响行动的预算为1220万美元[DiResta等人，2018年]。最近，作为一场虚假信息运动的一部分，俄罗斯的个人每篇文章向美国自由职业者支付75-200美元。基础模型将降低这些边际成本。虽然基础模型，如GPT-3，在生成内容时可能会出错[布坎南等人，2021]，但雇佣少量编辑来修复它们将比直接雇佣内容创建者更可行。培训基础模型的初始成本更为重要（4.5：系统），但这些费用对于大多数国家行动者来说应该是可管理的[Buchanan et al. 2021]。

除了货币成本外，基础模型还需要更少的技术技能才能获得高质量的结果。目前的工具，如视频编辑软件，可以使可信的照片或视频深度伪造，但需要一个熟练的用户几个小时的时间来产生高质量的内容。基础模型降低了这一使用障碍：它们的少镜头适应功能（4.3：适应）为应用程序用户提供了新的交互模式（2.5：交互），从而允许用户快速迭代进行内容创建。

人格化,基础模型将减少创建个性化内容的障碍。例如，2016年针对美国的俄罗斯个人提供的虚假信息包括高度定制的内容。社交媒体上的帖子是精心推动叙述叙利亚（例如，美国应该离开叙利亚），与黑人的生命重要活动家(DiResta等。2018]（例如，建议美国应该关注美国黑人社区面临的问题，而不是在叙利亚的问题）。同样的叙述被重新包装，以与德克萨斯州的分裂主义者产生共鸣[DiResta等人，2021年]。这样的内容创建工作是昂贵的和耗时的。基础模型将允许类似的活动，但由于适应成本较低（4.3：适应）。

除了允许演员为小众受众提供个性化内容的基础模式外，它们还允许演员针对单个个人提供个性化内容——这种能力可能会被骚扰者滥用。根据个人属性或信息约束后代的基金会模型可以创造现实的个性化内容，这可能更尴尬，将受害者置于更危险之中，98，并导致更成功的勒索企图。

Foundation models will be powerful detectors of harmful content.

虽然基础模型的生成能力将提供充足的误用机会，但这些同样的能力可能使它们成为有害内容的强大检测器。虽然这些功能对于检测人工生成和模型生成的内容同样相关，但我们在本节中关注模型生成内容的检测。首先，我们概述了目前的人工检测方法在发现基础模型的有害滥用方面将面临的挑战。然后，我们提出了基础模型的交互式和多模态表示能力如何使它们成为自动检测有害内容的强大工具。最后，我们讨论了在在线设置中部署自动检测模型以对抗潜在的基础模型误用的风险。

重新思考人类干预。目前，恶意行为经常被人类搜索互联网以发现内容来源所发现（甚至在社交媒体上，有时会被删除）。例如，虚假的社交媒体个人资料通常会从约会网站窃取个人资料照片，这些照片可以通过反向图像搜索发现。类似地，虚假信息网站经常使用抄袭的内容来掩盖欺骗性的内容[DiResta和格罗斯曼2019]，这很容易通过进行互联网短语搜索来识别。基础模型将限制这些检测策略的有效性。相对简单的虚假信息活动已经利用人工智能生成的照片100，消除了通过反向图像搜索被发现的可能性。评估这些照片是否由人工智能生成的工具可用，但基础模型将使这项工作复杂化——文本和视频以及挑战人工人类发现技术[Ippolito等人2020；Clark等人2021]。

作为探测器的基础模型。基础模型的同样能力，使它们成为创造性内容的强大生成器，也可能使它们成为模型生成内容的强大检测器。现有的工作表明，基础模型可以适应检测文本生成器的虚假信息[泽勒斯等人2019b]——生成统计文本工件[霍尔茨曼等人2020]——他们可以用来评估自己的几代人的毒性水平使用提示问题[希克等人2021]。下面，我们将描述未来的基础模型将如何使机器生成的有害内容的更强大的检测系统成为可能。

基础模型的交互式和多模态接口的改进将为改进基础模型误用的检测提供新的机会。目前的统计检测器必须重新培训和部署，以整合关于误用策略文本内容的新知识[Dinan等人，2019年]。基础模型的快速学习能力（4.3：适应）可能允许它们从人类反馈适应新的误用策略，而基础模型最初没有经过训练来识别[Lee et al. 2021a]。

同时，基础模型的多模态能力将使滥用生态系统的表现更具表现性。之前的研究探索了错误信息如何比真实内容在社交网络中传播[星鸟等人2018；Vosoughi等人2018]，在回顾性分析时产生可识别的签名。基础模型的多模式能力可以使它们能够共同学习有害内容的表示及其在社交网络上的典型传播签名。这些联合表示可以提供强大的工具来预测某些类型的自动生成的内容是否表明了误用行为。

基础模型作为自动探测器的风险。对模型生成和人为生成的有害内容的自动检测系统的改进将使这些系统在网上更加流行，从而产生潜在的负面后果。任何检测系统都将出现假阳性病例，其中人类生成的公平内容将被标记为有害的[Sap等人，2019年；Xu等人，2021年]。算法误报影响用户（或用户组）的比率可能会造成下游伤害（5.1：公平性）。基础模型的自适应能力应该使系统的假阳性更容易处理，因为模型可以被局部编辑来重新分类这些例子（4.3：自适应）。然而，在角落的情况下可能不会被优先考虑，在这些情况下，追索权将具有挑战性。

更广泛地说，误用检测系统的大规模部署可能会引发有害内容生成器和检测器之间的“军备竞赛”。大多数使用基础模型的内容生成器将缺乏单独开发它们的资源，并且将使用由较大实体部署的系统。虽然使用条款政策应概述这些系统的可接受使用（5.6：道德），但基础模型的部署人员也将需要内部检测系统，以识别其产品的滥用101并减轻它们（5.4：合法性）。然而，对于拥有资源来开发自己的基于基础模型的内容生成器的误用行为者的控制将会减少，这就给平台带来了压力，要求其管理通过其分销渠道共享的内容。乐观地说，内容平台包含了一些世界上资本最充足的公司。它们的资源可能使开发超出大多数个人滥用剂能力的探测器。这种资源优势由于大规模重复训练这些系统的高成本，可能会抑制个体基础模型的开发。然而，即使没有最大的基础模型来支持它们，许多基础模型误用的实例仍然可能是成功的，特别是当攻击者可能会利用基础模型的交互能力来快速生成可以逃避检测的内容时。

Environment

图26。用于部署基础模型的成本效益分析的可视化。一个模型的总价值可以通过首先考虑该模型的净积极社会效益以及任何环境效益来近似。然后，我们减去训练和部署模型的负能量成本、训练模型的碳排放的社会成本，以及次级环境效应。如果净成本大于收益，那么基础模型开发人员和大型部署人员应该考虑减少危害的策略。这可能包括部署一个更有效的模型或根本不部署该模型。

基础模型可能会带来许多社会和环境效益，例如在法律领域（3.2：法律）、医疗保健（3.1：医疗保健），甚至是应对气候变化[Rolnick等人，2019年]。但由于其规模，如果模型创建者不小心，它们本身可以通过增加碳排放对环境产生负面影响[斯特鲁贝尔等人2019；洛蒂克等人2019；施瓦茨等人2019；拉科斯特等人2029；曹等人2020；亨德森等人2020年；本德尔等人2021年；帕特森等人2021年；兰诺等人2021年；帕科莱特和拉瓦内利2021年]。解决这类排放问题势在必行：目前的预测显示，气候变化发生的速度比以前认为的要快.

为了了解这些排放在基础模型中可能发生的哪里，我们考虑它们的生命周期。首先，他们接受了大量数据的训练，可能长达几个月，通常分布在数百到数千个gpu中。之后，它们可能会适应新的领域，或者被提炼成更小的模型。所有这些都可以被认为是培训制度的一部分。纯粹用于研究的模型可能不会超越这些步骤。在模型被调整和/或蒸馏后，它们可能会继续部署到生产中。在这一点上，许多轮的推理将贯穿整个模型，直到一个新的模型被训练和循环重复。

这些步骤都有潜力利用大量的能源，并可能促进碳排放。基础模型可以在初始训练阶段产生大量的一次性能源成本和碳排放。例如，在某些条件下，训练一种bert基础模型的排放量只能被种植了10年的40棵树所抵消。如果大规模部署，基础模型可能需要大量的能源来满足数百万个请求103——如果使用不可再生资源，则转化为大量的碳排放。

因此，某些设计决策对培训和部署基础模型的环境影响可能是巨大的。即使是看似微不足道的决策，比如减少模型所拥有的层数，也可能导致大幅降低环境成本。例如，根据亨德森等人[2020]的计算，在商业翻译服务规模上部署的更节能的翻译模型每天可以节省78能源排放到12768能源排放，这取决于使用的能源网格。这大致相当于1到211棵树生长了10年的碳，或者一年内隔离0.35到57.4英亩森林的碳。104因此，基础模型的设计、部署和部署后监测应充分反映这些风险。

当然，在计算任何给定模型使用的能量或碳排放量时都存在不确定性[亨德森等人2020；曹等人2020；帕特森等人2021]，其他排放来源目前可能远远大于基础模型产生的排放来源[Mora等人2018]。但是，如果基础模型继续扩大规模并越来越受欢迎，它们很可能成为碳排放的一个重要贡献者。我们的目标是为基础模型开发人员和大型部署人员提供一个框架，以考虑他们如何减轻任何不必要的碳排放，并保持这些模型的净社会影响。我们建议：

(1)在许多情况下，碳排放的影响可以而且应该得到减轻。这可以通过在低碳强度区域的训练模型，或通过使用更有效的模型和硬件来实现

(2)当所有缓解机制已经用尽且不再可能实现缓解时，应评估社会的成本和效益，以确定是否以及何时在更小的基础上部署更大的基础模型，即大型基础模型的前期成本可以在模型的生命周期内摊销

(3)能源、计算和碳成本以及减轻负面影响的任何努力都应明确报告，为政策制定和研究提供信息

Carbon impacts can and should be mitigated in many cases

训练基础模型的碳影响不同于部署它们进行推断的影响。模型训练没有延迟要求，因此训练可以在云环境中相对容易地跨能源网格移动。每个电网都有自己的碳强度——每千瓦时能源使用的碳排放量。例如，魁北克省由于依赖水力发电，碳强度极低，而爱沙尼亚的电网由于依赖页岩油，碳强度极高（尽管变化迅速）[Henderson等人，2020]。最近的研究甚至表明，污染最严重的5%的发电厂贡献了所有电力排放的73%[Grant等人，2021年]。因此，虽然训练基础模型可以是相当能源密集型的，但研究人员已经证明，这些模型的碳影响可以通过选择最小碳排放的能源电网来部分缓解.

在所有数据中心提供无碳可再生电力之前，碳补偿也被提议作为权宜之计。这一战略包括减少一种活动中的碳排放，以抵消另一种活动中的碳排放。但是大多数——如果不是全部——碳抵消是一个比首先不排放二氧化碳更糟糕的解决方案[Holl和布兰卡里昂2020]。一些碳抵消计划甚至会产生负面影响。例如，对森林种植运动（通常是碳抵消的一个来源）的研究表明，它们可能弊大于利。它们可以产生单一栽培（使用一种特定种类的树木），从而减少该地区的生物多样性，并减少森林土壤中的碳储存.当使用碳抵消时，这可能导致比原始碳排放更多的碳排放。因此，在培训或部署基础模型时，我们建议预先设计尽可能少的碳排放，而不是简单地依靠碳抵消来消除排放。

当无法在低碳地区运行时，应利用其他缓解战略，减少不必要的能源使用。这包括：

使用更高效的硬件，106
使用混合精度训练[米克维等2017]或量化[戈霍拉米等2021]
使用更高效的架构（例如，使用进化变压器超过普通变压器架构；或使用稀疏模型)[所以等人2019；2021；帕特森等人2021；穆斯塔法和王2019]
蒸馏模型和使用馏模型（例如，[Sanh等人2019])，并使用其他将降低能源成本的优化策略（参见4.5：系统中的更多讨论）。

开源项目和云计算的维护者应该努力将其默认设置设置为尽可能有效，因为“绿色默认”已知是最有效的缓解策略（参见[Hendersonetal.2020]中的讨论）。其他缓解策略可以在最近的文献中找到[斯特鲁贝尔等人2019年；拉科斯特等人2019年；施瓦茨等人2019年；亨德森等人2020年]。我们还注意到，减少和减少能源使用也有一个额外的好处，使那些计算访问有限的人更容易访问模型（见5.6：伦理）。

然而，当一个模型主要用于推理时，例如，部署在一个生产应用程序中，它通常不能移动到一个低碳密集型电网的低延迟应用程序。除了使用上述规定的缓解战略外，在这种情况下，重要的是要权衡拟议的基础模型与更节能的替代方案的好处。我们将在下一节中进一步讨论这个问题。

Costs and benefits should be assessed before using foundation models.

在采取尽可能多的缓解措施（或在不可能实现缓解措施的情况下）之后，评估至关重要的是基础模型所需的规模，或者是否应该使用基础模型。这种成本效益分析应考虑到：

(1)部署基础模型的社会成本和环境成本是否大于该模式的社会效益？

(2)另一种计算上更简单、更便宜的方法能否获得类似的社会效益（例如，一个更有效的基础模型，或者可能是简单的基线）？

评估这种权衡的简化方案将模型

On the Opportunities and Risks of Foundation Models-SOCIETY相关推荐

On the Opportunities and Risks of Foundation Models- APPLICATIONS
On the Opportunities and Risks of Foundation Models 目录 Healthcare and biomedicine Opportunities in h ...
On the Opportunities and Risks of Foundation Models-CAPABILITIES(1)
目录 CAPABILITIES Language The nature of human language. Impact of foundation models on NLP Language v ...
Mesh基础模型（Foundation models）（一）
写在前面: 本文参考Mesh Core Spec 翻译而来,翻译能力有限肯定有理解不到位之处,还请大家指出.欢迎广大蓝牙.mesh爱好者一起交流,本人QQ:993650814. 注意:本篇包含mesh ...
＜＜多模态预训练＞＞2022：CoCa: Contrastive Captioners are Image-Text Foundation Models
目录 Abstract 1.Introduction 2.Related Work 3.Approach 3.1.Natural Language Supervision 3.2.Contrastiv ...
ChatGPT 拓展资料：论文阅读A Comprehensive Survey on Pretrained Foundation Models: A History from BERT to Chat
ChatGPT 拓展资料:A Comprehensive Survey on Pretrained Foundation Models: A History from BERT to ChatGPT ...
学习笔记：《Foundation models for generalist medical artificial intelligence》
目录一.GMAI模型的概念与优势二.GMAI模型面临的挑战 1.验证 2.社会偏见 3.隐私 4.规模 5.技术挑战三.结论: 参考文献最近在<Nature>杂志上发表的一篇名为& ...
CoCa: Contrastive Captioners are Image-Text Foundation Models翻译
点击下载论文点击查看代码摘要在计算机视觉中探索大规模预训练基础模型是具有重大意义的,因为这些模型能很快被迁移到很多下游任务中.本篇论文提出了对比生成器(即CoCa)模型,结合对比损失和生成损失预 ...
【InternImage】Exploring Large-Scale Vision Foundation Models with Deformable Convolutions
基于Deformable Conv的大规模基础模型特点: 采用Deformable Conv V3 [v2 19论文] CNN模型背景大规模的ViT模型借助模型能力在超大规模数据集上取得了非常高 ...
MICCAI 2023 FLARE国际竞赛：打造腹部泛癌CT分割Foundation Models
竞赛官网 CodaLab - Competitionhttps://codalab.lisn.upsaclay.fr/competitions/12239 背景介绍腹部器官是相当常见的患癌部位,例如 ...