首个深度强化学习AI，能控制核聚变，成功登上《Nature》

编译 | 禾木木

出品 | AI科技大本营（ID:rgznai100）

最近，DeepMind 开发出了世界上第一个深度强化学习 AI ，可以在模拟环境和真正的核聚变装置中实现对等离子体的自主控制。

这项研究成果登上了《Nature》杂志。

托卡马克是一种用于容纳核聚变反应的环形容器，其内部呈现出一种特殊的混乱状态。氢原子在极高的温度下被挤压在一起，产生比太阳表面还热的、旋转的、翻滚的等离子体。找到控制和限制等离子体的方法将是释放核聚变潜力的关键，而后者被认为是未来几十年清洁能源的源泉。

在同样由聚变驱动的恒星中，仅依靠引力质量就足以将氢原子拉到一起并克服它们的相反电荷。在地球上，科学家们改为使用强大的磁线圈来限制核聚变反应，将其推到所需的位置。这些线圈必须仔细控制，以防止等离子体接触容器本身：这会损坏容器壁并减慢聚变反应。

每当研究人员想要改变等离子体的结构，尝试不同的形状以产生更高的能量时，就需要大量的工程和设计工作。传统的系统是由计算机控制的，基于模型和模拟，但 Fasoli 表示传统方法「复杂且不一定能起到优化的作用」。

如何实现？

DeepMind 开发了一种可以自主控制等离子体的 AI，来控制瑞士等离子体中心的可变配置托卡马克内的 19 个电磁线圈。控制团队负责人 Martin Riedmiller 表示：「人工智能，特别是强化学习，特别适合解决托卡马克中控制等离子体的复杂问题。」

其包含以下三个主要阶段：

首先，设计者指定实验目标，可能伴有时变控制目标；
其次，深度 RL 算法与 tokamak 仿真器交互，寻找接近最优的控制策略以满足指定的目标；
第三，控制策略以神经网络的形式直接在 tokamak 硬件上实时运行。

首先观察改变 19 个线圈的设置如何影响容器内等离子体的形状。其中包括接近 ITER 内部使用的 D形横截面、法国正在建设的大型实验托卡马克装置，以及有助于消散反应强烈热量的雪花结构。

无论是在模拟中，还是当科学家在 TCV 托卡马克装置内进行相同的真实实验以验证模拟时，AI 能够通过以正确的方式操纵磁线圈来自主计算出如何创建这些形状。Fasoli 说，这代表了“重要的一步”，这可能会影响未来托卡马克的设计，甚至可以加快通往可行聚变反应堆的道路。

结语

总而言之，研究人员认为，使用 AI 算法控制等离子体，将使在反应堆内进行不同条件的实验变得更加容易，帮助他们了解这个过程，并有可能加快商业核聚变的发展。AI 还学会了如何通过以人类以前从未尝试过的方式调整磁铁来控制等离子体，这表明可能会有新的反应堆配置可供探索。

正如瑞士等离子中心主任 Ambrogio Fasoli 所说：“我们可以通过这种控制系统来冒险，否则我们不敢冒险。” 人类操作员通常不愿意将等离子体推到一定限度之外。

有些事件我们必须避免，因为它们会损坏设备，如果我们确定有一个控制系统可以接近极限但不会超出极限，那么就可以探索更多的可能性。研究可以继续加速。”

参考链接：

https://www.wired.com/story/deepmind-ai-nuclear-fusion/

首个深度强化学习AI，能控制核聚变，成功登上《Nature》相关推荐

DeepMind成功使用深度强化学习技术完美控制核聚变反应堆！
本文经AI新媒体量子位(公众号ID:qbitai)授权转载,转载请联系出处. 本文约1400字,建议阅读5分钟 DeepMind开发出世界上第一个深度强化学习AI. DeepMind在蛋白质折叠问题上 ...
深度强化学习——连续动作控制DDPG、NAF
联系方式:860122112@qq.com 传统的DQN只适用于离散动作控制,而DDPG和NAF是深度强化学习在连续动作控制上的拓展. 一.存在的问题 DQN是一个面向离散控制的算法,即输出的动作是离 ...
DeepMind用AI控制核聚变反应登上《自然》
论文解析 | Magnetic control of tokamak plasmas through deep reinforcement learning (2022) 导读论文提出了 " ...
tensorflow2.0 dqn 深度强化学习 AI自动玩游戏，有详细注解
有人看文章后半部分代码是空的,其实是博客的字变黑了.我不知道这个怎么回事,没检查出语法问题.所以只要你把空白的部分一起复制就能看到所有的代码了!! 准备环境安装python 游戏包 pip inst ...
论坛报名 | 从捉迷藏、星际争霸到新一代人工智能：多智能体深度强化学习的理论与实践...
与6位图灵奖得主和100多位专家共同探讨人工智能的下一个十年长按图片或点击阅读原文,内行盛会,首次免费注册 2020年6月21-24日,第二届北京智源大会(官网:https://2020.baai ...
如何更高效地压缩时序数据？基于深度强化学习的探索
简介: 随着移动互联网.IoT.5G 等的应用和普及,一步一步地我们走进了数字经济时代.随之而来的海量数据将是一种客观的存在,并发挥出越来越重要的作用.时序数据是海量数据中的一个重要组成部分,除了挖掘 ...
深度强化学习在时序数据压缩中的应用--ICDE 2020收录论文
彼节者有间,而刀刃者无厚:以无厚入有间,恢恢乎其于游刃必有余地矣 ----- 庖丁解牛前言:随着移动互联网.IoT.5G等的应用和普及,一步一步地我们走进了数字经济时代.随之而来的海量数据将是一种客 ...
【医疗人工智能论文】使用深度强化学习的腹腔镜机器人辅助训练
Article 作者:Xiaoyu Tan , Chin-Boon Chng, Ye Su, Kah-Bin Lim, and Chee-Kong Chui 文献题目:Robot-Assisted T ...
深度强化学习（DRL）一：入门篇
目录前言一.强化学习(RL)的基本概念二.主要强化学习算法 2.1 Qlearning 2.2 Deep-Qlearning 2.3 Double-DQN 2.4 Sarsa 2.5 Sarsa ...

首个深度强化学习AI，能控制核聚变，成功登上《Nature》

首个深度强化学习AI，能控制核聚变，成功登上《Nature》相关推荐

最新文章

热门文章