直播 | 256核CPU实现每秒一百万帧的Atari！强化学习并行模拟器EnvPool详解

近日，新加坡Sea AI Lab提出了一个全新的环境模拟并行执行库EnvPool，使用C++的线程池以及异步执行的机制优化了大规模RL环境的并行，能够兼容已有的gym与dm_env API以及几乎所有强化学习算法。在Nvidia DGX-A100的256核CPU上，达到了一百万帧每秒Atari环境的速度。EnvPool的目标是为RL提供强劲的数据管线，让RL和监督学习一样容易扩展。

项目地址：https://github.com/sail-sg/envpool

智源社区特邀请了EnvPool一作翁家翌做题为《EnvPool-高性能环境并行模拟器》的报告。

主讲人：翁家翌，卡内基·梅隆大学（CMU）计算机学院硕士二年级在读。目前的研究兴趣主要是对机器学习与强化学习系统（MLSys）进行加速。在加入 CMU 之前，翁家翌在清华大学计算机科学与技术系取得了本科学位。翁家翌还是目前广受欢迎的基于 PyTorch 的强化学习算法库天授（tianshou）的作者，从开源至今已经有近四千的 GitHub star。

主题：EnvPool-高性能环境并行模拟器

时间：2021年12月1日（周三）20：00~21：00

形式：线上

扫码报名：

入会方式：

腾讯会议-ID：375 830 400

直播地址一：

https://event.baai.ac.cn/activities/203

直播地址二：

http://live.bilibili.com/21484823

报告简介：

强化学习的训练过程往往在资源利用率上差强人意，其主要瓶颈在于数据产生的速度无法跟上GPU/TPU的处理能力。GPU在监督学习，即数据供应非常快的情景下迭代模型，已经有非常成熟的方案。相比之下，强化学习的数据生产，即环境的模拟，则一直关注度很少。环境的模拟速度是整个RL训练系统的上限，因为它是整个流水线的上游，决定了接下来了推理与训练阶段的整体效率。

目前最流行的环境并行执行的方案，即类似gym.vector_env使用Python的多进程模式（subprocess）同时执行多个环境来进行加速，实际使用的效率非常低。且RL环境特别是类似Atari的环境，常有多层Python环境装饰器，更加增加了环境模拟的额外开销。

由颜水成团队所在的Sea AI Lab近日提出了名为EnvPool的强化学习并行模拟器，在NVIDIA DGX A100的256核的CPU上达到了每秒一百万帧Atari环境的速度，是 gym.vector_env的13倍；在12核CPU配置的个人电脑上，也能达到 gym.vector_env约3倍的加速，大大节省所需要的CPU资源。

了解更多信息请加入「强化学习」交流群

直播 | 256核CPU实现每秒一百万帧的Atari！强化学习并行模拟器EnvPool详解相关推荐

实时监控、直播流、流媒体、视频网站开发方案流媒体服务器搭建及配置详解：使用nginx搭建rtmp直播、rtmp点播、,hls直播服务配置详解
注意:这里不会讲到nginx流媒体模块如何安装的问题,只研究rtmp,hls直播和录制相关的nginx服务器配置文件的详细用法和说明.可以对照这些命令详解配置nginx -rtmp服务一.nginx ...
Android Studio 性能优化工具 - Profiler、CPU Profiler、Memory Profiler、Netwrok Profiler、Evengy Profiler 详解
关于性能优化的问题,可能一直有遇到,也一直在解决,但是在中小厂和自我要求不严格的场景下,我们很少去实实在在的做性能优化: 在性能优化中我们通常会通过自己的经验或工具来发现问题,本想着能短时间内搞定Pr ...
一键获取linux内存、cpu、磁盘IO等信息脚本编写，及其原理详解
一.脚本今天主要分享一个shell脚本,用来获取linux系统CPU.内存.磁盘IO等信息. #!/bin/bash # 获取要监控的本地服务器IP地址 IP=`ifconfig | grep in ...
linux top 上次更新到现在的cpu时间占用百分比,使用top命令分析linux系统性能的详解...
linux的top命令简介 top命令是linux下常用的性能分析工具,能够实时显示系统中各个进程的资源占用状况,类似于windows的任务管理器. top显示系统当前的进程和其他状况,是一个动态显示 ...
本周两场直播丨通过源码了解openGauss多线程架构；Oracle数据库索引分裂详解。...
1.管中窥豹之通过源码了解openGauss多线程架构-8月18日20:00 本讲座主要介绍openGauss的多线程架构,通过源码了解线程间通信机制.线程池的原理和优势.如何开启线程池等,力图通过多 ...
多核处理器_多核处理器还能走多远？2050年用上1024核CPU
随着锐龙Threadripper 3990X处理器的上市,AMD在桌面处理器上也带来了64核128线程处理器了,这是目前最强大的桌面CPU,甚至短时间内都没可能有竞品超过它了. 想想两三年前,市面上的 ...
云服务器几核CPU够用
今天有小朋友搜服务器一般用几核才够用.其实这个应该是困扰所有新人的问题把.因为服务器现在配置很多.低到1核2G.2核4G.高到16核32G.32核64G.甚至某些云服务器可以做到256核5120G这种 ...
x86架构和arm架构_RISC-V架构1000核CPU登场 x86架构腹背受敌
如今x86架构正在面连着来自各个方面的挑战,基于ARM架构的苹果自研M1到了一波节奏之后,后起之秀RISC-V架构如今又迎来了1000核CPU这种性能怪兽,此前还有一款RISC-V架构的处理器飙升到了 ...
2018年计算机CPU纳米制程,联发科疯狂堆核计划曝光：7纳米制程，12核CPU
[PConline 资讯]联发科疯狂堆核的脚步并未停歇,在商用量产10纳米十核处理器--Helio X30之后,联发科瞄准了更先进的制程.更密集的CPU核心.据台湾电子时报(DIGITIMES)消息, ...

直播 | 256核CPU实现每秒一百万帧的Atari！强化学习并行模拟器EnvPool详解

直播 | 256核CPU实现每秒一百万帧的Atari！强化学习并行模拟器EnvPool详解相关推荐

最新文章

热门文章