01

Github私有库无限协作，大 AI 模型随便放

4月14日，GitHub 的 CEO Nat Friedman 在官网上发布声明说， “我们很高兴宣布，我们将为所有 GitHub 用户提供方便无限协作的私有库。且 GitHub 全部核心功能对所有人免费。”

如果你想存储一些私人项目，那么你可以选择GitHub的私有库，如果你一个人来开发项目这当然没问题，但是有些情况你需要更多的人来协作，当超过三个人时免费的私有库就不够用了，需要开通付费版，而现在协作人数限制。

今后，小型的开发团队可以免费使用GitHub私有库了。

持续集成由一连串的动作组成，包括代码抓取、运行测试、登录远程服务器、发布到第三方服务等等。这就是GitHub Actions要干的事。

开发团队现在可以在 GitHub 上面协作处理各种开发工作，包括 CI/CD 持续集成和部署，项目管理、代码审查等等，同时提供 500MB 的存储空间和每月多达2000分钟的 GitHub Actions 免费访问时长。

跟当前比较流行的持续集成工具Travis CI比，actions支持在所有平台环境下构建，用yaml文件直接定义整个工作流，而Travis需要自己在一个独立的虚拟机预先构建一些包，搭建数据库等，流程的某些部分需要在 GitHub 中独立实现，更重要的是Travis CI同等使用额度收费比较高，actions免费使用。

信息来源：新智元

02

飞腾64核CPU适配百度昆仑AI处理器：全国产的AI体系登场

继百度飞桨深度学习平台之后，百度的昆仑AI芯片日前也针对国产的飞腾CPU完成了适配。再加上已经适配的国产OS，在AI计算体系中有可能出现百度昆仑+飞腾CPU+国产OS+百度飞桨的全国产化体系，不再受到国外控制，这还是首次。

飞腾表示，百度智能芯片总经理欧阳剑在一次线上公开课中首次展示了百度昆仑 AI 芯片与飞腾 CPU 的适配视频片段。视频显示，搭载飞腾 CPU、昆仑加速卡的服务器，运行流畅，性能强劲，图像分割速度显著加速。

百度昆仑芯片是继百度飞桨（PaddlePaddle）深度学习平台之后，百度又一重量级 AI 产品与飞腾完成适配。

百度昆仑 AI 芯片是百度自研的云端全功能 AI 芯片，采用百度自研 XPU 神经处理器架构，提供 512GB/s 的内存带宽，能够在 150W 的功耗下提供高达 260 TOPS 的能力，是业内算力领先的国产 AI 芯片。

至于飞腾CPU，与百度昆仑 AI 芯片完成适配的 飞腾 FT-2000+/64 处理器是飞腾面向高性能服务器领域的产品。该款处理器设计了数据亲和的多核处理器体系架构，突破了高效乱序超标量流水线、层次化片上并行存储结构、多级异构片上互连网络、高可用处理器设计等关键技术，实测性能达到了国际主流服务器 CPU 同等水平，填补了国产高端通用 CPU 领域的空白。

飞腾FT-2000+/64是中国首款自主设计的 64 核通用 CPU，也是国际上首款兼容 ARMv8 指令集的 64 核通用 CPU，为百度昆仑 AI 芯片提供了高效完整的 AI 计算流程支撑。

飞腾表示，当前正处于 AI + 智能云时代，从芯片架构、操作系统，再到上层应用，都有了革命性的变化。百度昆仑+飞腾CPU+国产OS，再加上国产深度学习平台百度飞桨（PaddlePaddle），以及新时代的各类应用，全国产的 AI 计算体系将登上历史舞台，并且有机会成为新的选择。

信息来源：新浪科技

03

训练吞吐量提升6倍！飞桨弹性计算推荐系统ElasticCTR 1.0发布

ElasticCTR，即飞桨弹性计算推荐系统，是基于Kubernetes的企业级推荐系统开源解决方案。该方案融合了百度业务场景下持续打磨的高精度CTR模型、飞桨开源框架的大规模分布式训练能力、工业级稀疏参数弹性调度服务，帮助用户在Kubernetes环境中一键完成推荐系统部署，具备高性能、工业级部署、端到端体验的特点，并且作为开源套件，满足二次深度开发的需求。

目前在推荐系统领域，应用深度学习模型来实现推荐，可以取得非常好的效果，是未来的发展趋势。但实现开发这样一套推荐系统，开发者会面临诸多问题，每个问题对开发者来说都是一座大山，闯过一个个关卡之后，才能打通整个推荐系统。因此ElasticCTR为广大AI开发者又增添一套强劲的武器装备：

1. 端到端部署套件，免去繁琐的中间处理环节，助力推荐系统快速上线

推荐排序的workflow复杂而琐碎，开发者会面临不同组件间难以整合的问题。百度在推荐系统领域有多年的成熟经验，在这些经验的加持下，ElasticCTR打通了端到端的部署流程，用户只需配置好数据集，通过一个elastic_control.sh启动工具，即可用简单几行命令，启动高性能的分布式训练和在线预测服务PaddleServing等组件。中间的繁琐步骤、模型配送等流程都不需要额外操作。

图：ElasticCTR的Workflow示意

2. 弹性调度，全异步多线程分布式训练，训练吞吐量提升6倍

对于不同规模的数据集和访问需求，ElasticCTR提供了资源弹性分配机制，在保证高效的同时尽可能节省资源消耗。经验证，使用Criteo数据集训练CTR-DNN模型，训练吞吐量相比同类框架可提升6倍。事实上，Criteo数据集只是一个简单的例子，在实际应用中会有更大规模的稀疏参数，ElasticCTR的训练和部署优势会更加显著。

图：CTR-DNN模型训练效果对比

3. 流式训练，实现自动、分批、按时训练和配送模型

常见的深度学习训练方式中，通常是固定数据集进行多轮次迭代，但是在推荐系统中，由于日志数据的时效性，数据集需分时段加载，训练好的模型也需按时段配送。在实际生产环境中往往是分日期、分时段保存用户点击信息的日志，ElasticCTR支持流式训练方式，它的意义在于用户可以按照自定义的时段来训练模型，也可以监听存放数据集的HDFS上是否有增量的数据集参与训练，训练好的模型亦可定时增量配送。

4. 工业级全组件开源，满足二次深度开发诉求

ElasticCTR采用全开源组件，满足开发者二次深度开发的需求。在数据读取和预处理环节，采用HDFS的存储，全内存多线程读取，打破数据传输的各种可能瓶颈；在训练环节，采用飞桨核心框架的分布式训练能力，全异步多线程分布式训练，训练速度可达到同类框架6倍之多；在部署环节，采用飞桨在线部署框架PaddleServing简单易用的部署服务，并结合百度推荐场景成熟应用多年的稀疏参数索引服务Cube，确保了超大规模模型的快速部署和高效服务；此外，为充分利用Kubernetes的弹性调度和资源分配机制以增强可用性，引入了Kubernetes的job管理框架Volcano。

信息来源：飞桨PaddlePaddle

04

下围棋so easy ，AlphaZero开始玩量子计算！

AlphaZero一开始是专门用来下围棋的。围棋的落子位置太多了大约有种。相比之下，国际象棋只有种可能的走位。

所以AlphaZero使用了一个深层的神经网络，它学会了从一个特定的位置开始评估它获胜的可能性。为了获胜，AlphaZero有一个功能叫做蒙特卡洛树搜索，这种方法能够帮助它在游戏中“预知未来”。

这类似于职业棋手在下棋时能够提前想几步棋。训练结果是相当惊人的，AlphaZero 很快就摧毁了专业游戏软件和人类玩家。例如，经过仅仅四个小时的自我对弈练习，AlphaZero 就在国际象棋中击败了领先的棋类软件 Stockfish。而且这完全都是从零开始，一开始AlphaZero根本不知道游戏规则。丹麦国际象棋大师Peter Heine Nielsen将其比作一个访问过地球的高级外星物种。

而量子计算机的能力，是所有现有的计算机组合加起来都无法匹敌。但到目前为止还没有人能够制造出一台功能齐全的量子计算机。这就需要我们在控制量子系统的能力上向前跨一步。

与普通计算机类似，量子计算机使用门操作（gate operations）来操纵其量子位。成功实现AlphaZero之后，使用相同的算法超参数将其用于三个不同的量子控制问题。

在一些案例中，相同的超参数集在三种量子情况下均能很好地工作，当改变问题的设定，AlphaZero将无法单独解决。量子计算机利用量子并行性大幅提高了计速度，但是问题再次出现：搜索空间的控制参数成指数级增长。AlphaZero实验证明，神经网络提供的近似和不完善的解决方案可以充当本地蛮力启发式算法的强大种子生成器。

奥胡斯大学的团队开始寻求一种混合算法：AlphaZero通过广泛的探索生成了高可用的种子对象，随后通过基于梯度的方法对它们进行优化，这种方法使解决方案的数量和质量都得到了极大的提高。混合了AlphaZero的量子计算，搜索速度可以提升500倍。

信息来源：新智元

05

你的可视化ML模型可以用显微镜来看了！OpenAI发布Microscope

机器学习算法（ML）通常被称为“黑箱”，人类并不知道AI是怎么决策的，算法从输入到输出的过程就像变魔术一样。

由于缺乏可解释性，ML可能会导致很多不可控的后果。如果我们无法解释AI决策的过程和动机，就无法信任这个智能系统。因此，ML社区一直致力于使算法的学习过程透明化。

OpenAI发布神经网络可视化库Microscopea。目前的初始版本分析了8个流行的神经网络。该集合一共包含数百万张图像。Microscope可以像实验室中的显微镜一样工作，帮助AI研究人员更好地理解具有成千上万个神经元的神经网络的结构和行为。

神经元可视化

OpenAI的Microscope是八个视觉神经网络模型的每个重要层和神经元可视化的集合，通常在可解释性方面进行研究。Microscope使我们更容易分析这些复杂的神经网络内部形成的特征。每种模型的可视化都带有一些场景，并且图像在OpenAI Lucid库中可用（见文末Github链接），可以在 Creative Commons许可下重复使用。Microscope的主要价值在于提供持久的共享工件，以长期对这些模型进行比较研究。

Microscope想要实现两个愿景：希望具有相邻专业知识的研究人员（例如神经科学）能够更轻松地处理这些视觉模型的内部工作。希望它能通过了解神经元之间的连接，为电路协作工作做出贡献，从而可以对神经网络进行逆向工程。

就像生物学家经常专注于研究几种“模式生物”一样，Microscope也专注于详细研究少量模型。OpenAI的初始版本包括八个经常被研究的视觉模型，以及他们发现在研究它们时特别有用的几种可视化技术。OpenAI计划在未来几个月内扩展到其他模型和技术上。

Microscope地址：

https://microscope.openai.com/models

信息来源：新智元

06

本周论文推荐

【CVPR2020】ActBERT:FineGym:用于细粒度动作理解的分层视频数据集

作者：Dian Shao, Yue Zhao, Bo Dai, Dahua Lin

论文介绍：

在公共基准数据集上，当前的动作识别技术已经取得了巨大的成功。然而，在现实世界的应用中，例如体育分析，它需要将一项活动分解成几个阶段，并区分细微不同的动作，它们的性能仍然远远不能令人满意。为了将动作识别提升到一个新的水平，FineGym是一个建立在体操视频之上的新数据集。与现有的动作识别数据集相比，FineGym具有丰富、优质和多样性的特点。特别是，它提供了一个三层语义层次的动作和子动作级别的临时注释。例如，一个“平衡木”事件将被注释为来自5个集合的基本子动作序列:“leap-jump-hop”、“beam-turns”、“flight-salto”、“flight-handspring”和“dismount”，其中每个集合中的子动作将被进一步注释为定义良好的类标签。这种新的粒度级别对操作识别提出了重大挑战，例如如何从一个一致的操作解析时间结构，以及如何区分细微不同的操作类。作者系统地研究了该数据集上的代表性方法，并获得了一些有趣的发现并希望这个数据集可以促进动作理解的研究。

论文地址：

https://arxiv.org/abs/2004.06704

END