‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍点击左上方蓝字关注我们

01

Transformer全靠数据堆？那没有数据怎么办？LUT告诉你「冇问题」｜AAAI 2021

你是否曾遇到这样的场景：在陌⽣的国家旅游因为听不懂当地⼈说话只能咿咿呀呀、⼿语⽐划、连蒙带猜？因为不懂⼩语种，⼤热悬疑泰剧《禁忌⼥孩》、年度狗⾎韩剧《顶楼》只能煎熬到翌⽇字幕组的熟⾁放送？

语⾳翻译，⼀种语⾔的语⾳到另外⼀种语⾔的语⾳或⽂本的⾃动翻译过程，在如今国际化的社会中有着⼴泛的应⽤场景：在线外语视频、跨国会议、出国旅游、国际贸易。

如何将翻译准确传达成了业界和学术界⼗分关⼼的课题。

端到端语⾳翻译的挑战

传统的语⾳识别系统为级联语⾳翻译模型（cascaded speech translation model），通常先通过⼀个语⾳识别模型（ASR）先识别出⾳频对应的转写⽂本（transcript），再通过机器翻译模型将转写⽂本翻译出⽬标语⾔。

级联语⾳翻译模型

这⾥给⼤家介绍在AAAI 2021上⼀篇语⾳翻译的论⽂：

Listen, Understand and Translate(LUT): Triple Supervision Decouples End-to-end Speech-to-text Translation[3]，作者是来⾃中科院⾃动化所的董倩倩、徐波等和字节跳动李磊团队。

本⽂核⼼思想是尽可能的利⽤标注数据中「转写⽂本」的作⽤，并利⽤额外⼤规模单语预训练的语⾔模型来辅助监督，架起从语⾳到⽂本的跨模态转变的桥梁。

论⽂地址：https://arxiv.org/abs/2009.09704

信息来源：新智元

02

Python之父：Python 4.0可能不会来了

不要对 Python 4.0 抱有希望，可能不会有的。——Python 之父 Guido van Rossum

2020 年 1 月 1 日，Python 官方结束了对 Python 2 的维护，意味着 Python 2 完全退休，进入 Python 3 时代。之后，关于 Python 4 的发布排期也成为了社区的热门议题。

去年，Python 之父 Van Rossum 在推特上表示，假如会有 Python 4，从 3 到 4 的版本过渡会更像从 1 到 2 的过渡，而不会像从 2 到 3 的过渡。

但在最近接受 Microsoft Reactor 采访时，Van Rossum 被问及 Python 的未来，以及什么时候会出 Python 4.0。他却表示，可能不会有 Python 4 了。

Van Rossum 回答说：「我和 Python 核心开发团队的成员对 Python 4.0 没什么想法，提不起兴趣，估计至少会一直编号到 3.33。」

在从 Python 2 过渡到 Python 3 时已经被上了一课的 Van Rossum 表示，在内部的严肃场合，谈论 Python 4 是个禁忌，大家只会在饮茶时把 Python 4 当玩笑开。

Van Rossum 说，Python 仍然在努力寻找重获成功的方法。在他看来，Hejlsberg 是一个非常聪明的人，TypeScript 正在做的一些事情，是 Python 未来需要弄清楚的。实际上 TypeScript 也在向 Python 学习，就像 JavaScript 在一些领域从 Python 那里学习一样。

信息来源：机器之心

03

“四大模型”革新NLP技术应用，揭秘百度文心ERNIE最新开源预训练模型

在5月20日结束的2021深度学习开发者峰会WAVE SUMMIT上，百度文心ERNIE开源了四大预训练模型。本文对这四大开源预训练模型进行了详细的技术解读。

2019年以来，NLP预训练模型在技术创新和工业应用上不断取得突破，但当前预训练模型仍有一些痛点困扰着开发者：

• 仅考虑单一粒度语义建模，缺乏多粒度知识引入，语义理解能力受限；

• 受限于Transformer结构的建模长度瓶颈，无法处理超长文本；

• 聚焦语言等单一模态，缺乏工业真实应用场景针对多个模态如语言、视觉、听觉信息的联合建模能力。

5月20日举办的2021深度学习开发者峰会WAVE SUMMIT上，依托飞桨核心框架，百度文心ERNIE最新开源四大预训练模型：多粒度语言知识增强模型ERNIE-Gram、长文本理解模型ERNIE-Doc、融合场景图知识的跨模态理解模型ERNIE-ViL、语言与视觉一体的模型ERNIE-UNIMO。

针对当前预训练模型现存的难点痛点，此次文心ERNIE开源的四大预训练模型不仅在文本语义理解、长文本建模和跨模态理解三大领域取得突破，还拥有广泛的应用场景和前景，进一步助力产业智能化升级。

文心ERNIE开源版地址：

https://github.com/PaddlePaddle/ERNIE

文心ERNIE官网地址：

https://wenxin.baidu.com/

信息来源：飞桨PaddlePaddle

04

我们用Windows官方跑了跑Linux GUI应用程序，不愧是“胶水操作系统”

现在，Windows不仅是最好的Linux发行版，还是最好的Linux桌面了。原来是Windows官方的Linux子系统（WSL），终于支持Linux GUI了！

“最棒的Linux桌面”

这个名为WSLg的功能，目前相关代码已经开源，geek们又有的玩了。具体到显示服务上，WSLg同时支持X11和Wayland两种协议，能通过微软内置的远程桌面进行连接。据微软表示，相比之前的第三方实现，WSLg更加稳定方便。（毕竟是官方钦定）

WSLg基本上是以Wayland为基础开发的一个Linux桌面，并通过托管XWayland服务器，来支持X11应用程序。

微软选择了Weston，来作为WSLg的核心，即Wayland合成器的参考实现，包括一个重度扩展的RDP后端、一个RAIL/VAIL shell和一个X Window管理器。换而言之，如果一个Linux程序能在Linux的Weston合成器中正常工作，那它也能在WSLg中正常工作。

而在今年早些时候，微软还在WSL中加入了机器学习的API DirectML。

加上现在GPU和Linux GUI应用程序也都已经支持，在WSL2上能直接运行英伟达CUDA加速功能，可以加速cuDNN、cuBLAS、TensorRT等CUDA-X库。

这意味着开发者能直接在WSL上训练神经网络，不必再单独安装一个Linux系统了！

WSLg的开发人员表示，他们会继续完善这个项目，改进用户体验。

信息来源：量子位

05

Arm v9的牙膏挤出来了，超大核机器学习性能x2，小核4年来终于更新

Arm v9架构，可以说是10年以来最大的升级。

在上月发布服务器端的Neoverse V1与N2平台之后，消费端的首批CPU终于亮相。包括Cortex-X2超大核、Cortex-A710大核以及Cortex-A510小核，分别取代X1、A78和A55。

值得一提的是，小核系列上一次更新还是在2017年。

超大核X2和小核A510已经完全基于64位指令集，只有A710还兼容32位。Arm说这是专为中国移动端市场保留的，因为只有中国还保留着大量32位的手机App。

Arm要在2023年前彻底抛弃32位，App开发商们，再不升级就要被淘汰了。

大中小核完整方案

去年开始，Arm让A系列继续保持PPA (性能、功耗、面积)的设计理念。大核A700系列将优先用于持续的主力多核负载，小核A500系列负责效率优先的轻型和后台任务。而超大核X系列被允许在尺寸和功率上继续增长，以达到更高的单核性能和应对突发的工作负载。

超大核X2：机器学习性能翻倍

X2与X1相比，机器学习性能则直接翻倍，在整数运算上性能也提高了16%。

信息来源：量子位

飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础，是中国首个开源开放、技术领先、功能完备的产业级深度学习平台，包括飞桨开源平台和飞桨企业版。飞桨开源平台包含核心框架、基础模型库、端到端开发套件与工具组件，持续开源核心能力，为产业、学术、科研创新提供基础底座。飞桨企业版基于飞桨开源平台，针对企业级需求增强了相应特性，包含零门槛AI开发平台EasyDL和全功能AI开发平台BML。EasyDL主要面向中小企业，提供零门槛、预置丰富网络和模型、便捷高效的开发平台；BML是为大型企业提供的功能全面、可灵活定制和被深度集成的开发平台。

END