AI周报丨标清变4k？B站超分辨率算法开源；强化学习算法控制核聚变登上《nature》

AI周刊丨标清变4k？B站超分辨率算法开源；强化学习算法控制核聚变登上《nature》

2022年2月22日极链AI云

文章目录

AI周刊丨标清变4k？B站超分辨率算法开源；强化学习算法控制核聚变登上《nature》
- 1.标清变4K，B站开源超分辨率算法
- 2.强化学习算法控制核聚变登上Nature
- 3.GitHub 1.6万星，JAX到底如何
- 4.分类器可视化解释StylEx：谷歌、MIT等找到了影响图像分类的关键属性

1.标清变4K，B站开源超分辨率算法

最近，GitHub 上一个图像超分辨率的项目火了，一个叫做 Real-CUGAN 的工具可以把动画图像的质量提升 2 到 4 倍，qq 上斗图的表情包也能给你脑补成 4k 品质。

这个项目来自 bilibili 人工智能实验室。上线 20 天，star 量已达 1.5K。

项目链接：

https://github.com/bilibili/ailab/tree/main/Real-CUGAN

Real-CUGAN 是一个使用百万级动漫数据进行训练的，结构与 Waifu2x 兼容的通用动漫图像超分辨率模型。相比目前市面上已有的通用化超分辨率算法，Real-CUGAN 的 AI 模型经过了更大体量数据集的训练，处理二次元内容的效果更佳。

它支持 2x\3x\4x 倍超分辨率，其中 2 倍模型支持 4 种降噪强度与保守修复，3 倍 / 4 倍模型支持 2 种降噪强度与保守修复。

该动漫超分模型训练先行对动漫帧进行切块处理，使用图像质量打分模型对候选块进行打分过滤，得到一个百万级的高质量动漫图像块训练集。然后使用多阶段降质算法，将高清图像块降采样得到低质图像，让 AI 模型学习、优化从低质图像到高质图像的重建过程，训练完毕后即可对真实的二次元低质图像进行高清化处理。

2.强化学习算法控制核聚变登上Nature

最近，EPFL 和 DeepMind 使用深度强化学习控制托卡马克装置等离子体的研究登上了《自然》杂志。

论文地址：

https://www.nature.com/articles/s41586-021-04301-9

DeepMind 控制团队负责人 Martin Riedmiller 表示：「人工智能，特别是强化学习，特别适合解决托卡马克中控制等离子体的复杂问题。」DeepMind 在论文中详细介绍了所提的可以自主控制等离子体的 AI。

技术概览

DeepMind 提出的模型架构如下图所示，该方法具有三个阶段：

第一阶段：设计者为实验指定目标，可能伴随着随时间变化的控制目标；

第二阶段：深度 RL 算法与托卡马克模拟器交互，以找到接近最优的控制策略来满足指定目标；

第三阶段：以神经网络表示的控制策略直接在托卡马克硬件上实时运行（零样本）。

3.GitHub 1.6万星，JAX到底如何

近年来，谷歌于 2018 年推出的 JAX 迎来了迅猛发展，很多研究者对其寄予厚望，希望它可以取代 TensorFlow 等众多深度学习框架。

目前，在 JAX 的 GitHub 项目主页，Star 量已经达到了 16.3k。

项目地址：https://github.com/google/jax

JAX 是一个非常有前途的项目，并且用户一直在稳步增长。JAX 已经在深度学习、机器人 / 控制系统、贝叶斯方法和科学模拟等诸多领域得到了广泛应用。

JAX 的速度比 NumPy 快了 N 个数量级。需要注意，JAX 使用的是 TPU，NumPy 使用了 CPU，以此强调 JAX 的速度上限远高于 NumPy。

作者列出了以下六条可能想要使用 JAX 的理由：

NumPy 加速器。NumPy 是使用 Python 进行科学计算的基础包之一，但它仅与 CPU 兼容。JAX 提供了 NumPy 的实现（具有几乎相同的 API），可以非常轻松地在 GPU 和 TPU 上运行。

XLA。XLA（Accelerated Linear Algebra）是专为线性代数设计的全程序优化编译器。JAX 建立在 XLA 之上，显著提高了计算速度上限；

JIT。JAX 允许用户使用 XLA 将自己的函数转换为即时编译（JIT）版本。

Auto-differentiation。JAX 将 Autograd（自动区分原生 Python 代码和 NumPy 代码）和 XLA 结合在一起，它的自动微分能力在科学计算的许多领域都至关重要。

深度学习。虽然 JAX 本身不是深度学习框架，但它的确为深度学习提供了一个很好的基础。很多构建在 JAX 之上的库旨在提供深度学习功能，包括 Flax、Haiku 和 Elegy。

通用可微分编程范式（General Differentiable Programming Paradigm ）。虽然我们可以使用 JAX 来构建和训练深度学习模型，但它也为通用可微编程提供了一个框架。

4.分类器可视化解释StylEx：谷歌、MIT等找到了影响图像分类的关键属性

神经网络可以非常出色地执行各种任务，但它们是如何做出决定的呢？例如，在图像分类任务中，模型是如何确定一张图像属于这一类而不是属于另一类，这通常是一个谜题。解释神经网络如何做决策的过程，可能会在某些领域产生重大的社会影响，例如医学图像分析和自动驾驶。

以前对分类器进行视觉解释的方法（例如注意力图 Grad-CAM）），会强调图像中的哪些区域对分类有影响，但这些方法并没有解释这些区域中的哪些属性决定分类结果：例如是颜色、形状，还是其他的属性决定模型进行这样的分类。另一类方法是通过在一类和另一类之间平滑转换图像来提供解释（例如 GANalyze）。然而，这些方法倾向于一次性改变所有属性（例如颜色、形状），因此，很难隔离单个属性带来的影响。

去年，来自谷歌、希伯来大学、 MIT 等机构的研究者提出了一种新的分类器可视化解释方法，相关论文被 ICCV 2021 接收。他们提出了 StylEx ，可以自动发现和可视化影响分类器的解耦属性（disentangled attributes）。StylEx 允许通过单独操作这些属性来探索单个属性的影响（也就是说，更改一个属性不会影响其他属性）。StylEx 适用于广泛的领域，包括动物、树叶、面部和视网膜图像。该研究

结果表明，StylEx 找到的属性与语义属性非常吻合，可以生成有意义的特定于图像的解释，并且在用户研究中可以被人们所解释。

论文地址：https://arxiv.org/pdf/2104.13369.pdf

论文主页：https://explaining-in-style.github.io/

原文链接：https://ai.googleblog.com/