家栗子 发自 航天桥
量子位 出品 | 公众号 QbitAI

古人云，捕风捉影。

捕风或许不那么容易，毕竟，能停下来的，就不是风了。

捉影的话，可以把神经网络放出来，它们的视觉可以很灵敏。

不过，神经网络要追的，是反光表面映照出来的倒影。

加州大学伯克利分校的研究人员，不喜欢在水族馆拍鱼的时候，照到一个灵异的自己。

于是，他们就要利用神经网络强大的感知能力，来除灵了。还中选了CVPR。

把反光层和透射层，分离开来，何者为实何者为虚，一目了然。

这，也是目前计算机视觉领域里面，一个非常美好的问题。

不过，这个除灵过程，没有灰飞烟灭的环节，实景和虚影都会好好地活着，且互不干扰。

现实主义表达方式

△ 中为CEILNet，右为伯克利

阴郁的街景，和阴郁的大叔，被神经网络的如炬目光，明明白白地洞察了。

并且，两者都保留了它们最纯粹的样子，没有交叠。

不过，漫长的旅途中，视角并非从一开始就那么清晰。

追影这个浪漫的问题，用数学符号来表示，是这样——

I∈ℝ^m×n×3，就是输入的含着倒影的图像。

△ 不是正确示范

图像(I)，可以被建模成，透射层(T)与反光层 (R) 之和，即I = T + R。

目标是，把T层修复好，让原本想要的景色，不要受到R层的打扰。

这不是一个稳定、有唯一解 (well-posed question) 的问题，需要给一些额外的条件，才能更好地解决。

用几张图

以往的研究中，要去掉一幅图里的倒影，大多要输入好多幅图，或者需要得到人类清晰的指点。

可是，用几幅图来处理一幅图，很多时候是不现实的；需要人类的话，听起来也并不是那么厉害。

用一张图

最近，也有研究人员，实现了只需要单张图就能完成的除影术。

CEILNet，拿深度神经网络训练模型，用色彩和边缘的低层损失来训练的。但这种方法，不能直接让模型直接学习高层语义，这对捉影师来说，还是很遗憾的。

光有低层信息是不够的，特别是涉及到颜色模糊 (color ambiguity) ，或者是模型需要识别物体的时候。

本文的技术，就会识别灯啊，人脸啊这些物体的表征，并开心地除掉了它们的虚像。

疗效明显不同。

模型结构长这样

一个优秀的模型需要理解图像里的内容。

为了语义理解，团队用了hypercolumn特征——从一个用ImageNet数据集训练好的VGG-19网络上提取特征。

这样做的优点是，有用的特征，可以对输入的数据进行扩增。

另外，这个神经网络的感受野 (Receptive Field ) 很大，有513×513个像素，可以有效地聚集起五湖四海的图像信息。

神经网络的第一层，是个1×1的卷积，给特征降维用的，从(1472+3) 维降到64维。

后面跟着8层，都是3×3的扩张卷积 (Dilated Convolutions) ，扩张率从1到128不等。

所有的中间层，都有64个特征通道。

最后一层，用了一个线性变换，在RGB空间里，生成两幅图像。

损失函数很丰盛

特征损失

测量的是特征空间中，预测的透射层 (T) 和参考标准 (Ground Truth) 之间的距离。

低层高层信息结合起来，语义推理有助于分割图层。

把透射层(T) 跟参考标准都喂给VGG-19神经网络。

对抗损失

团队发现透射层的图像会受到色彩失真和残差的影响，才在损失函数里加上了这一项。

本环节的主角是CGAN，其中的判别模型，会识别真实透射图和生成透射层之间的差别。

通过训练，判别器会学到一个最适宜的损失函数，为下一步的分层优化打好基础，也让生成器的预测结果，更加接近真实。

Exclusion Loss

团队探索了一下透射层 (T) 和反光层 (R) 之间的差异——

研究人员发现，透射层和反光层的边缘，通常都不会重叠。

也就是说，一个边缘可能是T的，可能是R的，但不大会是它们共同所有的。

于是，团队把梯度域 (Gradient Domain) 里面，T层和R层的相关性降到最低，写出一个Exlusion Loss的函数。

其中，λ_T和λ_R这两个归一化因子 (Normalization Factors) 很重要，因为T层和R层之间，梯度幅值可能会不平衡——

R层如果比较模糊，梯度就小一些。

R层如果反射了强光，图上就会有一个非常亮的点，梯度则会很大。

数据集也虚实结合

训练数据，里面有5000幅合成图像，是用Flickr上随机找的10000张图两两合并，一为T层，一为R层。

假设两层处在不同的焦平面 (Focal Plane) 上，模糊度就有明显的差异。

还有，团队从90幅真实图像中提取了500个小块 (Patch) ，分辨率在256p-480p之间。

然后，要用无微不至的眼光观察图像——

·在室内还是户外
·光照条件，是日光还是白炽灯还是其他
·拍摄角度，是前视还是斜位照
·相机光圈，f/2.0— f/16

为了扩增数据，研究人员还随机调整了小块的尺寸，不过横纵比保持不变。

数据集建好之后，神经网络就要开始修行了。

训练过程中，数据跑了250次 (Epoch) ，批尺寸为1。

看看成绩

骄人的数据

来到测试阶段，团队先用PSNR和SSIM两套图像质量评价方法，来对比了一下自家神经网络，和前人算法生成的图像。

可喜可贺，伯克利的AI在两项比赛里，都获得了最高分。

另外，研究人员还在MTurk上搜集了人类观众的评价。

在两两对抗赛中，他们的图像先后战胜了只需输入一幅图的CEILNet，还有需要输入多幅图的Li and Brown。

这不是险胜，是80%以上的压倒性优势。

碾压了对手之后，就要感受一下损失函数里面，三项损失的表现如何——

又是经过SSIM和PRNS的鉴定，证实三者缺一不可，合体才能爆发最强的能量。

数据之外

比起数据，各位还是亲自审阅一下生成的图片，来得更实在。

先和CEILNet比一下，看T层，伯克利的小黄鸭坐的垫子上面，并没有灵异的影子了，因为影子比较完好地搬去了R层。

相比而言，对手的R层黑漆漆，该属于R层的部分，还以半透明的样子存在于T层。

后来，Li and Brown也加入了比赛，不过还是受到了伯克利AI的碾压。

虽然，那两位对手包包上印花，还是挺美的。

需要注意的是，伯克利的方法适用于各种环境下拍摄的图像，没有太多的限制条件，便于推广，这也是这只AI与其他选手之间，一个重要的不同。

One More Thing

最后，介绍下三位作者的履历，其中陈启峰博士，可能量子位的读者早已很熟悉。

张璇儿

一作：张璇儿（Cecilia Zhang），出生北京，人大附中高材生，本科学于莱斯大学，其后入学UC伯克利，师从吴义仁 (Ren NG) 教授，主攻计算机视觉方向，目前是博士三年级学生。

张璇儿先后在Adobe、Facebook实习，现在则在英特尔实习——与陈启峰一起工作。

吴义仁

二作：Ren Ng（吴义仁），加州大学伯克利分校的助理教授，璇儿就是在他的实验室里做研究。

Ren Ng出生在马来西亚，8岁移民澳大利亚。2006年斯坦福大学博士毕业，还获得了当年ACM的博士论文奖。

Ren Ng教授的主要研究方向是数字光场摄影技术，还创办了光场相机公司Lytro，把这项技术引入消费级电子产品。

陈启峰

三作：陈启峰，经历颇为传奇，1989年生于广东。

2006年，17岁的陈奇峰发表论文，提出数据结构Size Balanced Tree（SBT）。2008年，以中学生身份获得中山“十大杰出青年”称号。

2011年，陈启峰在ACM国际大学生程序设计竞赛获得金牌（全球第二，北美冠军）。同年还获得香港大学生编程比赛冠军。

2017年，陈启峰从斯坦福博士毕业。如今已是英特尔实验室研究员。

今年，陈启峰还成为了无人车明星创业公司Pony.ai研究院的访问教授，与之前他在IOI旅程中的楼天城等竞争对手，有了一段新故事。

CVPR论文在这里了：

Single Image Reflection Separation with Perceptual Losses

http://cn.arxiv.org/pdf/1806.05376

预祝大家，端午节除灵愉快。

— 完 —

加入社群

量子位AI社群17群开始招募啦，欢迎对AI感兴趣的同学，加小助手微信qbitbot7入群；

此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。

进群请加小助手微信号qbitbot7，并务必备注相应群的关键词~通过审核后我们将邀请进群。（专业群审核较严，敬请谅解）

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态