总结 | 2020年TOP 10计算机视觉论文：代码，解读，还有demo视频！

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者：louisfb01

编译：ronghuaiyang

来源：AI公园

导读

论文，代码，解读，还有demo视频。

尽管今年世界上发生了这么多事情，我们还是有机会看到很多惊人的研究成果。特别是在人工智能更精确的说是计算机视觉领域。此外，今年还聚焦了许多重要的方面，比如伦理方面、重要的偏见等等。人工智能和我们对人类大脑及其与人工智能的联系的理解在不断发展，在不久的将来显示出了有前途的应用，这一点我一定会讲到。

以下是我今年在计算机视觉领域最有趣的10篇研究论文，以免你错过了其中的任何一篇。简而言之，它基本上是一个关于人工智能和CV的最新突破的精选列表，配有清晰的视频解释、更深入的文章链接和代码(如果适用的话)。好好享受吧，如果我在评论中漏掉了什么重要的论文，请告诉我，或者直接在LinkedIn上联系我！

观看完整的5分钟计算机视觉2020回顾

视频链接：https://youtu.be/CP3E9Iaunm4

完整的论文列表

Sea-thru: A Method For Removing Water From Underwater Images
Neural circuit policies enabling auditable autonomy
NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis
YOLOv4: Optimal Speed and Accuracy of Object Detection
PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models
Image GPT - Generative Pretraining from Pixels
DeepFaceDrawing: Deep Generation of Face Images from Sketches
PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization
RAFT: Recurrent All-Pairs Field Transforms for Optical Flow
Learning Joint Spatial-Temporal Transformations for Video Inpainting
Old Photo Restoration via Deep Latent Space Translation
Is a Green Screen Really Necessary for Real-Time Portrait Matting?
DeOldify

Sea-thru: A Method For Removing Water From Underwater Images

你有没有想过，如果没有水，海洋会是什么样子，去掉了这蓝绿色的水下照片，仍然有珊瑚礁的真实颜色？利用计算机视觉和机器学习算法，Haifa大学的研究人员能够做到这一点！

视频短片：视频链接：https://youtu.be/E1kffL4_AS8

论文解读：https://medium.com/towards-artificial-intelligence/this-ai-removes-the-water-from-underwater-images-d277281bcd0f
论文链接：https://openaccess.thecvf.com/content_CVPR_2019/papers/Akkaynak_Sea-Thru_A_Method_for_Removing_Water_From_Underwater_Images_CVPR_2019_paper.pdf
代码：https://github.com/jgibson2/sea-thru

Neural circuit policies enabling auditable autonomy

来自奥地利IST和麻省理工学院的研究人员已经成功地使用一种新的人工智能系统训练了一辆自动驾驶汽车，该系统基于小动物的大脑，比如蛲虫。他们只用几个神经元就能控制自动驾驶汽车，而流行的深度神经网络如inveptions、Resnets或VGG需要数百万个神经元。他们的网络能够完全控制一辆汽车，只需要使用由19个控制神经元组成的75000个参数，而不是数百万个！

短片：https://youtu.be/wAa358pNDkQ

论文解读：https://medium.com/towards-artificial-intelligence/a-new-brain-inspired-intelligent-system-drives-a-car-using-only-19-control-neurons-1ed127107db9
论文链接：https://www.nature.com/articles/s42256-020-00237-3.epdf?sharing_token=xHsXBg2SoR9l8XdbXeGSqtRgN0jAjWel9jnR3ZoTv0PbS_e49wmlSXvnXIRQ7wyir5MOFK7XBfQ8sxCtVjc7zD1lWeQB5kHoRr4BAmDEU0_1-UN5qHD5nXYVQyq5BrRV_tFa3_FZjs4LBHt-yebsG4eQcOnNsG4BenK3CmBRFLk%3D
代码：https://github.com/mlech26l/keras-ncp

NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis

该方法能够生成一个完整的三维场景，并能够决定场景的照明。与以前的方法相比，所有这些都只需要非常有限的计算成本并得到了惊人的结果。

短片：https://youtu.be/ZkaTyBvS2w4

论文解读：https://medium.com/what-is-artificial-intelligence/generate-a-complete-3d-scene-under-arbitrary-lighting-conditions-from-a-set-of-input-images-9d2fbce63243
论文链接：https://arxiv.org/abs/2012.03927
代码：https://people.eecs.berkeley.edu/~pratul/nerv/

YOLOv4: Optimal Speed and Accuracy of Object Detection

这第4个版本由Alexey Bochkovsky等人于2020年4月在论文“YOLOv4: Optimal Speed and Accuracy of Object Detection”中介绍。该算法的主要目标是在高精度方面做出一个高质量的超高速目标检测器。

短片：https://youtu.be/CtjZFkO5RPw

论文解读：https://medium.com/what-is-artificial-intelligence/the-yolov4-algorithm-introduction-to-you-only-look-once-version-4-real-time-object-detection-5fd8a608b0fa
论文链接：https://arxiv.org/abs/2004.10934
代码：https://github.com/AlexeyAB/darknet

PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Model

这个新算法将模糊的图像转换成高分辨率的图像！它可以把超低分辨率的16x16图像转换成1080p高清晰度的人脸！你不相信我？你就可以在不到一分钟的时间里自己试一下！但首先，让我们看看他们是怎么做到的。

短片：https://youtu.be/cgakyOI9r8M

论文解读：https://medium.com/what-is-artificial-intelligence/this-ai-makes-blurry-faces-look-60-times-sharper-7fcd3b820910
论文链接：https://arxiv.org/abs/2003.03808
代码：https://github.com/adamian98/pulse

Image GPT - Generative Pretraining from Pixels

一个好的人工智能，比如Gmail中使用的那个，可以生成连贯的文本并完成你的短语。这张图片使用了同样的原则来完成一张图片！所有这些都是在无人监督的训练中完成的，根本不需要任何标签！

短片：https://youtu.be/FwXQ568_io0

论文解读：https://medium.com/towards-artificial-intelligence/this-ai-can-generate-the-pixels-of-half-of-a-picture-from-nothing-using-a-nlp-model-7d7ba14b5522
论文链接：https://openai.com/blog/image-gpt/
代码：https://github.com/openai/image-gpt

DeepFaceDrawing: Deep Generation of Face Images from Sketches

你现在可以使用这种新的图像到图像转换技术，从粗糙甚至不完整的草图生成高质量的人脸图像，无需绘图技巧！如果你的画技和我一样差，你甚至可以调整眼睛、嘴巴和鼻子对最终图像的影响。让我们看看它是否真的有效，以及他们是如何做到的。

短片：https://youtu.be/djXdgCVB0oM

论文解读：https://medium.com/what-is-artificial-intelligence/ai-generates-real-faces-from-sketches-8ccbac5d2b2e
论文链接：http://geometrylearning.com/paper/DeepFaceDrawing.pdf
代码：https://github.com/IGLICT/DeepFaceDrawing-Jittor

PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization

这个人工智能从2D图像生成3D高分辨率的人的重建！它只需要一个单一你的图像就可以生成一个3D头像，看起来就像你，甚至从背后！

短片：https://youtu.be/ajWtdm05-6g

论文解读：https://medium.com/towards-artificial-intelligence/ai-generates-3d-high-resolution-reconstructions-of-people-from-2d-images-introduction-to-pifuhd-d4aa515a482a
论文链接：https://arxiv.org/pdf/2004.00452.pdf
代码：https://github.com/facebookresearch/pifuhd

RAFT: Recurrent All-Pairs Field Transforms for Optical Flow

ECCV 2020最佳论文奖授予普林斯顿团队。他们开发了一种新的端到端可训练的光流模型。他们的方法在多个数据集上超越了最先进的架构的准确性，而且效率更高。

短片：https://youtu.be/OSEuYBwOSGI

论文解读：https://medium.com/towards-artificial-intelligence/eccv-2020-best-paper-award-a-new-architecture-for-optical-flow-3298c8a40dc7
论文链接：https://arxiv.org/pdf/2003.12039.pdf
代码：https://github.com/princeton-vl/RAFT

Learning Joint Spatial-Temporal Transformations for Video Inpainting

这个人工智能应用可以填补移除了目标之后丢失的像素，并使用更精确，更少模糊的方式重建整个视频。

短片：https://youtu.be/MAxMYGoN5U0

论文解析：https://medium.com/towards-artificial-intelligence/this-ai-takes-a-video-and-fills-the-missing-pixels-behind-an-object-video-inpainting-9be38e141f46
论文链接：https://arxiv.org/abs/2007.10247
代码：https://github.com/researchmm/STTN?utm_source=catalyzex.com

Old Photo Restoration via Deep Latent Space Translation

想象一下，你祖母18岁时的老照片，折叠的，甚至是被撕的，全部变成高清的，没有任何手工痕迹的照片。这就是所谓的旧照片修复，而这篇论文刚刚开辟了一个全新的途径来解决这个问题，使用深度学习方法。

短片：https://youtu.be/QUmrIpl0afQ

论文解析：https://medium.com/towards-artificial-intelligence/old-photo-restoration-using-deep-learning-47d4ab1bdc4d
论文链接：https://arxiv.org/pdf/2009.07047.pdf
代码：https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life?utm_source=catalyzex.com

Is a Green Screen Really Necessary for Real-Time Portrait Matting?

人像抠图是一项非常有趣的任务，目标是在照片中找到所有的人，然后把背景去掉。由于任务的复杂性，这真的很难实现，必须找到一个或多个拥有完美轮廓的人。在这篇文章中，我回顾了多年来使用的最佳技术，以及2020年11月29日发表的一篇新方法。许多技术使用基本的计算机视觉算法来实现这一任务，例如GrabCut算法，它非常快，但不是非常精确。

短片：https://youtu.be/rUo0wuVyefU

论文解读：https://medium.com/datadriveninvestor/high-quality-background-removal-without-green-screens-8e61c69de63
论文链接：https://arxiv.org/pdf/2011.11961.pdf
代码：https://github.com/ZHKKKe/MODNet

DeOldify

DeOldify是一种对黑白图像甚至电影胶片进行着色和还原的技术。它是由Jason Antic一人开发的，目前仍在进行更新。它现在是给黑白图像着色的最先进的方法，而且所有的东西都是开源的，但是我们将会回到这一点上。

短片：https://youtu.be/1EP_Lq04h4M

论文解读：https://medium.com/towards-artificial-intelligence/this-ai-can-colorize-your-black-white-photos-with-full-photorealistic-renders-deoldify-bf1eed5cb02a
代码：https://github.com/jantic/DeOldify

—END—

英文原文：https://github.com/louisfb01/Top-10-Computer-Vision-Papers-2020

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~