一文看尽深度学习这半年
原作:Ross Taylor
岳排槐 编译整理
量子位 出品 | 公众号 QbitAI
追踪深度学习这样一个大热领域的进展并不容易。
为了解决这个问题,年初我和Robert Stojnic搞了Papers With Code,这个网站把深度学习的研究论文和代码结合在一起。
这也能让我们有机会鸟瞰这个领域,包括研究趋势、热门框架以及哪些技术正受到青睐。这篇博文就用来分享这些。
以下的趋势总结,都来自于网站的数据。我们一起来总结下2018下半年的关键突破,以及深度学习社群的未来之路。
最热模型:BERT、vid2vid和graph_nets
Google AI十月发布的BERT论文,引发了深度学习界的强烈关注。这篇论文提出了一种深度双向Transformer模型。BERT刷新了11种NLP任务的最佳表现,包括斯坦福问答数据集(SQuAD)。
Google AI随后开源了这篇论文的代码,一个月的时间,BERT在GitHub上已经获得8000多次的标星,而且还在快速增加。
论文:
https://arxiv.org/abs/1810.04805
GitHub地址:
https://github.com/google-research/bert
英伟达的Video-to-Video(vid2vid)合成论文,介绍了一个效果惊人的生成模型,过去几年里这也是最受欢迎的深度学习领域之一。
这篇论文利用新颖的顺序生成器架构,以及一些诸如前景和背景先验(foreground-and-background priors)等设计特征,来修复时间不连贯的问题,进而提高性能。
英伟达也开源了代码,成为今年下半年第二大最受欢迎的实现。
论文:
https://arxiv.org/abs/1808.06601
GitHub地址:
https://github.com/NVIDIA/vid2vid
Google DeepMind关于图网络(graph_nets)的论文,在年中的时候获得了大量的关注。这个研究,为深度学习提供了一种数据结构化的新方向。这是今年下半年第三大最后欢迎的实现。
论文:
https://arxiv.org/abs/1806.01261v3
GitHub地址:
https://github.com/deepmind/graph_nets
最流行的项目:DeOldify、BERT和Fast R-CNN
DeOldify是一个使用GAN修复黑白老照片以及重新上色的项目。
这个项目在深度学习社群引发极大的兴趣,作者Jason Antic使用了SA-GANs、PG-GANs等完成了搭建。目前,这个项目在GitHub上超过4000标星。
GitHub地址:
https://github.com/jantic/DeOldify
BERT的PyTorch实现,也获得了广泛关注。
这个实现是韩国小哥Junseong Kim完成的,他表示代码很简单,而且也易于理解,其中一些代码基于The Annotated Transformer。目前这个项目在GitHub上获得1500多标星。
GitHub地址:
https://github.com/codertimo/BERT-pytorch
最后要介绍的,是Mask R-CNN的Keras/TensorFlow实现。
这个项目的架构,基于一个Feature Pyramid Network和一个ResNet101 backbone。这个库可用于多种场景,例如3D场景重建、自动驾驶的目标检测等。目前这个项目在GitHub上标星超过8000。
GitHub地址:
https://github.com/matterport/Mask_RCNN
数说现状
NLP和GAN最热
查看Top50的实现,最热门的字段是生成模型和自然语言处理。
在生成模型中,GitHub上流行的实现包括:vid2vid,DeOldify,CycleGAN以及faceswaps。
在NLP领域,GitHub上流行的仓库包括:BERT,HanLP,jieba,AllenNLP以及fastText。
7篇新论文中,只有1篇附代码
每隔20分钟,就会出现一片新机器学习论文
自从7月以来,机器学习论文的月增长率一直在3.5%左右,年增长率约50%。这意味着每个月2200篇机器学习论文被发布,明年约有3万篇新机器学习论文会被发布。
这个速度比摩尔定律还快。
框架双寡头:TensorFlow和PyTorch
最后,如果你还没听说过Papers With Code,下面是传送门:
https://paperswithcode.com/
— 完 —
年度评选申请
加入社群
量子位AI社群开始招募啦,欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“交流群”,获取入群方式;
此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。
进专业群请在量子位公众号(QbitAI)对话界面回复关键字“专业群”,获取入群方式。(专业群审核较严,敬请谅解)
诚挚招聘
量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
一文看尽深度学习这半年相关推荐
- 一文看懂深度学习(白话解释+8个优缺点+4个典型算法)
本文首发自 easyAI - 人工智能知识库 原文地址:<一文看懂深度学习(白话解释+8个优缺点+4个典型算法)> 深度学习有很好的表现,引领了第三次人工智能的浪潮.目前大部分表现优异的应 ...
- 一文看尽深度学习中的20种卷积(附源码整理和论文解读)
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 引言 卷积,是卷积神经网络中最重要的组件之一.不同的卷积结构有着不一样的功能,但本质上都是用于提取特征 ...
- 一文看懂深度学习——人工智能系列学习笔记
深度学习有很好的表现,引领了第三次人工智能的浪潮.目前大部分表现优异的应用都用到了深度学习,大红大紫的 AlphaGo 就使用到了深度学习. 本文将详细的给大家介绍深度学习的基本概念.优缺点和主流的几 ...
- MIT最新课程:一文看尽深度学习各领域最新突破(附视频、PPT)
想要了解深度学习各领域的最新进展? 看个视频就足矣. 本文所介绍的内容是MIT系列课程之一,是有关深度学习最新进展的讲座.可以说,该课程的内容定义了这个领域的最前沿的技术. 课程提纲: BERT和自然 ...
- 一文看尽深度学习中的15种损失函数
点击上方"计算机视觉工坊",选择"星标" 干货第一时间送达 作者丨CVHub 来源丨CVHub 编辑丨极市平台 导读 本文详细介绍了深度学习中的各种损失函数的优 ...
- 一文看尽深度学习中的各种注意力机制(1998-2020年)
导读 视觉注意力机制是人类视觉所特有的一种大脑信号处理机制,而深度学习中的注意力机制正是借鉴了人类视觉的注意力思维方式.一般来说,人类在观察外界环境时会迅速的扫描全景,然后根据大脑信号的处理快速的锁定 ...
- 一文看懂深度学习发展史和常见26个模型
参加 2019 Python开发者日,请扫码咨询 ↑↑↑ 来源 | AI部落联盟(ID:AI_Tribe) 作者简介:沧笙踏歌,硕士毕业于北京大学,目前计算机科学与技术博士在读,主要研究自然语言处理和 ...
- 一文看懂深度学习模型压缩和加速
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 本文转自:opencv学堂 1 前言 近年来深度学习模型在计算机视 ...
- 【深度学习】一文看尽深度学习各领域最新突破
来源:<产业智能官> 想要了解深度学习各领域的最新进展? 看个视频就足矣. 该课程的PPT资料,下载地址如下: https://www.dropbox.com/s/v3rq3895r05x ...
最新文章
- 本地如何使用phpstudy环境搭建多站点
- nginx limit_rate突然限速失败
- 安装node和pm2
- 【Obj-C】学习杂记-1
- PyTorch教程(三):索引与切片
- C++PrimerPlus学习——第十三章编程练习
- .NET环境下水晶报表使用总
- 2017-2018-1 《信息安全系统设计基础》课程总结
- centos7 python3安装numpy_CentOS7 安装python库(numpy、scipy、matplotlib、scikit-learn、tensorflow)...
- 深度学习自学(三十五):双向图推理全景图像分割
- gcc下载地址(Linux/windows安装)
- Web前端学习日记3
- 淘宝返利是怎么回事?是真的还是假的?
- 数据库作业8:SQL练习5 - SELECT(嵌套查询EXISTS、集合查询、基于派生表的查询)
- lingo纳什均衡代码_传统的战略式博弈求解纳什均衡方法——虚拟博弈(Fictitious Play)讲解及其代码...
- pyqtgraph 案例 002 Basic Plotting
- 虚幻Material
- Mac安装MongoDB(极简)
- OS及Mac开源项目和学习资料【超级全面】
- 2019网络攻击趋势
热门文章
- 干掉13个区块链最常见的Bug!
- 2008服务器网站设置密码,win2008服务器设置密码
- python 操作oracle 执行脚本_CentOS 7定时执行python脚本
- 使用 Grafana+collectd+InfluxDB 打造现代监控系统
- 苹果手机其他占内存很大去哪删除_Iphone内存总是不够用?原来这才是正确清理垃圾的方法,长见识了...
- java 隐藏任务栏,在Java中隐藏Windows任务栏?
- java入门第六天课程_Java基础学习第六天 小游戏
- cvsaveimage 异常_C++ IplImage*的若干bug之三:cvSaveImage問題
- springmvc网页找不到404_eclipse新建WebProject访问主页404错误的解决
- c语言怎么获取系统时间到变量,C语言怎样获取系统当前的时间并把它保存到定义的变量中...