深度学习经典论文汇总

CV-CNN

AlexNet（2012）：深度学习热潮的奠基作
VGG（2014）：使用 3x3 卷积构造更深的网络
GoogleNet（2014）：使用并行架构构造更深的网络
ResNet（2015）：构建深层网络的残差连接
MobileNet（2017）：适合终端设备的小CNN
EfficientNet（2019）：通过架构搜索得到的CNN
Non-deep networks（2021）：让不深的网络也能在ImageNet刷到SOTA

CV-Object Detection

R-CNN（2014）：Two-stage
Fast R-CNN（2015）
Faster R-CNN（2015）
SSD（2016）：Single stage
YOLO（2016）
Mask R-CNN（2017）
YOLOv2（2017）
YOLOv3（2018）
CenterNet（2019）：Anchor free
DETR（2020）：Transformer

CV-Comparative Learning

InstDisc（2018）：提出实例判别和memory bank做对比学习
CPC（2018）：对比预测编码，图像语音文本强化学习全都能做
InvaSpread（2019）：一个编码器的端到端对比学习
CMC（2019）：多视角下的对比学习
MoCov1（2020）：无监督训练
SimCLRv1（2020）：简单的对比学习 (数据增强 + MLP head + 大batch训练久)
MoCov2（2020）：MoCov1 + improvements from SimCLRv1
SimCLRv2（2020）：大的自监督预训练模型很适合做半监督学习
BYOL（2020）：不需要负样本的对比学习
SWaV（2020）：聚类对比学习
SimSiam（2020）：化繁为简的孪生表征学习
MoCov3（2021）：如何更稳定的自监督训练ViT
DINO（2021）：transformer加自监督在视觉

CV-Transformer

ViT（2020）：Transformer杀入CV界
Swin Transformer（2021）：多层次的Vision Transformer
MLP-Mixer（2021）：使用MLP替换self-attention
MAE（2021）：BERT的CV版

CV-Video Understanding

DeepVideo（2014）：提出sports1M数据集，用深度学习做视频理解
Two-stream（2014）：引入光流做时序建模，神经网络首次超越手工特征
C3D（2014）：比较深的3D-CNN做视频理解
Beyond-short-snippets（2015）：尝试使用LSTM
Convolutional fusion（2016）：early fusion来加强时空间建模
TSN（2017）：视频分段建模，bag of tricks in video
I3D（2017）：提出Kinetics数据集，膨胀2D网络到3D，开启3D-CNN时代
R2+1D（2017）：拆分3D卷积核，使3D网络容易优化
Non-local（2017）：引入自注意力做视觉问题
SlowFast（2018）：快慢两支提升效率
TimeSformer（2021）：视频中第一个引入transformer，开启video transformer时代

NLP-Transform

Transformer：继MLP、CNN、RNN后的第四大类构架
GPT：使用Transformer解码器做预训练
BERT：Transformer一统NLP的开始
GPT-2：更大的 GPT 模型，朝着zero-shot learning迈了一大步
GPT-3：100倍更大的 GPT-2，few-shot learning效果显著

GAN

GAN（2014）：生成模型的开创工作
DCGAN（2015）：使用CNN的GAN
pix2pix（2016）
SRGAN（2016）：图片超分辨率
WGAN（2017）：训练更加容易
CycleGAN（2017）
StyleGAN（2018）
StyleGAN2（2019）
DDPM（2020）：Diffusion Models
Improved DDPM（2021）：改进的 DDPM
Guided Diffusion Models（2021）：号称超越 GAN
StyleGAN3（2021）
DALL.E 2（2022）：CLIP + Diffusion models，文本生成图像新高度

多模态

CLIP（2021）：图片和文本之间的对比学习
ViLT（2021）：第一个摆脱了目标检测的视觉文本模型
ViLD（2021）：CLIP蒸馏帮助开集目标检测
GLIP（2021）：联合目标检测和文本定位
CLIP4Clip（2021）：拿CLIP直接做视频文本retrieval
ActionCLIP（2021）：用多模态对比学习有监督的做视频动作分类
PointCLIP（2021）：3D变2D，巧妙利用CLIP做点云
LSeg（2022）：有监督的开集分割
GroupViT（2022）：只用图像文本对也能无监督做分割
CLIPasso（2022）：CLIP跨界生成简笔画
DepthCLIP（2022）：用文本跨界估计深度

Reference：GitHub - mli/paper-reading: 深度学习经典、新论文逐段精读

深度学习经典论文汇总相关推荐

[转载]机器学习深度学习经典资料汇总，全到让人震惊
自学成才秘籍!机器学习&深度学习经典资料汇总转自:中国大数据: http://www.thebigdata.cn/JiShuBoKe/13299.html [日期:2015-01-27] 来 ...
深度学习经典trick汇总
深度学习经典trick汇总 trick这个词或许有投机取巧的意味,但深度学习论文中出现的很多这个trick确实对模型更方面性能有所提高,而且它们中的很多还具有普适性,那么这种"trick&q ...
【干货】31篇关于深度学习必读论文汇总(附论文下载地址)
Kloud Strife在其博客上盘点了最值得关注的有关深度学习的论文,包括架构/模型.生成模型.强化学习.SGD & 优化及理论等各个方面,有些论文名扬四海,有些论文则非常低调.可以根据个人 ...
【转】自学成才秘籍！机器学习深度学习经典资料汇总
小编都深深的震惊了,到底是谁那么好整理了那么多干货性的书籍.小编对此人表示崇高的敬意,小编不是文章的生产者,只是文章的搬运工. <Brief History of Machine Learnin ...
机器学习深度学习经典资料汇总
小编都深深的震惊了,到底是谁那么好整理了那么多干货性的书籍.小编对此人表示崇高的敬意,小编不是文章的生产者,只是文章的搬运工. <Brief History of Machine Learnin ...
KDD 2019高维稀疏数据上的深度学习Workshop论文汇总
作者 | 深度传送门来源 | 深度传送门 [导读]本文是"深度推荐系统"专栏的第九篇文章,这个系列将介绍在深度学习的强力驱动下,给推荐系统工业界所带来的最前沿的变化.本文简要总结 ...
深度学习经典数据集汇总
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达很多朋友在学习了神经网络和深度学习之后,早已迫不及待要开始动手实战 ...
【深度学习】深度学习经典数据集汇总
深度学习数据集 Author:louwill From:深度学习笔记很多朋友在学习了神经网络和深度学习之后,早已迫不及待要开始动手实战了.第一个遇到的问题通常就是数据.作为个人学习和实验来说,很难获 ...
图像修复方法总结以及深度学习的论文汇总（更新中。。。）
1.图像修复总结图像修复(Image inpainting or Image complete )的目的是在给定一个mask的情况下,填充缺失区域的像素,使其整体达到纹理和结构一致性,或者语义和视觉 ...

深度学习经典论文汇总

CV-CNN

CV-Object Detection

CV-Comparative Learning

CV-Transformer

CV-Video Understanding

NLP-Transform

GAN

多模态

深度学习经典论文汇总相关推荐

最新文章

热门文章