何恺明的ResNet引用量突破10万!
点击下方卡片,关注“CVer”公众号
AI/CV重磅干货,第一时间送达
转载自:机器之心 | 编辑:泽南、小舟
「深度神经网络非常难以训练,我们提出的残差网络框架使得神经网络的训练变得容易很多。」文章摘要的开头如今已被无数研究者们细细读过。
这是一篇计算机视觉领域的经典论文。李沐曾经说过,假设你在使用卷积神经网络,有一半的可能性就是在使用 ResNet 或它的变种。
前几天,人们发现 ResNet 论文被引用数量悄然突破了 10 万加,距离论文的提交刚过去六年。
《Deep Residual Learning for Image Recognition》在 2016 年拿下了计算机视觉顶级会议 CVPR 的最佳论文奖,相比 NeurIPS 最高热度论文《Attention is All You Need》,ResNet 的被引数多出了几倍。这一工作的热度如此之高,不仅是因为 ResNet 本身的久经考验,也验证了 AI 领域,特别是计算机视觉如今的火热程度。
论文链接:https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/He_Deep_Residual_Learning_CVPR_2016_paper.pdf
该论文的四位作者何恺明、张祥雨、任少卿和孙剑如今在人工智能领域里都是响当当的名字,当时他们都是微软亚研的一员。微软亚研是业内为数不多的,能够获得科技巨头持续高投入的纯粹学术机构。
说道论文本身,残差网络是为了解决深度神经网络(DNN)隐藏层过多时的网络退化问题而提出。退化(degradation)问题是指:当网络隐藏层变多时,网络的准确度达到饱和然后急剧退化,而且这个退化不是由于过拟合引起的。
假设一个网络 A,训练误差为 x。在 A 的顶部添加几个层构建网络 B,这些层的参数对于 A 的输出没有影响,我们称这些层为 C。这意味着新网络 B 的训练误差也是 x。网络 B 的训练误差不应高于 A,如果出现 B 的训练误差高于 A 的情况,则使用添加的层 C 学习恒等映射(对输入没有影响)并不是一个平凡问题。
为了解决这个问题,上图中的模块在输入和输出之间添加了一个直连路径,以直接执行映射。这时,C 只需要学习已有的输入特征就可以了。由于 C 只学习残差,该模块叫作残差模块。
此外,和当年几乎同时推出的 GoogLeNet 类似,它也在分类层之后连接了一个全局平均池化层。通过这些变化,ResNet 可以学习 152 个层的深层网络。它可以获得比 VGGNet 和 GoogLeNet 更高的准确率,同时计算效率比 VGGNet 更高。ResNet-152 可以取得 95.51% 的 top-5 准确率。
ResNet 网络的架构和 VGGNet 类似,主要包括 3x3 的卷积核。因此可以在 VGGNet 的基础上在层之间添加捷径连接以构建一个残差网络。下图展示了从 VGG-19 的部分早期层合成残差网络的过程。
ResNet 的部分结构。很多人说,何恺明的论文非常易懂,光看插图就能读懂思想。
ResNet 因其强大的表征能力,除图像分类以外,包括目标检测和人脸识别在内的许多计算机视觉应用都得到了性能提升。自 2015 年 问世以后,领域内许多研究者都试图对该模型做出一些改进,以衍生出一些更适合特定任务的变体。这也是 ResNet 超高引用量的重要原因之一。
在 ResNet 引用突破十万大关时,另一篇经典论文,2012 年的 AlexNet 被引量也突破了十万。
AlexNet 是 2012 年 ImageNet 竞赛冠军获得者 Alex Krizhevsky 设计的卷积神经网络,最初是与 CUDA 一起使用 GPU 支持运行的。该网络的错误率与前一届冠军相比减小了 10% 以上,比亚军高出 10.8 个百分点。图灵奖获得者 Geoffrey Hinton 也是 AlexNet 的作者之一,多伦多大学 SuperVision 组的 Ilya Sutskever 是第二作者。
论文链接:https://papers.nips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf
Alexnet 网络包含 6000 万个参数和 65000 万个神经元,8 层结构中包含 5 层卷积层和 3 层全连接层。Alexnet 首次在卷积神经网络中成功应用了 ReLU、Dropout 和 LRN 等 Trick。
一篇 CVPR 2016 的文章,和一篇 NeurIPS 2012 的文章双双突破 10 万引用,凸显了 AI 领域近年来的火热。另外值得一提的是,AlexNet 是 2012 年 ImageNet 图像识别竞赛的冠军,而 ResNet 是 2015 年的冠军。
根据 Google Scholar 的统计,ResNet 第一作者何恺明(Kaiming He)一共发表了 69 篇论文,H Index 数据为 59。
何恺明是我们耳熟能详的 AI 领域研究者。2003 年他以标准分 900 分获得广东省高考总分第一,被清华大学物理系基础科学班录取。在清华物理系基础科学班毕业后,他进入香港中文大学多媒体实验室攻读博士学位,师从汤晓鸥。何恺明曾于 2007 年进入微软亚洲研究院视觉计算组实习,实习导师为孙剑。2011 年博士毕业后,他加入微软亚洲研究院工作,任研究员。2016 年,何恺明加入 Facebook 人工智能实验室,任研究科学家至今。
何恺明的研究曾数次得奖,他曾于 2009 年拿到国际计算机视觉顶会 CVPR 的 Best Paper,2016 年再获 Best Paper 奖,2021 年有一篇论文是最佳论文的候选。何恺明还因为 Mask R-CNN 获得过 ICCV 2017 的最佳论文(Marr Prize),同时也参与了当年最佳学生论文的研究。
他最近一次被人们关注的研究是 11 月份的《Masked Autoencoders Are Scalable Vision Learners》,提出了一种泛化性能良好的计算机视觉识别模型,有望为 CV 的大模型带来新方向。
ICCV和CVPR 2021论文和代码下载后台回复:CVPR2021,即可下载CVPR 2021论文和代码开源的论文合集后台回复:ICCV2021,即可下载ICCV 2021论文和代码开源的论文合集后台回复:Transformer综述,即可下载最新的3篇Transformer综述PDF
CVer-Transformer交流群成立
扫码添加CVer助手,可申请加入CVer-Transformer 微信交流群,方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。
一定要备注:研究方向+地点+学校/公司+昵称(如Transformer+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群▲长按加小助手微信,进交流群
▲点击上方卡片,关注CVer公众号
整理不易,请点赞和在看
何恺明的ResNet引用量突破10万!相关推荐
- 何恺明的ResNet论文,被引量刚刚突破10万大关
转载自机器之心 这是一篇计算机视觉领域的经典论文.李沐曾经说过,假设你在使用卷积神经网络,有一半的可能性就是在使用 ResNet 或它的变种. 前几天,人们发现 ResNet 论文被引用数量悄然突破了 ...
- 字节跳动:年前再招1万人!员工总数将突破10万
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货 [导读]今年字节的新闻真不少!虽然在美频频受挫,但仍未停止扩大规模.最近传出节跳动计划在年底前 ...
- 互联网晚报 | 9月28日 星期二 | 乐视手机宣布回归;小鹏汽车累计交付量突破10万台;苹果售出20亿部iPhone...
今日看点 ✦ 快手搜索发布首个品牌Slogan,日均搜索次数超3亿 ✦ 乐视宣布手机业务正式回归并发布新品S1,内置华为HMS服务 ✦ 合合信息提交科创板IPO招股书:拟募资14.9亿元,去年净利 ...
- 互联网日报 | 5月4日 星期二 | 水滴公司启动上市路演;蔚来汽车累计交付量突破10万里程碑;巴菲特透露接班人选
今日看点 ✦ 水滴公司启动上市路演,美团王兴.快手程一笑等参与认购 ✦ 名创优品吹响进攻号角,旗下潮玩品牌TOP TOY今年要开100家店 ✦ 山西银行正式开业,注册资本近240亿位列全国城商行第二 ...
- 调查:12%受访者认为2021年比特币将突破10万美元
在最近的一项调查中,德意志银行(Deutsche Bank)的客户接受了对一年后比特币价格走向的询问.大多数人都认为2021年比特币的交易价格会更高,在2万美元到49999美元之间.不到三分之一的受访 ...
- CSDN博客访问量突破10万
CSDN博客访问量突破10万,纪念一下.
- 日立电梯中国2019年产销量均突破10万台
12月24日,日立电梯(中国)有限公司与恒大地产集团签订合约,日立电梯售出2019年度第10万台电梯.截至目前,日立电梯2019年的产销量已突破10万台. 日立电梯2019年产销量双双突破10万台 日 ...
- Reddit热议被引最多的机器学习论文:上世纪LSTM称霸,何恺明今年被引1.8w居首...
点击我爱计算机视觉标星,更快获取CVML新技术 本文转载自新智元(AI_era). 新智元报道 来源:reddit 整理:大明 [新智元导读]机器学习和AI今天的繁荣离不开前辈们的辛勤耕耘.近日 ...
- 《米四度的的思考》访问量突破10万
感谢csdn平台,感谢各位给我帮助的博友,我的博客浏览量突破十万,纪念一下,谢谢大家的不断的支持.
最新文章
- 中国电子学会青少年编程能力等级测试图形化一级编程题:小鸡与鸭妈拥抱
- 从输入 URL 到页面加载完的过程中都发生了什么事情 —— 网络优化篇
- css兼容ie9 ie11,用webpack打包的css在ie9些有些css文件没有引进去是为什么 ie11可以...
- Web APP开发技巧总结(转)
- mssql on linux 安装指导
- Java设计模式5:原型模式
- pandas忽略行列索引,纵向拼接多个dataframe
- 用SDWebImage加载FLAnimatedImage
- php fread 逐行读取,php fread函数使用方法总结
- STM32的PC13、PC14、PC15用作普通IO口设置方法
- Spring Boot 集成Spring Schedule定时任务执行功能(动态修改执行时间)
- STM32H7B0 HAL OSPI配置的一次失败原因分享
- GitHub Actions 快速入门
- dnf大区服务器位置,dnf河北一区是跨几
- 双系统模式下如何卸载ubuntu系统
- DeepRank: A New Deep Architecture for Relevance Ranking in Information Retrieval
- STM32--0.96寸OLED显示屏
- Windows10 更新1607版本,系统自带浏览器Microsoft Edge收藏夹消失?
- 用水流的概念来玩硬件(二)----三极管
- 曲师计算机考研内容,2019计算机考研大纲试卷内容
热门文章
- 【华为OD机试 2023】完美走位(C++ Java JavaScript Python 100%)
- android各个版本的发布时间
- 高并发访问数据库问题
- Android开发之使用createFromStream加载图片发现图片变小
- JavaFX入门(一):我的第一个JavaFX程序
- R统计绘图-corrplot热图绘制细节调整2(更改变量可视化顺序、非相关性热图绘制、添加矩形框等)
- Unity 自学成长路线总结
- 中国工业大数据行业发展趋势分析与投资战略规划建议报告2022-2028年版
- gamma矫正/gamma映射
- Photoshop菜单中英文对照表