UC伯克利教授马毅投稿ICML,4个评审一致接收却遭AC一票否决
鱼羊 丰色 发自 凹非寺
量子位 报道 | 公众号 QbitAI
4位评审一致接收,按理说这篇顶会论文就没跑了。
可就在这两天,UC伯克利的马毅教授却遇上了一件“奇事”:
课题组投稿ICML 2021的论文,在4个评审都给出了接收意见的情况下,被领域主席(AC)一票否决了。
而根据马毅教授微博透露的信息,AC的理由是:
这篇论文尚不能解释目前深度神经网络所有的tricks。
看到这样的理由,马毅教授的心情可能是这样的:
于是,他直接在微博中质疑道:
那已经发表的成千上万的关于深度网络理论的文章是怎么发出来的就很让人困惑了。
甚至表示“有的人可能并不希望把深度学习的原理搞清楚”。
究竟是怎样一项研究,引起了这样的争议?
现在,马毅课题组已经将这项研究整理成一版期刊论文,公开发布在了arXiv上,并释出了代码和数据。
究竟是什么样的研究
论文标题是《ReduNet:A White-box Deep Network from the Principle of Maximizing Rate Reduction》。
论文总共97页,正文部分就达到了45页。
根据摘要,这项工作的目的是提供一个合理的理论框架,旨在从数据压缩和判别性表征原则的角度,来解释现代深度(卷积)网络。
文章还介绍了“白盒”神经网络ReduNet。这是一种通过推导最大编码率衰减(MCR2)目标的梯度而自然构建的深度神经网络,网络的每一层都可以用数学运算来解释,并且网络的参数都是通过前向传播逐层明确构建的,无需用反向传播算法进行学习。
△ReduNet一层的权重和算子
此外,通过给网络添加平移不变性的特征,卷积算子可以只使用数据和MCR2目标函数来推导,这就使得ReduNet网络设计具有原则性和可解释性。
根据清华大学智能产业研究院学术沙龙海报中的信息,马毅团队还表示,这种基于原理的方法还有以下好处:
揭示了不变深度网络和傅里叶变换之间的基本联系——也就是在谱域中计算的优势;
揭示了前向传播算法(优化)和反向传播算法(变分)分别扮演的数学角色。
简单来说,这项研究是基于信息论,进行了神经网络可解释性方面的研究。
为此,论文从最大编码率衰减的原则,到ReduNet的构建,都给出了详细的理论推导。
这篇论文也是此前马毅课题组NeurIPS 2020论文《Learning Diverse and Discriminative Representations via the Principle of Maximal Coding Rate Reduction》的延伸。
马毅教授本人也对这项工作极有信心,他在微博中表示:
个人认为,这是迄今为止真正最接近揭示深度神经网络理论与实践基本原理的框架。
它隐含的意义甚至远远超出了仅仅解释目前深度学习的范畴。
“已经不是第一次了”
对于AC一票否决的评审结果,马毅课题组提出了rebuttal。但他本人在评论区透露,AC并没有改变看法,因此拒稿的结果不变。
而这样论文被拒的经历,对马毅来说“已经不是第一次发生”。
他表示,其引用量最高的《基于稀疏表示的人脸识别》就曾在类似情况下被拒。这篇文章最后发表在了TPAMI(IEEE Transactions on Pattern Analysis and Machine Intelligence)上。
看到这种4个接收仍然被拒的情况,也有网友提出疑问:领域主席(AC)有权利直接否掉多达4名reviewer达成的意见吗?
根据ICML的规则,领域主席的职责包括:为论文分配审稿人,确保审稿人按时提交审稿意见,为他们负责的每篇论文写一份终审意见(meta-review),这份意见必须明确提出接受/拒绝的建议并概述理由。
一般而言,如果审稿人的意见比较一致,比如一致接受或一致拒绝,AC很少会做出相反的判断。但此前也不乏审稿人评价不高的投稿论文,被AC重新“捞”出来的例子。
目前,马毅已经向ICML组织者提出:今后应该做open review,如果AC要推翻reviewer们的一致建议,必须敢于公开身份拿出客观证据。
网友热议
对于这么一桩“奇闻”,有做过可解释AI研究的网友认为,这本就是一个巨大无比又各说各话的领域,加上视角差异,不要说解决可解释性,能在一致认知上取得进步都不容易。同时,他认为马毅教授的这项研究足够solid,后续还可以深入拓展。
也有网友认为,AC可能是觉得“第一性原理”提的太大了,所以会给一个没有解决全部问题的拒绝理由。
相关论文本身,同样引发了不少学术圈网友的探讨。不少网友在肯定的同时指出了一些问题。
有人认为这项工作没有揭示神经网络本身函数空间的性质,对神经网络的可解释性研究的还不够全面。
知乎网友@Bio-voyager详细听完了马毅老师的报告后也表示,该论文只给出了一个可解释的观点,这个观点又有很多没有说清楚和不够普适的地方,需要等待马毅老师后续工作跟进,或者其他感兴趣的人follow验证。
还有一位匿名网友认为,论文提出的方法显然合理,但论文中信息论的方法只是给出了一个现象性的描述,没有触及问题的本质。和上面的网友的想法差不多,认为该方法在深度网络领域不够普适,马老师提出的这个准则应该也不是fundamental的。
而马毅教授本人也在后续微博中表示:
真正想搞清楚深度学习的学者,认真读论文,严肃质疑吧。形成自己的观点,不要道听途说,不要拾人牙慧,不要盲从权威——连马老师的话也不要全信。我们的工作也只起了个头,后续还有很多可以发展改进的。
关于马毅
马毅教授是IEEE Fellow,ACM Fellow,SIAM Fellow,现任加州大学伯克利分校教授。
研究方向为计算机视觉、高维数据分析、智能系统。
他1995年本科毕业于清华大学自动化专业;1997 年获UCB电子工程与计算机科学硕士学位;2000年获UCB数学硕士学位和电子工程与计算机科学博士学位。
博士毕业后,马毅先获UIUC教职,后于2009年至2014年间任微软亚洲研究院计算机视觉组主任及首席研究员。2014年,他以全职教授身份加入上海科技大学信息科学与技术学院,成为信息学院在计算机视觉研究方向上的带头人。
2017年,他从上海科技大学离职。
截至目前,他的论文在谷歌学术上已被引数57797次。
论文链接:
https://arxiv.org/abs/2105.10446
https://arxiv.org/abs/2006.08558
参考链接:
[1]https://weibo.com/u/3235040884?profile_ftype=1&is_all=1#_0
[2]https://www.zhihu.com/question/423767542
UC伯克利教授马毅投稿ICML,4个评审一致接收却遭AC一票否决相关推荐
- UC伯克利教授Stuart Russell人工智能基础概念与34个误区 (公号回复“AI基础概念”可下载PDF资料)
UC伯克利教授Stuart Russell人工智能基础概念与34个误区 (公号回复"AI基础概念"可下载PDF资料) 秦陇纪 数据简化DataSimp 今天 数据简化DataSim ...
- UC伯克利教授Stuart Russell人工智能基础概念与34个误区
来源:数据简化DataSimp 数据简化DataSimp导读:UC伯克利教授StuartRussell人工智能基础概念与34个误区,Russell是加州大学伯克利分校人工智能系统中心创始人兼计算机科学 ...
- Yann LeCun遭三位UC伯克利教授连怼:双重职位多重危害
郭一璞 发自 凹非寺 量子位 报道 | 公众号 QbitAI 高校教授同时兼任企业研究人员,这在目前的AI圈已经不是什么新闻了.不过,最近就有3位UC伯克利的教授站出来反对: "有些 ...
- ICML 2022审稿结果惹争议!LeCun:我3篇全拒了!马毅:我再也不投了...
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 转载自:机器之心 | 编辑:蛋酱 审稿这件事,总会有人是不满意的. 刚刚,图灵奖得主Yann LeCun ...
- 各大佬抨击ICML审稿太随意:LeCun三篇全没中,马毅说以后再也不投了
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 顶会ICML结 ...
- UC Berkeley 马毅:深度学习的第一性原理
[专栏:研究思路]我们认为,人工智能进入了新的拐点.在一个后深度学习时代,不同的学者对未来智能发展道路的理解逐渐清晰,当然也逐渐开始分化,由此导致了开展布局完全不同的研究工作.智源社区将系统分析全球范 ...
- 【MLA首日报告摘要】周志华、马毅等教授分享机器学习最新进展
来源:专知 概要:第15届中国机器学习及其应用研讨会今天11月4日在北京交通大学举行,海内外从事机器学习及相关领域研究的10余位专家与会进行学术交流. 第15届中国机器学习及其应用研讨会今天11月4日 ...
- 罗杰波、马毅、华刚等谈视觉研究那些事:是时候重新定义视觉了
2020-05-14 20:21 导语:作者 | 蒋宝尚编辑 | 丛 末视觉研究日益火爆,顶会论文是指明灯.那么作为顶会主席的研究员如何看待此领域的发展?5月14日上午,微软亚洲研究院创研论坛 CVP ...
- 沈向洋马毅牵头搞新AI会议:不要「大力」要「简约」,首届在香港大学举办,征稿中...
鱼羊 发自 凹非寺 量子位 | 公众号 QbitAI 大模型时代,有人要来唱唱"大力出奇迹"的反调了. 沈向洋和UC伯克利&香港大学教授马毅牵头,搞了一个新的学术会议,CP ...
最新文章
- ASP.NET遍历配置文件的连接字符串
- 抓包工具tcpdump及分析工具wireshark
- excel表中怎么插入visio_用Excel编制精确甘特图,准确控制任务进展,提高项目管理水平...
- 道路交通安全违法行为图像取证技术规范_海康移动取证方案中的设备介绍
- linux ps 进程组,linux进程管理(2)---进程的组织结构
- C++重载流插入运算符与流提取运算符
- stack 的优势 - 每天5分钟玩转 Docker 容器技术(113)
- 解决word、excel、ppt文件图标是空白的问题
- python语言基础笔记_Python语言 基础知识笔记
- qemu-kvm 代码分析
- JavaScript获取文本框光标的像素位置(转载)
- python能制作ppt动画效果吗_你听说过Python可以做动画吗
- 《UEFI原理与编程》读书笔记
- https://juejin.im/post/5aa4a2e35188255589496eb8#comment
- 新辰:健身会所不是大人的菜 90后创业两年净赚20万
- Lecture4 反向传播(Back Propagation)
- 【Git】Git的使用与学习
- 2020年是意义非凡的一年,大专的我面试阿里P6居然过了
- 电能管理系统在惠氏公司的应用
- ResponseBody详解
热门文章
- 星战 java_星战知识之多少 -- 暗黑原力西斯(Sith)篇
- 第十二讲:继承与派生
- (转载)机器学习方法的PPT .
- 安卓自定义音量键_iPhone 为啥要一直保留“静音键”?
- 【SVM时序预测】基于粒子群算法优化支持向量机PSO-SVM实现期贷时序数据预测附matlab代码
- 每日英语:As World's Kids Get Fatter, Doctors Turn To The Knife
- 开源安卓Android流媒体音视频播放器实现声音自动停止、恢复、一键静音功能源码
- 南大金陵学院 计算机,以赛促学,南大金陵学子在全国大学生计算机设计大赛摘得一等奖1项和二等奖4项...
- Windows10系统盘清理实用攻略
- Bluetooth DUN 蓝牙拨号网络 (http://blog.sina.com.cn/s/blog_59b22a2e0100ildk.html)