清华大学胡事民是计算机视觉,ResNet也能用在3D模型上了,清华「计图」团队新研究已开源...
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI
用AI处理二维图像,离不开卷积神经网络(CNN)这个地基。
不过,面对三维模型,CNN就没有那么得劲了。
主要原因是,3D模型通常采用网格数据表示,类似于这样:
图片
这些三角形包含了点、边、面三种不同的元素,缺乏规则的结构和层次化表示,这就让一向方方正正的CNN犯了难。
图片
那么像VGG、ResNet这样成熟好用的CNN骨干网络,就不能用来做三维模型的深度学习了吗?
并不是。
最近,清华大学计图(Jittor)团队,就首次提出了一种针对三角网格面片的卷积神经网络SubdivNet。
基于SubdivNet,就可以将成熟的图像网络架构迁移到三维几何学习中。
并且,相关论文和代码均已开源。
图片
基于细分结构的网格卷积网络
所以,SubdivNet是如何打破2D到3D之间的壁垒的呢?
具体而言,这是一种基于细分结构的网格卷积网络。
图片
对于输入的网格数据,先进行重网格化(remesh),构造细分结构,得到一般网格的多分辨率表示;而后,再上重头戏——面片卷积方法和上下采样方法。
面片卷积方法
以往的网格深度学习方法,通常是将特征存储在点或者边上,这就带来了一个问题:点的度数是不固定的,而边的卷积并不灵活。
于是,计图团队提出了一种在面片上的网格卷积方法,以充分利用每个面片与三个面片相邻的规则性质。
并且,基于这样的规则性质,研究团队进一步依据面片之间的距离,设计了多种不同的卷积模式。
图片
由于三维数据格式中的面片顺序不固定,SubdivNet在计算卷积结果时,通过取邻域均值、差分均值等方式,使得计算结果与面片顺序无关,满足排列不变性。
图片
上下采样方法
再来看上下采样的部分。
SubdivNet受到传统的Loop细分曲面建模的启发,构造了一种基于细分结构的上下采样方法。
图片
也就是说,在池化(下采样)过程中,由于网格数据已经经过重网格化,其面片具有细分连接结构,就可以4片变1片,从高分辨率转为低分辨率,实现面片特征的池化操作。
而在上采样的过程中,则反过来,让面片一分为四。
图片
如此一来,上下采样方式就是规则且均匀的,还可以实现双线性插值等需求。
结合面片卷积方法和上下采样方法,像VGG、ResNet、DeepLabV3+这样经典2D卷积网络,就可以轻松迁移到3D模型的深度学习中。
值得一提的是,SubdivNet方法是基于清华大学的深度学习框架计图(Jittor)实现的。其中,计图框架提供了高效的重索引算子,无需额外的C++代码,即可实现邻域索引。
实验结果
至于SubdivNet的效果如何,不妨直接看看实验结果。
首先,在网格分类数据集上,SubdivNet在SHREC11和Cube Engraving两个数据集中,首次达到了100%的分类正确率。
图片
在网格分割方面,量化指标下,SubdivNet的分割准确率均高于用于对比的点云、网格方法。
图片
图片
而在形状对应实验中,SubdivNet也达到了SOTA水准。
图片
图片
关于作者
这篇论文来自清华大学计算机系胡事民教授团队。
作者是胡事民及其博士生刘政宁、国孟昊、黄家辉等,还有卡迪夫大学Ralph Martin教授。
同时,他们也是清华“计图”框架团队成员。
计图是首个由中国高校开源的深度学习框架,开发团队均来自清华大学计算机系图形学实验室,负责人是胡事民教授。
该实验室的主要研究方向是计算机图形学、计算机视觉、智能信息处理、智能机器人、系统软件等,在ACM TOG, IEEE TVCG, IEEE PAMI, ACM SIGGRAPH, IEEE CVPR, IEEE ICRA, USENIX ATC等重要国际刊物上发表论文100余篇。
目前,开发计图的主力,是该实验室梁盾、杨国烨、杨国炜、周文洋、刘政宁、李相利、国孟昊和辛杭高等一批博士生。
与TensorFlow、PyTorch不同,计图是一个完全基于动态编译,使用元算子和统一计算图的深度学习框架。
此前,在可微渲染、动态图推理等方面,计图都有超越PyTorch的表现。
论文地址:https://arxiv.org/abs/2106.02285
项目地址:https://github.com/lzhengning/SubdivNet
参考链接:https://mp.weixin.qq.com/s/tJjarzqU7MvS_pHWWO3JYQ
举报/反馈
清华大学胡事民是计算机视觉,ResNet也能用在3D模型上了,清华「计图」团队新研究已开源...相关推荐
- ResNet也能用在3D模型上了,清华「计图」团队新研究已开源
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 用AI处理二维图像,离不开卷积神经网络(CNN)这个地基. 不过,面对三维模型,CNN就没有那么得劲了. 主要原因是,3D模型通常采用网格数 ...
- 清华大学胡事民是计算机视觉,ResNet也能用在3D模型上了,清华“计图”团队新研究已开源...
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 用AI处理二维图像,离不开卷积神经网络(CNN)这个地基. 不过,面对三维模型,CNN就没有那么得劲了. 主要原因是,3D模型通常采用网格数 ...
- 清华大学胡事民是计算机视觉,清华团队将Transformer用到3D点云分割上后,效果好极了丨开源...
萧箫 发自 凹非寺量子位 报道 | 公众号 QbitAI 当Transformer遇上3D点云,效果会怎么样? 一个是当下最热门的模型(NLP.图像领域表现都不错),另一个是自动驾驶领域.机器人抓取等 ...
- 将大核卷积分三步,清华胡事民、南开程明明团队全新视觉骨干VAN,超越SOTA ViT和CNN...
来源:机器之心 来自清华大学和南开大学的研究者提出了一种新型大核注意力(large kernel attention,LKA)模块,并在 LKA 的基础上构建了一种性能超越 SOTA 视觉 trans ...
- 南大周志华清华胡事民入围院士候选!计算机领域共计7人
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 明敏 发自 凹非寺 量子位 报道 | 公众号 QbitAI 2021 ...
- 【华人学者风采】胡事民 清华大学
[华人学者风采]胡事民,清华大学计算机科学与技术系教授.主要研究方向为计算机图形学.虚拟现实.智能信息处理.系统软件等.2007年入选教育部长江学者特聘教授,2013年入选第一批国家"万人计 ...
- 把大核卷积拆成三步,清华胡事民团队新视觉Backbone刷榜了,集CNN与ViT优点于一身...
梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 在视觉任务上,CNN.ViT各有各的优势和劣势. 于是,以经典Backbone为基础.细节上相互借鉴,成了最近一个热门研究方向. 前有微软Swin ...
- arXiv爆款:想了解Attention就看它!清华计图胡事民团队出品
博雯 发自 凹非寺 量子位 报道 | 公众号 QbitAI 清华计图胡事民团队的这篇注意力机制的综述火了! 在上周的arXiv上,这是最热的一篇论文: 推特以及GitHub上也有不低的热度: 而这篇论 ...
- 2021中科院院士候选名单出炉:清华胡事民、南大周志华等人在列
8 月 1 日,中国科学院公布了 2021 年院士增选的初步候选人名单,清华大学计算机科学与技术系教授胡事民.南京大学人工智能学院院长周志华等 191 人进入了该名单. 这份名单分为数学物理.化学.生 ...
最新文章
- Exchange2003-2010迁移系列之七
- java redis设置过期时间_Redis的一些核心原理
- ubantu14下vim的配置...
- 分布式理论(一)CAP 理论
- ServiceComb开放性设计
- IT基础结构-1.DC-DNS-安装
- 【Python】Python Mako模板使用
- BZOJ2115XOR——线性基
- Redis学习第五课:Redis Set类型及操作
- 开滦二中2021高考成绩查询,2021唐山中考录取分数线查询
- 【电脑帮助】解决Wind10系统没有本地用户和组的问题
- php 转义md5 和java 转译的区别_CTF|PHP中的命令参数注入
- 悦读上品 得乎益友
- python3GUI--adb调试测试工具By:PyQt5(附下载地址)
- win10下标注工具sloth的安装及使用
- 机器学习算法笔记之K近邻算法(KNeighborsClassifier)
- Tech Talk 宣传 | 如何高效、极简构造无服务器 Web 应用
- 如何使用并且使用过滤器
- 图森未来:营收增长与亏损扩大并行
- 一加6点击五下出来Android10,一加6T现已推送Android 10.0公测版更新