「过拟合」也能废物利用了:有人用它高清重建3D物体表面,参数减少99%
鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI
听到过拟合三个字,大部分机器学习研究者都会如临大敌。
毕竟没有人会希望自家模型崽崽,脱离了题集范围就不会考试了。
但现在,多伦多大学和麦吉尔大学的一项最新研究表明,过拟合也并非一无是处。
比如在重建3D物体外观上,过拟合神经网络就有奇效。
用过拟合神经网络重塑物体形状
有向距离场SDF(signed distance field)是计算机图形学中,常见的一种隐式曲面表示方法。
可以无损放大渲染字体:
还能实现极具真实感的的着色和光照效果:
不过,如果要用SDF来存储具有复杂细节的物体外观,则将面临无法进行扩展的问题。
此前已有研究证明,神经网络是3D物体SDF的有效近似。于是,多伦多大学和麦吉尔大学的研究人员们开了个脑洞:
能不能带有目的性地去过拟合一个单一3D物体表面的SDF表示?
换句话说,就是能否让过拟合神经网络,作为一种隐式形状表示,来高精度重建3D物体的外观?
这个可以有。
网络结构
研究人员们首先打造了一个N层前馈全连接网络,其隐藏层大小为H,隐藏层激活函数为ReLU,而输出层则由TanH激活。
需要注意的是,虽然增大网络深度和宽度会得到更好的结果,但也会使得内存占用和渲染时间倍增。
经过测试,研究人员发现当N为8,H为32时,网络能在重建精度、渲染速度和内存占用之间取得良好的平衡。
这一架构与前辈方法DeepSDF的默认架构相比,参数数量减少了99%,渲染第一帧的速度加快了93%,仅需要64kB内存,同时重建质量的损失仍在可接受范围之内。
网络的输入为给定对象的SDF点样本,输出则为网络预测的每个输入点的有向距离。
研究人员将这一网络结构命名为OVERFITSDF。
采样策略和损失函数
为了让过拟合神经网络能在相同的存储成本下,实现更高的精度。研究人员还精心设计了采样策略和损失函数。
在采样策略上,研究人员没有采用随机采样的方案,而是集中关注对边界转换更具「信息量」的点。
具体而言,就是根据点到输入形状表面的距离,来进行采样。
而在损失函数方面,研究人员采用简单的最小绝对偏差(L1)作为损失函数。他们发现,与平方误差(L2)相比,其表面重建效果会更好。
该方法根据重要性度量w(x),对损失函数进行缩放,这样重要性小的训练样本对损失的影响也就较小。
如此,就可以赋予指定区域(如更接近表面的样本点)更高的影响权重。也能够根据需求提高局部区域的重建精度。
有向距离
另外,研究人员采用广义缠绕数而非法线来标记距离方向,这样就能够处理带有自交点、开放边界、非流形的网格,在补习生网格真实拓扑结构的情况下,大大降低了模型的复杂性。
实验结果
那么,用OVERFITSDF替代真实的SDF,效果究竟如何呢?
实验证明,此前的SOTA方法DeepSDF的重建质量,会因为几何结构没有对齐到默认方向而受到明显影响。
但OVERFITSDF无论方向如何,都会收敛到相同的精度。
而在同样的内存预算下,无论是和原始三角形网格(下图左)相比,还是和统一有向距离网格(下图中)相比,该方法(下图右)都具有更强的表现力。
传送门
论文地址:
https://arxiv.org/abs/2009.09808
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。
CNCC2020 | 图灵奖得主、院士、名企专家将做特邀报告
CNCC2020将于10月22-24日在北京新世纪日航饭店(主会场)、多个城市分会场以及线上举行。首批特邀讲者官宣确认,图灵奖得主、院士、名企专家将在CNCC2020做特邀报告。
早鸟票即将售罄,欢迎报名参与~
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见~
「过拟合」也能废物利用了:有人用它高清重建3D物体表面,参数减少99%相关推荐
- 一文区分什么是「过拟合」和「欠拟合」?
一文区分什么是「过拟合」和「欠拟合」? https://mp.weixin.qq.com/s/_V1Yno4FzhGdGqr6JPscpw 编译:Richard Yang 来源:Towards Dat ...
- python利用bs4爬取外国高清图片网站
python利用bs4爬取外国高清图片网站 爬取高清图片 爬取高清图片 import re import requests from bs4 import BeautifulSoup import o ...
- Uber AI实验室总结「神经进化」研究:如何利用遗传算法优化网络?
本文授权转自雷克世界(微信:ROBO_AI) 编译 | 嗯~阿童木呀 现如今,在深度学习领域中,我们通过随机梯度下降(SGD)对具有多个层和数百万个连接的深度神经网络(DNN)进行常规训练.许多人认为 ...
- 如何利用 Python 爬取 LOL 高清精美壁纸?
作者 | 阿拉斯加 来源 | 杰哥的IT之旅 一.背景介绍 随着移动端的普及出现了很多的移动 APP,应用软件也随之流行起来.最近看到英雄联盟的手游上线了,感觉还行,PC 端英雄联盟可谓是爆火的游戏, ...
- Python爬虫实战 | 利用多线程爬取 LOL 高清壁纸
来源:公众号[杰哥的IT之旅] 作者:阿拉斯加 ID:Jake_Internet 如需获取本文完整代码及 LOL 壁纸,请为本文右下角点赞并添加杰哥微信:Hc220088 获取. 一.背景介绍 随着移 ...
- excel线性拟合的斜率_邵励治的机器学习 2 / 100 天:「简单线性回归」
前言 好了,我们闲言碎语不多讲,下面开始 机器学习100天:第2天 的学习! 另外,如果看官老爷喜欢我的文章,还请点个赞的说! 这是对我的认真分享最好的鼓励! 知识储备环节 今天我们学习的内容是:&q ...
- 光盘刻录只允许读取不能拷贝_原来 8 张图,就可以搞懂「零拷贝」了
作者 | 小林coding 来源 | 小林coding(ID:CodingLin) 前言 磁盘可以说是计算机系统最慢的硬件之一,读写速度相差内存 10 倍以上,所以针对优化磁盘的技术非常的多,比如零拷 ...
- 原来 8 张图,就可以搞懂「零拷贝」了!
作者 | 小林coding 来源 | 小林coding(ID:CodingLin) 头图 | CSDN 下载自视觉中国 前言 磁盘可以说是计算机系统最慢的硬件之一,读写速度相差内存 10 倍以上,所 ...
- linux dma 拷贝内存数据_原来 8 张图,就可以搞懂「零拷贝」了
前言 磁盘可以说是计算机系统最慢的硬件之一,读写速度相差内存 10 倍以上,所以针对优化磁盘的技术非常的多,比如零拷贝.直接 I/O.异步 I/O 等等,这些优化的目的就是为了提高系统的吞吐量,另外操 ...
最新文章
- 视学AI,这群大学生做了个牛逼的项目!
- gentoo emerge安装软件
- 【Python-ML】SKlearn库性能指标ROC-AUC
- php curl 发送https请求失败,php的curl扩展无法发起https请求
- C#趣味程序---真分数序列
- 数学中不可能实现的图形
- Linux中同步MySQL
- Eclipse/NSight解决办法:unsolved inclusion stdio.h/map/string/queue/list
- excel饼图按占比从大到小排列
- 年度网络购物十大被投诉网站淘宝、当当位居前二正文
- vmware应用程序无法正常启动0xc000007b
- 光纤布拉格光栅(FBG)笔记【2】:反射率
- matplotlib模块总结一【基本绘图操作】
- 号外:Axure导入有了!思维导图也正式上线了!
- 记录一次紫狐Rootkit应急响应过程
- Java实现的小根堆
- js css3挂历撕掉动画特效
- AdminLTE模板框架
- (简单有效)小米设备怎么样不ROOT激活Xposed框架
- 企业如何有效管理彩打黑白打印服务
热门文章
- 干活干累了,刷一道题,一天保底两道,一年也就差不多刷完了 ----------7. Reverse Integer...
- 你不曾见过的酷炫地图可视化作品(一)
- python中关于list列表的增删查改操作
- qt实现-给SQLITE添加自定义函数
- oracle缩小表空间
- python部署到hadoop上_python实现mapreduce(2)——在hadoop中执行
- IOS日历显示12个月
- web前端学习day_05:Bootstrap
- JButton 圆角_ProE、Creo在玩具轿车设计中的一个案例应用解析|轿车|玩具|圆角
- Metasploit命令info使用技巧