Instant Neural Graphics Primitives with a Multiresolution HashEncoding

Instant Neural Graphics Primitives with a Multiresolution Hash Encoding

如何评价 NVIDIA 最新技术 5 秒训练 NERF？

Instant Neural Graphics Primitives with a Multiresolution Hash Encoding

痛点：完全连接的神经网络的参数训练和评估的成本都很高。

目的：降低成本——在不牺牲质量的情况下，减少浮点和内存访问操作的数量，搭建小型神经网络。通过使用完全融合的CUDA内核来实现整个系统，并专注于最小化浪费的带宽和计算操作。

过程：利用可训练特征向量的多分辨的哈希表，其值通过随机梯度下降进行优化。

要素：多分辨率结构允许网络消除哈希冲突的歧义。

Adaptivity（重点）：

用不同的网格映射到相应的固定大小的特征向量数组上。（将特征向量分组）
- 粗分辨率：1：1映射
- 细分辨率：利用哈希表的思想，将特征向量数组视为哈希表，并使用空间哈希函数索引。
  - 哈希碰撞导致碰撞训练梯度靠近平均值，这意味着最大的梯度——那些与损失函数最相关的梯度——将占主导地位。
  - 因此，哈希表自动对具有最重要精细细节的稀疏区域进行优先级划分。

Efficiency：略述。

四方面结果：

Gigapixel image ：MLP学习从2D坐标到高分辨率图像的RGB颜色的映射。
Neural signed distance functions (SDF)：MLP学习从三维坐标到到表面的距离的映射。
Neural radiance caching (NRC)
Neural radiance and density fields (NeRF)

哈希函数的冲突问题：依靠神经网络来学习消除哈希冲突本身的歧义，避免控制流的发散，降低实现的复杂性，提高性能。

哈希表可预测内存布局，它与所表示的数据无关。虽然良好的缓存行为通常很难用类似树的数据结构来实现，但哈希表可以针对缓存大小等低级架构细节进行微调。

算法思想：多分辨率哈希编码

参数：

过程：

（1）Hashing of voxel verticles

层级基于参数表中最粗分辨率和最细分辨率，通过等比级数划分后选取，每个层级相互独立，表示不同的分辨率。图中，蓝框和红框分别表示2个层级，为不同分辨率的格点。

（2）Look up - Hashing

像素的二维坐标到特征维度的映射，是有明确的规定。
粗分辨率1：1
细分辨率：空间哈希函数，其中，用梯度优化和神经网络来解决所谓的哈希冲突/碰撞。
- 不同层的Grid全部映射到对应层的哈希表。

（3）Linear interpolation

由周围格点的线性插值，得到每个点自己的Feature。

（4）Concatenation

每一层都是独立的，将对应点与各自的辅助输入（如编码视图方向、纹理）连接。

（5）Neural network

网络训练。

【关注】Gigapixel image ：MLP学习从2D坐标到高分辨率图像的RGB颜色的映射。

学习2D坐标到RGB的映射已经成为测试模型代表高频细节的能力的一个流行的基准。在最小的尺度上拟合高达10亿像素的超大图像时，显示了令人印象深刻的结果。文章将多分辨率散列编码定位在同一任务上，并在几秒到几分钟内收敛到高保真图像。

输入编码允许使用比ACORN小得多的MLP，这占了剩下的10个×-100×加速的大部分。也就是说，多分辨率散列编码的最大的附加值是它的简单性。ACORN依赖于场景的自适应细分作为学习课程的一部分，这对本文的编码都不是必要的。

Instant Neural Graphics Primitives with a Multiresolution HashEncoding_具有多分辨率的哈希编码相关推荐

Instant Neural Graphics Primitives with a Multiresolution Hash Encoding 翻译
目录 Instant Neural Graphics Primitives with a Multiresolution Hash Encoding 基于多分辨率哈希编码的即时神经图形基元 1 INT ...
Instant Neural Graphics Primitives with a Multiresolution Hash Encoding以及源码浅析
背景现存的一些新视图合成的训练过程和渲染速度都比较慢,其原因是因为query point需要使用MLP编码,而且在一个采样空间中,存在很多无效的query point也要计算其density和col ...
Instant NGP SIGGRAPH 2022 Best Paper
蓝色紫色红色 Instant Neural Graphics Primitives with a Multiresolution Hash Encoding Abstract [核心:多分辨率哈希 ...
火爆科研圈的三维重建技术：Neural radiance fields (NeRF)
如果说最近两年最火的三维重建技术是什么,相信NeRF[1]是一个绝对绕不过去的名字.这项强到逆天的技术,一经提出,就被众多研究者所重视,对该技术进行深入研究并提出改进已经成为一个热点.仅仅过了不到两年 ...
不可思议！英伟达新技术训练NeRF模型最快只需5秒，代码已开源
英伟达将训练 NeRF 模型从 5 小时缩至 5 秒. 你曾想过在 5 秒内训练完成狐狸的 NeRF 模型吗?现在英伟达做到了! 令人不可思议的是,就如谷歌科学家 Jon Barron 在推特上表示的 ...
SIGGRAPH 2022最佳技术论文奖重磅出炉！北大陈宝权团队获荣誉提名
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达点击进入-> CV 微信技术交流群转载自:新智元 | 编辑:David [导读]SIGGRAPH ...
Xue Bin Peng获SIGGRAPH 2022最佳博士论文，太极胡渊鸣获提名
来源:机器之心 ACM SIGGRAPH 是计算机图形学顶级国际学术会议,创立于 1974 年,已经发展成为由对计算机图形学和交互技术感兴趣的研究人员.艺术家.开发人员.电影制作人.科学家和商业人士组 ...
Instant-NGP论文笔记
Instant-NGP论文笔记 2022年英伟达的论文: Instant Neural Graphics Primitives with a Multiresolution Hash Encoding ...
人工智能 | ShowMeAI资讯日报 #2022.06.04
ShowMeAI日报系列全新升级!覆盖AI人工智能工具&框架 | 项目&代码 | 博文&分享 | 数据&资源 | 研究&论文等方向.点击查看历史文章列表, ...

Instant Neural Graphics Primitives with a Multiresolution HashEncoding_具有多分辨率的哈希编码

Instant Neural Graphics Primitives with a Multiresolution HashEncoding_具有多分辨率的哈希编码相关推荐

最新文章

热门文章