NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction
Paper_Reading(不定时更新版）
（仅为个人记录，若有错误，请指正）
Nerf：因为缺乏曲面约束，导致从学习到的隐式表示中提取到高质量的曲面较为困难。
NeuS目的：
In NeuS, they represents a surface as the zero-level set of a signed distance function (SDF) and develops a new volume rendering method to train a neural SDF representation.（Neus将曲面表示为有符号距离函数sdf的0水平集(小于大于0均在表面外)，并开发一种新的体积绘制方达来训练神经SDF表示。）
SDF:给定空间中一个点，输出为该点到某个曲面的最近距离(不准确)。当sdf(x)=0，则该点在物体表面；小于0，点在物体内部；大于0.点在物体外部。
现有的可微的表面渲染方法，如idr(只使用单个图像重建)，只考虑每个光线与单个曲面交点。若产生空洞，则会误判表面。
而基于nerf的体积渲染方法：通过考虑一条射线的多个点，当近表面与输入图像不一致，体积渲染方法可以找到远表面。
NeuS思路
Given a set of posed images {Ik} of a 3D object， the goal is to reconstruct the surface S of it .
The surface is represented by the zero-level set of a neural implicit SDF.
为了学习神经网络的权值，开发一种新的体积渲染方法训练SDF描述，可以从隐式SDF中渲染图像，最小化渲染图象和输入图像之间的差异。
具体做法
1）场景表示
The scene of an object to be reconstructed is represented by two functions：
f：主要映射空间位置点x到物体的符号距离SDF。
c：主要编码点的颜色和观看方向。
待重构的物体的表面S由SDF的零集表示：
为了应用体积绘制方法训练SDF网络，提出S-density，即概率密度函数。 S-density ：probability density function：
s函数为令人熟知的logistic density distribution：
其函数标准差1/s。
在最小化损失函数后，网络编码的SDF零集可以代表一个精确重建的表面s，诱导s-density在表面附近有显著的高值。且标准差趋向于0，则网络的训练收敛。
2）渲染
To learn the parameters of the neural SDF and color field, we advise a volume rendering scheme to render images from the proposed SDF representation.
给定某像素，从该像素出发的射线为：
沿着光线进行积分积累颜色：
以上为NeuS的渲染公式，文章中其他内容为公式推理步骤。
其权重函数作用为从二维图像中学习SDF的关键为输出颜色和SDF之间建立适当的连接，即基于场景的SDF 在光线上推导出适当的权重。
公式推导过程中，对权重有两个要求：
#Unbiased (无偏)，若给定光线p，则w在表面交点处获得局部最大值。
#Occlusion-aware(遮挡感知)，若两点具有相同的SDF值时，更靠近视点的点对最终的输出颜色输出权重更大。
可由以下两个图表示：
（此处，有一个定理设一个光滑的表面S定义的SDF f(x)=0和射线Ray，则与物体表面的交点为P(t*), 则存在一个区间 ，使得SDF函数递减。当t = t*时，SDF最小，w最大值。）
离散化
为获得点对应的不透明度和权重函数，对于一条射线采样n个点，计算其颜色：
离散累计透过率：
离散不透明度值：
NeuS与Nerf一样采用分层采样策略。
Training
监督信息：1）最小化图像像素渲染颜色和GT像素颜色；2）masks information
随机选取真实空间中的一些点和射线：
Ck:像素颜色，Mk:可选mask值{0，1}，可用可不用，但用了效果好，应该是提供了形状信息？
该loss为训练sdf网络。
NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction相关推荐
- 37、NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction
简介 主页:https://lingjie0206.github.io/papers/NeuS/index.htm 如图(a)顶部所示,由于孔洞引起的激进的深度变化,神经网络会错误地预测出前表面附近的 ...
- 论文笔记：Geo-Neus: Geometry-Consistent Neural Implicit Surfaces Learning for Multi-view Reconstruction
文章目录 贡献 方法 理论分析:有偏的颜色渲染 SDF网络的显式监督 遮挡处理 视角感知的SDF损失 带有多视约束的几何一致性监督 遮挡感知的隐式表面抓取 几何一致性损失 损失函数 贡献 论述说明体渲 ...
- Nerf论文前后介绍以及今后方向（2020年各个方向工作论文分析） NEURAL VOLUME RENDERING:NERF AND BEYOND
你好! 这里是"出门吃三碗饭"本人, 本文章接下来将介绍2020年对Nerf工作的一篇总结论文NEURAL VOLUME RENDERING:NERF AND BEYOND,论文作 ...
- 体绘制（Volume Rendering）概述
摘抄"GPU Programming And Cg Language Primer 1rd Edition" 中文名"GPU编程与CG语言之阳春白雪下里巴人" ...
- 体绘制（Volume Rendering）概述之1：什么是体绘制？
摘抄"GPU Programming And Cg Language Primer 1rd Edition" 中文 名"GPU编程与CG语言之阳春白雪下里巴人" ...
- 体绘制（Volume Rendering）概述介绍
1.体绘制(Volume Rendering)概述之1:什么是体绘制? http://blog.csdn.net/liu_lin_xm/article/details/4850575 2.体绘制(Vo ...
- 《Ensemble Learning Methods for Deep Learning Neural Networks》笔记
文章连接:Ensemble Learning Methods for Deep Learning Neural Networks 前言 神经网络提供了更大的灵活性,并可根据可用的培训数据量进行调整.但 ...
- 【论文笔记】Adaptive Reinforcement Learning Neural Network Control for Uncertain Nonlinear System
Adaptive Reinforcement Learning Neural Network Control for Uncertain Nonlinear System With Input Sat ...
- WebGL Volume Rendering Made Easy
WebGL Volume Rendering Made Easy WebGL Volume Rendering Made Easy 1.转换.raw文件成为一张16x16的png图片 2.2个rend ...
最新文章
- python中文版编译器下载-python编译器
- Confluence 6 从外部目录中同步数据配置同步间隔
- 解决：fatal: Not a valid object name: ‘master‘问题
- git 历史版本导出_Git基础知识(九)
- 数据可视化系列（二）：艺术画笔见乾坤
- 【非线性声学】——声辐射力
- 网站做好后，不想买服务器可以用自己的电脑当服务器么？
- android基础入门控件详解(4)
- Zookeeper知识
- 安卓开发:医院预约挂号app
- 2020蓝桥杯省赛B组
- sap砍刀-做了sap半年多了，但是一直没有遇到多少问题，今天在网上看到这篇文章，于是copy过来了（对sap的学习者很有用）...
- 企业承担社会责任的具体内容
- 判断excel表格中某个单元格是否是合并单元格
- Written English-书面-人称代词
- IsoBuster Pro复制加密光盘（内容隐藏光盘）
- HashMap源码总结
- 网上python培训骗局-培训三个月拿“高薪”？起底Python“速成班”忽悠大法
- openwrt关闭串口打印信息
- HTML及CSS学习笔记 13 - 背景