Facebook 开源 3D 深度学习函数库 PyTorch3D，也可用于二维场景

渲染是计算机图形学中的核心内容，它可将 3D 模型转换为 2D 图像。这也是在 3D 场景属性（scene properties）和 2D 图像像素之间建立桥接的常规手段。不过传统渲染引擎无法进行微分，因此它们不能被合并至深度学习工作管道中。PyTorch3D 内置模块化的可微分渲染器，能用来处理可微分的 3D 数据。

Facebook 近日开源了将 PyTorch 用于 3D 深度学习的函数库 PyTorch3D，这是一个高度模块化且经过优化的库，具备独有的功能，旨在通过 PyTorch 简化 3D 深度学习。PyTorch3D 为 3D 数据提供了一组常用的 3D 运算符和快速且可微分的损失函数(loss function)，以及模块化的可微分渲染 API。通过上述的功能，研究人员可以立即将这些函数导入至当前最先进的深度学习系统中。

研究人员和工程师可以利用 PyTorch3D 进行各种 3D 深度学习研究（无论是 3D 重构、集束调整，乃至 3D 推理），以及改进在二维空间下的识别任务。

对三维空间的认知，在人工智能与真实世界的互动过程中扮演着十分重要的角色。例如机器人在物理空间中的导航、改进虚拟现实体验，以及识别 2D 内容中被遮挡的物体等。不过即便有丰富深度学习技术积累的 Facebook，在面对 3D 的深度学习问题时依然会被困扰。Facebook 表示，之所以深度学习技术较少用于 3D 场景，是因为缺乏足够的工具和资源来支撑神经网络与 3D 数据结合使用的复杂性，这种场景要求更多的内存与更高的算力，不像 2D 图像可以使用张量表示，而且许多传统图形运算符不可微分，因此 3D 深度学习技术的研究受到了限制。

为此，Facebook 构建了 PyTorch3D 函数库以推动 3D 深度学习研究，与 PyTorch 为 2D 识别任务提供高度优化的函数库一样，PyTorch3D 通过提供批处理以及对 3D 运算符和损失函数的支持来优化训练和推理。为了简化 3D 模型批处理的复杂度，Facebook 创建了 Meshes 格式，这是一种专为深度学习应用程序设计，用于批处理的异构网格模型数据结构。

这种数据结构可以让研究人员轻松地将基础网格模型数据快速转换成不同的视图，以使运算符与数据的最有效表示方式相匹配。更重要的是，PyTorch3D 为研究人员和工程师提供了能够灵活地在不同的表示视图之间进行有效切换的方式，并访问不同的网格属性。

渲染是计算机图形学中的核心内容，它可将 3D 模型转换为 2D 图像。这也是在 3D 场景属性（scene properties）和 2D 图像像素之间建立桥接的常规手段。不过传统渲染引擎无法进行微分，因此它们不能被合并至深度学习工作管道中。所以，Facebook 在 PyTorch3D 内置了高度模块化的可微分渲染器，能用来处理可微分的 3D 数据。此功能的实现由可组合单元组成，允许用户轻松扩展渲染器以支持自定义照明或阴影效果。

Facebook 将这些功能打包成工具包，并提供了运算符、异构批处理功能和模块化可微分的渲染 API 等，帮助研究人员进行复杂的 3D 神经网络应用研究。

查看 PyTorch3d 文档：https://pytorch3d.org/docs/why_pytorch3d.htm

Facebook 开源 3D 深度学习函数库 PyTorch3D，也可用于二维场景相关推荐

AI + 3D！英伟达开源3D深度学习框架Kaolin
点击我爱计算机视觉标星,更快获取CVML新技术 3D计算机视觉在医学影像.自动驾驶.机器人深度感知.视频游戏.虚拟和增强现实中有重要应用. 近日,英伟达新开源了kaolin深度学习框架,旨在加速3D计 ...
python深度学习--将一维数字标签映射为二维独热码
目的 Y是列标签,对应0,1,2这样的数字,如Y=[ 0 1 2 1 1]'(5*1) 目的经过独热码映射为[[1 0 0];[0 1 0];[0 0 1];[0 1 0];[0 1 0]] (5*3 ...
「可解释ML/3D深度学习等」Github六月最受欢迎的机器学习库来啦
https://www.toutiao.com/a6706469836307825163/ SHUBHAM SINGH总结了Github上6月份最火的7个项目.这七个项目涵盖可解释性机器学习.3D深度 ...
未能加载程序集或它的一个依赖项_英伟达发布kaolin:一个用于加速3D深度学习研究的PyTorch库...
由于大多数现实环境是三维的,因此理想情况下,应针对3D数据训练旨在分析视频或现实环境中的完整任务的深度学习模型.诸如机器人,自动驾驶汽车,智能手机和其他设备之类的技术工具目前正在产生越来越多的3-D数 ...
前沿 | NVIDIA PyTorch库让3D深度学习研究更简单！
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散编辑:Sophia 计算机视觉联盟报道 | 公众号 CVLianMeng 转载于 :英伟达NVIDIA [人工 ...
10倍！微软开源深度学习优化库DeepSpeed，可训练1000亿参数模型
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散编辑:Sophia 计算机视觉联盟报道 | 公众号 CVLianMeng 转载于 :微软 AI博士笔记系列推荐 ...
微软开源深度学习优化库 DeepSpeed，可训练 1000 亿参数的模型
人工智能的最新趋势是,更大的自然语言模型可以提供更好的准确性,但是由于成本.时间和代码集成的障碍,较大的模型难以训练.微软日前开源了一个深度学习优化库 DeepSpeed,通过提高规模.速度.可用性并 ...
基于PyTorch、易上手，细粒度图像识别深度学习工具库Hawkeye开源
转载自丨机器之心鉴于当前领域内尚缺乏该方面的深度学习开源工具库,南京理工大学魏秀参教授团队用时近一年时间,开发.打磨.完成了 Hawkeye--细粒度图像识别深度学习开源工具库,供相关领域研究人员和 ...
35 万行代码，旷视重磅开源天元深度学习框架，四大特性实现简单开发
[导读]2020 年 3 月 25 日,人工智能企业旷视科技举办线上发布会,旷视联合创始人兼 CTO 唐文斌宣布正式开源其 AI 生产力平台 Brain++ 的核心组件--天元(MegEngine). ...

Facebook 开源 3D 深度学习函数库 PyTorch3D，也可用于二维场景

Facebook 开源 3D 深度学习函数库 PyTorch3D，也可用于二维场景相关推荐

最新文章

热门文章