tensorflow graphics详解

详细英文文档地址：

地址1：https://github.com/tensorflow/graphics

地址2：https://tensorflow.google.cn/graphics（自动跳转到地址1）

说明：因为tensorflow地址大部分无法访问，可以在https://github.com/tensorflow/下找到需要的内容

TensorFlow重磅推出一个全新的图形工具TensorFlow Graphics，结合计算机图形学和计算机视觉技术，以无监督的方式解决复杂3D视觉任务。

近年来，可插入到神经网络架构中的一种新型可微图形层(differentiable graphics layers)开始兴起。

从空间变换器(spatial transformers)到可微图形渲染器，这些新型的神经网络层利用计算机视觉、图形学研究获得的知识来构建新的、更高效的网络架构。它们将几何先验和约束显式地建模到神经网络中，为能够以自监督的方式进行稳健、高效训练的神经网络架构打开了大门。

1.概述（Overview）

从高级层面来说，计算机图形学的pipeline需要3D物体及其在场景中的绝对位置、构成它们的材质的描述、光、以及摄像头。然后，渲染器对这个场景描述进行解释，生成一个合成渲染。

相比之下，计算机视觉系统是从图像开始的，并试图推断出场景的相关参数。也就是说，计算机视觉系统可以预测场景中有哪些物体，它们由什么材料构成，以及它们的3D位置和方向。

训练一个能够解决这些复杂的3D视觉任务的机器学习系统通常需要大量的数据。由于给数据打标签是一个成本高昂而且复杂的过程，因此设计能够理解三维世界、而且无需太多监督的机器学习模型的机制非常重要。

将计算机视觉和计算机图形学技术结合起来，我们得以利用大量现成的无标记数据。

如下图所示，这个过程可以通过合成分析来实现，其中视觉系统提取场景参数，图形系统根据这些参数返回图像。如果渲染结果与原始图像匹配，则说明视觉系统已经准确地提取出场景参数了。

在这种设置中，计算机视觉和计算机图形学相辅相成，形成了一个类似于自动编码器的机器学习系统，能够以一种自监督的方式进行训练。

2.安装 TensorFlow Graphics

地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/g3doc/install.md

CPU 版：pip install --upgrade tensorflow-graphics

GPU 版：pip install --upgrade tensorflow-graphics-gpu

3.API Documentation

地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/g3doc/api_docs/python/tfg.md

4.兼容性（Compatibility）

TensorFlow Graphics完全兼容最新发布的稳定版本TensorFlow，tf-nightly和tf-nightly-2.0-preview。所有功能都与graph and eager execution.兼容。

5.调试（Debugging）

Tensorflow Graphics 严重依赖 L2 normalized tensors,以及处于预定范围内的特定功能的输入，检查所有这些都需要在循环中，因此默认情况下不会激活。建议在特定的训练周期内打开这些检查，以确保一切都按预期运行。

地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/g3doc/debug_mode.md（该文档提供了启用该功能的说明）

6.Colab 教程

为了帮助您开始使用TF Graphics提供的一些功能，下面提供了一些Colab笔记本，并且大致按顺序排序。涉及大范围的主题，包括物体姿态估计（object pose estimation），插值interpolation，物体材料object materials，照明lighting，非刚性表面变形non-rigid surface deformation，球面谐波 spherical harmonics和网格卷积mesh convolutions。

6.1.入门级（Beginner）

物体姿态估计（ Object pose estimation ）

备用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/6dof_alignment.ipynb

Camera intrisic optimization

备用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/intrinsics_optimization.ipynb

Object pose estimation	Camera intrisic optimization

6.2.中等难度（Intermediate）

B-spline and slerp interpolation	Reflectance	Non-rigid surface deformation

B样条和球面线性插值（ B-spline and slerp interpolation）

备用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/interpolation.ipynb

反射率（Reflectanc）

备用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/reflectance.ipynb

非刚性表面变形（Non-rigid surface deformation）

备用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/non_rigid_deformation.ipynb

6.3.高等难度（Advanced）

Spherical harmonics rendering	Environment map optimization	Semantic mesh segmentation

球面谐波渲染（Spherical harmonics rendering）

备用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/spherical_harmonics_approximation.ipynb

环境地图优化（Environment map optimization）

备用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/spherical_harmonics_optimization.ipynb

语义网格分割（Semantic mesh segmentation）

备用地址：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/mesh_segmentation_demo.ipynb

7.TensorBoard 3D

可视化debug是评估实验是否朝着正确方向进行的一种很好的方法。为此，TensorFlow Graphics提供了一个TensorBoard插件，可以交互式地对3D网格和点云进行可视化。

地址1：https://colab.research.google.com/github/tensorflow/tensorboard/blob/master/tensorboard/plugins/

mesh/Mesh_Plugin_Tensorboard.ipynb（插件使用方法）——无法访问

地址1-1.https://github.com/tensorflow/tensorboard/tree/master/tensorboard/plugins/mesh（内容与地址二相同）

说明：因为地址1无法访问，可以在https://github.com/tensorflow/下找到需要的内容

地址2：https://github.com/tensorflow/graphics/blob/master/tensorflow_graphics/g3doc/tensorboard.md（安装和配置）

注意：TensorBoard 3D目前与急切执行和TensorFlow 2不兼容。

8.后续更新（Coming next...）

在许多方面，我们希望发布重新采样器，额外的3D卷积和池操作符，以及可区分的光栅化器！

在Twitter上关注我们，了解最新消息！

地址:https://twitter.com/_TFGraphics_ （无法访问）

9.附加信息（Additional Information）

您可以在Apache 2.0许可下使用此软件。

10.社区（Community）

作为TensorFlow的一部分，我们致力于营造一个开放和热情的环境。

Stack Overflow：询问或回答技术问题。地址：https://stackoverflow.com/questions/tagged/tensorflow
     GitHub：报告错误或发出功能请求。      地址：https://github.com/tensorflow/graphics/issues
     TensorFlow博客：及时了解TensorFlow团队的内容和社区的最佳文章。地址：https://medium.com/tensorflow
     Youtube频道：关注TensorFlow节目。    地址：http://youtube.com/tensorflow/

。

tensorflow graphics详解相关推荐

TensorFlow分布式详解
每次 TensorFlow 运算都被描述成计算图的形式,允许结构和运算操作配置所具备的自由度能够被分配到各个分布式节点上.计算图可以分成多个子图,分配给服务器集群中的不同节点. 强烈推荐读者阅读论文& ...
Tensorflow BatchNormalization详解：4_使用tf.nn.batch_normalization函数实现Batch Normalization操作...
使用tf.nn.batch_normalization函数实现Batch Normalization操作觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考文献吴恩达deeplearnin ...
cnn 预测过程代码_FPN的Tensorflow代码详解——特征提取
@TOC 特征金字塔网络最早于2017年发表于CVPR,与Faster RCNN相比其在多池度特征预测的方式使得其在小目标预测上取得了较好的效果.FPN也作为mmdeteciton的Neck模块, ...
fasterrcnn tensorflow代码详解_pytorch目标检测代码的一些bug调试
这几天一直在做调包侠,是时候来总结总结了.记录一些我所遇到的不常见的问题. faster rcnn: 参考代码: jwyang/faster-rcnn.pytorchgithub.com pytor ...
Tensorflow ExponentialMovingAverage 详解
tensorflow 中的 ExponentialMovingAverage 这时,再看官方文档中的公式: shadowVariable=decay∗shadowVariable+(1−decay)∗ ...
FM（Factorization Machine）因式分解机与 TensorFlow实现详解
1,线性回归(Linear Regression) 线性回归,即使用多维空间中的一条直线拟合样本数据,如果样本特征为: \[x = ({x_1},{x_2},...,{x_n})\] 模型假设函数如下 ...
faster rcnn接口_Faster R-CNN tensorflow代码详解
研究背景根据Faster-RCNN算法的运行和调试情况,对代码进行深入分析. 参考资料各部分代码分析 1 编译Cython模块 cd tf-faster-rcnn/lib # 首先进入目录Fast ...
TensorFlow estimator详解
1.框架 Estimator是属于High level的API Mid-level API分别是 -- Layers:用来构建网络结构.Datasets: 用来构建数据读取pipeline.Metri ...
tensorflow feature_column详解
关于 feature_column官网说的还比较少,其它说明大多数都是直接翻译官网解释,很明显,达不到效果,现在对feature_column进行说明,更详细的说明,可以参照github ...
代码详解|tensorflow实现聊天AI--PigPig养成记(1)
Chapter1.代码详解完整代码github链接,Untitled.ipynb文件内. [里面的测试是还没训练完的时候测试的,今晚会更新训练完成后的测试结果] 修复了网上一些代码的bug,解决了由 ...

tensorflow graphics详解

tensorflow graphics详解相关推荐

最新文章

热门文章