Recommenders with TensorRT

推荐系统用于向社交网络、媒体内容消费和电子商务平台的用户提供产品或媒体推荐。基于MLP的神经协作滤波器（NCF）推荐器使用一组完全连接或矩阵乘法层来生成推荐。 TensorRT推荐人示例的一些示例包括：

Movie Recommendation Using Neural Collaborative Filter (NCF)
Movie Recommendation Using MPS (Multi-Process Service)
“Hello World” For Multilayer Perceptron (MLP)

3.1. Movie Recommendation Using Neural Collaborative Filter (NCF)

这个示例sampleMovieLens是一个端到端的示例，它导入一个经过训练的TensorFlow模型，并为每个用户预测最高收视率的电影。这个例子演示了一个简单的电影推荐系统，它使用了基于多层感知器（MLP）的神经协作滤波器（NCF）推荐器。

What does this sample do?

具体地说，这个示例演示了如何为TensorRT可以加速的MovieLens数据集生成权重。

Where is this sample located?

此示例保存在GitHub: sampleMovieLens存储库中的samples/opensource/sampleMovieLens目录下。如果使用Debian或RPM包，则示例位于

/usr/src/tensorrt/samples/sampleMovieLens。如果使用tar或zip包，则示例位于<extracted_path>/samples/sampleMovieLens。

How do I get started?

有关入门的更多信息，请参见使用C++示例开始。有关此示例的详细信息，请参阅GitHub: sampleMovieLens/README.md文件获取有关此示例如何工作的详细信息、示例代码以及有关如何运行和验证其输出的分步说明。

这个示例sampleMovieLensMPS是一个端到端的示例，它导入经过训练的TensorFlow模型，并使用MPS（多进程服务）为每个用户预测最高评级的电影。

What does this sample do?

MPS允许多个CUDA进程共享一个GPU上下文。使用MPS，可以同时调度来自不同进程的多个重叠内核执行和memcpy操作，以实现最大利用率。对于资源利用率低的小型网络，例如主要由一系列小型MLP组成的网络，这对于提高并行性尤其有效。

此示例在功能上与使用神经协作过滤器（NCF）的电影推荐相同，但经过修改以支持多个进程中的并发执行。具体地说，这个示例演示了如何为TensorRT可以加速的MovieLens数据集生成权重。

注：目前，sampleMovieLensMPS只支持Linux x86-64（包括Ubuntu和RedHat）桌面用户。

Where is this sample located?

此示例保存在GitHub: sampleMovieLensMPS存储库中的

samples/opensource/sampleMovieLensMPS目录下。如果使用Debian或RPM包，则示例位于/usr/src/tensorrt/samples/sampleMovieLensMPS。如果使用tar或zip包，则示例位于<extracted_path>/samples/sampleMovieLensMPS。

How do I get started?

有关入门的更多信息，请参见使用C++示例开始。有关此示例的详细信息，请参阅GitHub: sampleMovieLensMPS/README.md文件获取有关此示例如何工作的详细信息、示例代码以及有关如何运行和验证其输出的分步说明。

3.2. Movie Recommendation Using MPS (Multi-Process Service)

这个示例sampleMovieLensMPS是一个端到端的示例，它导入经过训练的TensorFlow模型，并使用MPS（多进程服务）为每个用户预测最高评级的电影。

What does this sample do?

MPS允许多个CUDA进程共享一个GPU上下文。使用MPS，可以同时调度来自不同进程的多个重叠内核执行和memcpy操作，以实现最大利用率。对于资源利用率低的小型网络，例如主要由一系列小型MLP组成的网络，这对于提高并行性尤其有效。
此示例在功能上与使用神经协作过滤器（NCF）的电影推荐相同，但经过修改以支持多个进程中的并发执行。具体地说，这个示例演示了如何为TensorRT可以加速的MovieLens数据集生成权重。

注：目前，sampleMovieLensMPS只支持Linux x86-64（包括Ubuntu和RedHat）桌面用户。

Where is this sample located?

This sample is maintained under the samples/opensource/sampleMovieLensMPS
directory in the GitHub: sampleMovieLensMPS
repository. If using the Debian or RPM package, the sample is located at
/usr/src/tensorrt/samples/sampleMovieLensMPS. If using the tar or zip package, the sample is at <extracted_path>/samples/sampleMovieLensMPS.

How do I get started?

有关入门的更多信息，请参见使用C++示例开始。有关此示例的详细信息，请参阅GitHub:sampleMovieLensMPS/README.md文件获取有关此示例如何工作的详细信息、示例代码以及有关如何运行和验证其输出的分步说明。

3.3. “Hello World” For Multilayer Perceptron (MLP)

这个示例sampleMLP是一个简单的hello world示例，演示了如何创建一个触发多层感知器（MLP）优化器的网络。生成的MLP优化器可以加速TensorRT。

Where is this sample located?

此示例保存在GitHub:sampleMLP存储库中的samples/opensource/sampleMLP目录下。如果使用Debian或RPM包，则示例位于/usr/src/tensorrt/samples/sampleMLP。如果使用tar或zip包，则示例位于<extracted_path>/samplesMLP。

How do I get started?

有关入门的更多信息，请参见使用C++示例开始。有关此示例的详细信息，请参阅GitHub: sampleMLP/README.md文件获取有关此示例如何工作的详细信息、示例代码以及有关如何运行和验证其输出的分步说明。

Recommenders with TensorRT相关推荐

TensorRT简介
TensorRT 介绍引用:https://arleyzhang.github.io/articles/7f4b25ce/ 1 简介 TensorRT是一个高性能的深度学习推理(Inference) ...
基于TensorRT的BERT实时自然语言理解（上）
基于TensorRT的BERT实时自然语言理解(上) 大规模语言模型(LSLMs)如BERT.GPT-2和XL-Net为许多自然语言理解(NLU)任务带来了最先进的精准飞跃.自2018年10月发布以来 ...
tensorrt，mmclas中的onnx转tensorrt
NVIDIA TensorRT | NVIDIA Developerhttps://developer.nvidia.cn/zh-cn/tensorrtTensorRT详细入门指北,如果你还不了解Te ...
TensorRT优化方案图例
TensorRT优化方案图例图 12. TensorRT 循环由循环边界层设置.数据流只能通过下方式离开循环环输出层. 唯一允许的后边缘是第二个输入递归层. 图 13. 一个 if 条件构造抽象模型 ...
Tensorrt一些优化技术介绍
Tensorrt一些优化技术介绍 Figure 1. A quantizable AveragePool layer (in blue) is fused with a DQ layer and a ...
英伟达TensorRT 8-bit Inference推理
英伟达TensorRT 8-bit Inference推理引论 ● 目标:将FP32 CNN转换为INT8,不会造成显著的精度损失. ● 原因:Int8 Math具有更高的吞吐量和更低的内存需求. ...
TensorRT深度学习训练和部署图示
TensorRT深度学习训练和部署 NVIDIA TensorRT是用于生产环境的高性能深度学习推理库.功率效率和响应速度是部署的深度学习应用程序的两个关键指标,因为它们直接影响用户体验和所提供服务的 ...
TensorRT 数据和表格示例
TensorRT 数据和表格示例 TensorRT 7.1在绑定索引方面比其前身更加严格.以前,允许错误配置文件的绑定索引.考虑一个网络,该网络具有四个输入,一个输出,以及在其中的三个优化配置文件 I ...
TensorRT原理图示
TensorRT原理图示 NVIDIA的核心® TensorRT™是有助于在NVIDIA图形处理单元(GPU)的高性能推理一个C ++库.它旨在与TensorFlow,Caffe,PyTorch,MX ...

Recommenders with TensorRT

Recommenders with TensorRT相关推荐

最新文章

热门文章