TensorRT C++ API用法

文章目录

TensorRT C++ API用法
- 1、C++ API vs Python API
- 2、C++实例TensorRT对象
- 参考

1、C++ API vs Python API

本质上，TensorRT的C++接口和Python接口在满足你的需要时应该是接近完全一致的，C++接口应该被用在对性能有很大需求的场景，也同时被用在安全很重要的场景，比如自动驾驶。

Python接口最大的好处就是在做数据预处理和后处理的时候比较方便，因为你可以使用各种各样的Python库，比如NumPy和SciPy。

2、C++实例TensorRT对象

执行inference操作，你需要使用IExecutionContext对象。在创建IExecutionContext对象之前，你需要创建一个ICudaEngine对象（engine）。

有两种方式来创建engine：

解析训练好的模型。这种情况下engine可以被随意的序列化并且保存用于后续的使用
- caffe模型解析生成engine
- onnx模型解析生成engine
- uuf模型（TensorFlow生成的）解析生成engine
通过从磁盘读取序列化的engine。这种情况下，性能是更好的，因为解析模型和创建中间对象的步骤已经跳过。

需要创建一个全局的ILogger对象，被用作TensorRT API各种方法的参数。创建ILogger对象的示例代码：

class Logger : public ILogger
{void log(Severity severity, const char* msg) override{// suppress info-level messagesif (severity != Severity::kINFO)std::cout << msg << std::endl;}
} gLogger;

createInferBuilder(gLogger)是一个全局的TensorRT接口，用于创建IBuilder对象，通过iLogger作为输入参数来创建IBuilder如下图所示：

iBuilder定义的createNetwork方法被用于创建一个iNetworkDefinition对象，如下图所示：

把INetwork定义 作为输入 来创建parser，有三种pasers可选：Caffe，ONNX，或UFF：

ONNX:auto parser = nvonnxparser::createParser(*network, gLogger);
Caffe:auto parser = nvcaffeparser1::createCaffeParser();
UFF:auto parser = nvuffparser::createUffParser();

调用iPaser的**parse()**方法来读取model file然后构建TensorRT的network，解析model file流程如下图所示：

用上一步得到的 network 作为输入来调用IBuilder里面的buildCudaEngine()方法来创建ICudaEngine对象，如图所示：

这样得到的engine对象就可以随意的序列化并且存储到文件中了，如下图所示：

engine对象调用**createExecutionContext()**方法得到一个IExecutionContext对象，这个对象用于执行inference，如下图所示：

如果序列化的engine文件已经生成好了在磁盘中，那么就可以直接加载engine文件来生成engine了，可以跳过上述的大多数步骤，直接通过调用全局TensorRT接口中的createInferRuntime(gLogger)方法来创建一个IRuntime对象如下图所示：

对于TensorRT runtime的更多信息可以看下IRuntime class reference。然后可以通过调用**deserializeCudaEngine()**方法来创建engine即可。推理用法和哪种方式创建engine无关，都是一样的。

尽管能够避开创建CUDA context，（默认的context将由你来创建），但这是不明智的，还是建议在创建一个runtime或builder对象之前先创建并配置CUDA context。

builder或runtime将通过GPU context创建，涉及到创建线程。尽管在context不存在的情况下会默认的创建一个context，但是对于在创建一个runtime或builder对象之前去创建并配置一个CUDA context依然是明智之举。

参考

1、TensorRT开发者手册

2、https://devblogs.nvidia.com/speed-up-inference-tensorrt/