在Caffe中调用TensorRT提供的MNIST model

在TensorRT 2.1.2中提供了MNIST的model，这里拿来用Caffe的代码调用实现，原始的mnist_mean.binaryproto文件调整为了纯二进制文件mnist_tensorrt_mean.binary，测试结果与使用TensorRT调用(http://blog.csdn.net/fengbingchun/article/details/78552908)一致：

测试代码如下：

#include "funset.hpp"
#include <memory>
#include <fstream>
#include <tuple>
#include "common.hpp"int mnist_tensorrt_predict()
{
#ifdef CPU_ONLYcaffe::Caffe::set_mode(caffe::Caffe::CPU);
#elsecaffe::Caffe::set_mode(caffe::Caffe::GPU);
#endifconst std::string deploy_file{ "E:/GitCode/Caffe_Test/test_data/model/mnist/mnist_tensorrt.prototxt" };const std::string model_filename{ "E:/GitCode/Caffe_Test/test_data/model/mnist/mnist_tensorrt.caffemodel" };const std::string mean_file{ "E:/GitCode/Caffe_Test/test_data/model/mnist/mnist_tensorrt_mean.binary" };const std::string image_path{ "E:/GitCode/Caffe_Test/test_data/images/handwritten_digits/" };caffe::Net<float> caffe_net(deploy_file, caffe::TEST);caffe_net.CopyTrainedLayersFrom(model_filename);// print net infofprintf(stdout, "input blob num: %d, output blob num: %d\n", caffe_net.num_inputs(), caffe_net.num_outputs());const boost::shared_ptr<caffe::Blob<float> > blob_by_name = caffe_net.blob_by_name("data");int image_num = blob_by_name->num();int image_channel = blob_by_name->channels();int image_height = blob_by_name->height();int image_width = blob_by_name->width();fprintf(stdout, "inpub blob shape(num, channels, height, width): %d, %d, %d, %d\n",image_num, image_channel, image_height, image_width);fprintf(stdout, "layer names: ");for (int i = 0; i < caffe_net.layer_names().size(); ++i) {fprintf(stdout, "  %s  ", caffe_net.layer_names()[i].c_str());}fprintf(stdout, "\nblob names: ");for (int i = 0; i < caffe_net.blob_names().size(); ++i) {fprintf(stdout, "  %s  ", caffe_net.blob_names()[i].c_str());}fprintf(stdout, "\nlayer types: ");for (int i = 0; i < caffe_net.layers().size(); ++i) {fprintf(stdout, "  %s  ", caffe_net.layers()[i]->type());}const std::vector<caffe::Blob<float>*> output_blobs = caffe_net.output_blobs();fprintf(stdout, "\noutput blobs num: %d, blob(num, channel, heihgt, width): %d, %d, %d, %d\n",output_blobs.size(), output_blobs[0]->num(), output_blobs[0]->channels(), output_blobs[0]->height(), output_blobs[0]->width());const int image_size{ image_num * image_channel * image_height * image_width };std::unique_ptr<float[]> mean_values(new float[image_size]);std::ifstream in(mean_file.c_str(), std::ios::in | std::ios::binary);if (!in.is_open()) {fprintf(stderr, "read mean file fail: %s\n", mean_file.c_str());return -1;}in.read((char*)mean_values.get(), image_size * sizeof(float));in.close();const std::vector<int> target{ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9 };typedef std::tuple<int, float> result;std::vector<result> results;for (const auto& num : target) {std::string str = std::to_string(num);str += ".png";str = image_path + str;cv::Mat mat = cv::imread(str.c_str(), 0);if (!mat.data) {fprintf(stderr, "load image error: %s\n", str.c_str());return -1;}cv::resize(mat, mat, cv::Size(image_width, image_height));mat.convertTo(mat, CV_32FC1);float* p = (float*)mat.data;for (int i = 0; i < image_size; ++i) {p[i] -= mean_values.get()[i];}const std::vector<caffe::Blob<float>*>& blob_input = caffe_net.input_blobs();blob_input[0]->set_cpu_data((float*)mat.data);const std::vector<caffe::Blob<float>*>& output_blob_ = caffe_net.Forward(nullptr);const float* output = output_blob_[0]->cpu_data();float tmp{ -1.f };int pos{ -1 };for (int j = 0; j < output_blobs[0]->count(); j++) {if (tmp < output[j]) {pos = j;tmp = output[j];}}result ret = std::make_tuple(pos, tmp);results.push_back(ret);}for (auto i = 0; i < target.size(); i++)fprintf(stdout, "actual digit is: %d, result digit is: %d, probability: %f\n",target[i], std::get<0>(results[i]), std::get<1>(results[i]));fprintf(stdout, "predict finish\n");return 0;
}

测试图像如下：

执行结果如下：

GitHub： https://github.com/fengbingchun/Caffe_Test

在Caffe中调用TensorRT提供的MNIST model相关推荐

Java相对路径调用dll文件,VS项目中调用他人提供的.lib和.dll文件的用法(绝对路径和相对路径)...
开发平台:vs2013 他人提供的动态库文件,包含 .lib 文件和 .dll 文件在VS的工程中常常要设置头文件的包含路径和库文件的包含路径,当然你可以使用绝对路径,但是如果你这样设置了你只 ...
在caffe中调用python层的问题和解决方案
之前很早以前在caffe中用过python写的loss layer,很久不用后在新的服务器上使用就各种"No module named WeightedEuclideanLossLayer2 ...
Caffe中对MNIST执行train操作执行流程解析
之前在 http://blog.csdn.net/fengbingchun/article/details/49849225 中简单介绍过使用Caffe train MNIST的文章,当时只是仿照ca ...
【Caffe学习01】在Caffe中trian MNIST
在上次搭建好Caffe环境的基础上我们进行第一次实验,将Caffe自带的一个Mnist example跑一跑,对其在处理图像方面的能力有个初步了解. 如果还没有搭建好环境的朋友可以看看我的上一篇文章: ...
caffe中mnist数据集的运行
1.首先进入caffe的安装目录 CAFFE_ROOT='/home/lxc/caffe/' 2.运行脚本文件,数据集 cd CAFFE_ROOT ./data/mnist/gte_mnist.sh ...
caffe中的layer
layer是神经网络搭建的脚手架,理解了layer,才能盖好神经网络这座摩天大楼. 下图是一张关于layer的思维导图,在功力到达一定程度的时候才可练此功,到时一定会有不一样的收获. 1. Outli ...
caffe中各层的作用
caffe中各层的作用: 关于caffe中的solver: cafffe中的sover的方法都有: Stochastic Gradient Descent (type: "SGD" ...
多线程 python layer_在Caffe中加Python Layer的方法
Author: Zongwei Zhou | 周纵苇 Weibo: @MrGiovanni Email: zongweiz@asu.edu Acknowledgement: Md Rahman Sid ...
在caffe中使用hdf5的数据
caffe默认使用的数据格式为lmdb文件格式,它提供了把图片转为lmdb文件格式的小程序,但是呢,我的数据为一维的数据,我也要分类啊,那我怎么办?肯定有办法可以转为lmdb文件格式的,我也看了一些源 ...

在Caffe中调用TensorRT提供的MNIST model

在Caffe中调用TensorRT提供的MNIST model相关推荐

最新文章

热门文章