1 介绍

2 Ubuntu 18下ncnn安装和使用

2.1 Ubuntu 18下ncnn编译安装

2.2 Ubuntu 18下ncnn使用

3 Windows 10下ncnn安装和使用

3.1 Windows 10下ncnn编译安装

3.2 Windows 10下ncnn使用

4 参考

1 介绍

ncnn是腾讯开发的一个为手机端极致优化的高性能神经网络前向计算框架，无第三方依赖，跨平台，但是通常都需要protobuf和opencv。ncnn目前已在腾讯多款应用中使用，如 QQ，Qzone，微信，天天P图等。ncnn主要基于C++和caffe，ncnn项目地址见：

https://github.com/Tencent/ncnn

本文主要介绍ncnn在Ubuntu 18和Windows10下安装和使用。ncnn实测win10和Ubuntu18下C++调用squeezenet进行分类越比opencv dnn模块调用squeeznet快3到5倍。

ncnn常见的主流系统平台和常见硬件平台都支持，包括树莓派。

其他平台安装教程见：

https://github.com/Tencent/ncnn/wiki/how-to-build#build-for-windows-x64-using-visual-studio-community-2017

2 Ubuntu 18下ncnn安装和使用

2.1 Ubuntu 18下ncnn编译安装

ncnn在linux平台需要protobuf和较低的gcc版本支持（根据评论区baiyu33的回复，最新ncnn版本在gcc/g++ 7.5环境，不需要降级为4.8.5，就可以编译安装protobuf 2.6.1和ncnn，2020年7月7日更新），如果你的系统可以运行caffe，可以跳过第一第二步，直接第三步。第一第二步具体安装protobuf见：

https://blog.csdn.net/barrytough/article/details/80660806

（1）将gcc、g++降级为4.8.5版本（最新版本ncnn可以跳过该阶段）。

（2）安装protobuf

（3）编译源码

先下载源码

git clone https://github.com/Tencent/ncnn

然后进入ncnn安装即可

cd ncnnmkdir buildcd buildcmake ..make –j12 make install

2.2 Ubuntu 18下ncnn使用

(1) 模型更新

ncnn对caffe模型支持度比其他平台模型支持度更高。所以一般都是将caffe的模型转为ncnn格式。对于比较老的caffe模型需要将其转换为最新的caffe模型（相对来说），不过一般都不需要。以alexnet为例

alexnet 的 deploy.prototxt 可以在这里下载：

https://github.com/BVLC/caffe/tree/master/models/bvlc_alexnet

alexnet 的 caffemodel 可以在这里下载：

http://dl.caffe.berkeleyvision.org/bvlc_alexnet.caffemodel

caffe自带了工具可以把老版本的caffe 网络和模型转换为新版（ncnn的工具只认识新版），转换方法为将你需要转换的prototxt和caffemodel放在你电脑的caffe/build/tools目录下，然后终端进入caffe/build/tools，执行命令：.

./upgrade_net_proto_text old_deploy.prototxt new_deploy.prototxt
./upgrade_net_proto_binary old.caffemodel new.caffemodel

执行完成之后你就可以在caffe/build/tools下找到你的new_deploy.prototxt和new.caffemodel文件了。注意完成之后打开你的new_deploy.prototxt文件看一下，因为一般每次只需要做一个数据样本的识别，所以如果第一个 dim 不为1，要将其设为

layer {name: "data"type: "Input"top: "data"input_param { shape: { dim: 1 dim: 3 dim: 227 dim: 227 } }}

（2）模型转换

模型转换具体使用见：

https://blog.csdn.net/qq_36982160/article/details/79929869

当你获得new_deploy.prototxt和new.caffemodel文件后，需要将prototxt转换为ncnn支持的param文件，caffemodel转换为bin文件。Ncnn中使用 caffe2ncnn 工具转换为ncnn的网络描述和模型。将上面转化的new_deploy.prototxt和new.caffemodel放到ncnn/build/tools/caffe下。然后命令行输入以下命令：

./caffe2ncnn new_deploy.prototxt new.caffemodel ncnn.param ncnn.bin

或者在以下网站转换模型：

https://convertmodel.com/?tdsourcetag=s_pcqq_aiomsg

（3）运用模型分类

上面提到的是alexnet，在实际本文使用的是squeezenet。ncnn调用模型的一般过程都是参考ncnn/examples/下各个示例cpp文件，选择自己的模型，然后根据该目录下的CMakeLists.txt文件修改参数。本文就不修改参数了，直接选用squeezenet.cpp使用。

然后打开ncnn根目录下的CMakeLists.txt文件，将编译examples语句的注释打开（默认是被注释掉的），如图：

终端进入ncnn/build后执行：

make

然后把所获得ncnn参数和模型文件复制到ncnn/build/examples目录下，本文所用的squeezenet的ncnn文件在ncnn/examples中有提供。将模型.param和.bin文件复制到ncnn/build/examples目录下，然后终端cd到ncnn/build/examples，执行：

./squeezenet imagepath

Imagepath为图像路径。就可以得到结果。

具体调用代码直接参考ncnn/examples中的示例cpp文件，但是使用时最好使用examples所提到的模型。

（4）ncnn工程使用

如果想建立工程，需要自己新建一个目录然后编写你自己的cpp文件。比如使用ncnn/examples/squeezenet.cpp，将其放入本机任意路径新的文件夹。对于ncnn编译，需要添加opencv和openmp，编写如下CMakeLists.txt进行编译，然后cmake .就可以在当前目录运行生成的可执行文件ncnnTest。

# 设置cmake版本
cmake_minimum_required(VERSION 3.2)# ncnn工程
project(ncnnTest)# 调用opencv
find_package(OpenCV REQUIRED)
# 调用openmp
FIND_PACKAGE( OpenMP REQUIRED)
if(OPENMP_FOUND)  message("OPENMP FOUND")  set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} ${OpenMP_C_FLAGS}")  set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} ${OpenMP_CXX_FLAGS}")  set(CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} ${OpenMP_EXE_LINKER_FLAGS}")
endif()  # 包含ncnn的头文件
include_directories(/home/user/ncnn/build/install/include/ncnn)
# 包含ncnn的链接文件
link_directories(/home/user/ncnn/build/install/lib)
# 生成可执行文件
add_executable(ncnnTest squeezenet.cpp)
# 链接ncnn静态链接库
target_link_libraries(ncnnTest ncnn ${OpenCV_LIBS} /home/user/ncnn/build/install/lib/libncnn.a)

3 Windows 10下ncnn安装和使用

Win10下安装和ncnn最好都基于visual studio2015以上平台，本文用的vs2017。

3.1 Windows 10下ncnn编译安装

（1）protobuf编译

Win10下需要首先编译ncnn所使用到的protobuf库。Protobuf3.4.0下载路径为：https://github.com/google/protobuf/archive/v3.4.0.zip

然后选择vs2017自带的命令提示符工具，对于命令提示符工具选择，用于后期可能会用到opencv或者其他软件包。需要确定是x86还是x64平台，本文由于用的x64平台，选择适用于vs2017的x64本机工具。如下所示：

特别要注意的在编译文件前，一定要确定命令工具所使用的是x64还是x86。

protobuf编译步骤为:

cd <protobuf-root-dir>mkdir build-vs2017cd build-vs2017cmake -G"NMake Makefiles" -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=%cd%/install -Dprotobuf_BUILD_TESTS=OFF -Dprotobuf_MSVC_STATIC_RUNTIME=OFF ../cmakenmakenmake install

上面protobuf-root-dir为你的protobuf文件路径，比如我的是D:/packages/protobuf-3.4.0，文件路径最好纯英文，protobuf设置的release格式。

（2）ncnn编译

下载ncnn源码，https://github.com/Tencent/ncnn 然后用上面提到的开发工具进入ncnn安装即可，具体步骤如下：

cd <ncnn-root-dir>mkdir build-vs2017cd build-vs2017cmake -G"NMake Makefiles" -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=%cd%/install -DProtobuf_INCLUDE_DIR=<protobuf-root-dir>/build-vs2017/install/include -DProtobuf_LIBRARIES=<protobuf-root-dir>/build-vs2017/install/lib/libprotobuf.lib -DProtobuf_PROTOC_EXECUTABLE=<protobuf-root-dir>/build-vs2017/install/bin/protoc.exe -DNCNN_VULKAN=OFF ..nmakenmake install

注意<protobuf-root-dir>要替换为你的protobuf文件绝对路径，比如我的是D:/packages/protobuf-3.4.0。DCMAKE_BUILD_TYPE=Release确定编译的是release文件。

3.2 Windows 10下ncnn使用

ncnn使用类似opencv在windows下的使用。打开vs2017建立工程文件。项目-属性-VC++目录。设置配置文件，VC++目录在包含目录下输入以下路径，调用opencv，ncnn，protobuf头文件。

d:\opencv\build\include\opencvd:\opencv\build\included:\opencv\build\include\opencv2d:\packages\ncnn\build-vs2017\install\included:\packages\ncnn\build-vs2017\install\include\ncnnd:\packages\protobuf-3.4.0\build-vs2017\install\included:\packages\protobuf-3.4.0\build-vs2017\install\include\google

具体如图所示：

接着配置库目录，输入以下路径配置链接文件

d:\opencv\build\x64\vc15\libd:\packages\ncnn\build-vs2017\install\libd:\packages\protobuf-3.4.0\build-vs2017\install\lib

但是额外要配置配置Windows运行库目录，主要是要protobuf配置文件：

d:\packages\protobuf-3.4.0\build-vs2017\install\bin

最后链接器-输入-附加依赖项配置附加依赖项。Protobuf相关依赖项已经调用了其动态库，就不需要再调用了。

opencv_world341.libncnn.lib

这样ncnn就配置好了。输入代码，直接ncnn/examples中选用一个示例调用cpp就行了。但是只能在release x64下调用ncnn，具体编译ncnn时所选择的编译模式。比如squeezenet.cpp，直接复制过来，设置param和bin文件路径就行了。其他模型依葫芦画瓢。

// Tencent is pleased to support the open source community by making ncnn available.
//
// Copyright (C) 2017 THL A29 Limited, a Tencent company. All rights reserved.
//
// Licensed under the BSD 3-Clause License (the "License"); you may not use this file except
// in compliance with the License. You may obtain a copy of the License at
//
// https://opensource.org/licenses/BSD-3-Clause
//
// Unless required by applicable law or agreed to in writing, software distributed
// under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR
// CONDITIONS OF ANY KIND, either express or implied. See the License for the
// specific language governing permissions and limitations under the License.#include <stdio.h>
#include <algorithm>
#include <vector>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>// linux平台调用
// #include "platform.h"
// #include "net.h"// windows平台调用
#include <net.h>
#include <platform.h>#if NCNN_VULKAN
#include "gpu.h"
#endif // NCNN_VULKANstatic int detect_squeezenet(const cv::Mat& bgr, std::vector<float>& cls_scores)
{ncnn::Net squeezenet;#if NCNN_VULKANsqueezenet.opt.use_vulkan_compute = true;
#endif // NCNN_VULKAN// squeezenet的ncnn模型文件路径squeezenet.load_param("squeezenet_v1.1.param");squeezenet.load_model("squeezenet_v1.1.bin");ncnn::Mat in = ncnn::Mat::from_pixels_resize(bgr.data, ncnn::Mat::PIXEL_BGR, bgr.cols, bgr.rows, 227, 227);const float mean_vals[3] = {104.f, 117.f, 123.f};in.substract_mean_normalize(mean_vals, 0);ncnn::Extractor ex = squeezenet.create_extractor();ex.input("data", in);ncnn::Mat out;ex.extract("prob", out);cls_scores.resize(out.w);for (int j=0; j<out.w; j++){cls_scores[j] = out[j];}return 0;
}static int print_topk(const std::vector<float>& cls_scores, int topk)
{// partial sort topk with indexint size = cls_scores.size();std::vector< std::pair<float, int> > vec;vec.resize(size);for (int i=0; i<size; i++){vec[i] = std::make_pair(cls_scores[i], i);}std::partial_sort(vec.begin(), vec.begin() + topk, vec.end(),std::greater< std::pair<float, int> >());// print topk and scorefor (int i=0; i<topk; i++){float score = vec[i].first;int index = vec[i].second;fprintf(stderr, "%d = %f\n", index, score);}return 0;
}int main()
{String imagepath = "./image/cat.jpg";cv::Mat m = cv::imread(imagepath);if (m.empty()){fprintf(stderr, "cv::imread %s failed\n", imagepath);return -1;}#if NCNN_VULKANncnn::create_gpu_instance();
#endif // NCNN_VULKANstd::vector<float> cls_scores;detect_squeezenet(m, cls_scores);#if NCNN_VULKANncnn::destroy_gpu_instance();
#endif // NCNN_VULKANprint_topk(cls_scores, 3);return 0;
}

4 参考

https://github.com/Tencent/ncnn/wiki/how-to-build#build-for-linux-x86
https://github.com/Tencent/ncnn/wiki/ncnn-%E7%BB%84%E4%BB%B6%E4%BD%BF%E7%94%A8%E6%8C%87%E5%8C%97-alexnet
https://blog.csdn.net/barrytough/article/details/80660806
https://blog.csdn.net/weixin_45250844/article/details/94910897
https://blog.csdn.net/qq_36982160/article/details/79929869
https://blog.csdn.net/m_buddy/article/details/87740231
https://blog.csdn.net/lucifer_24/article/details/90104343

[深度学习] ncnn安装和调用基础教程相关推荐

CV：Win10下深度学习框架安装之Tensorflow/tensorflow_gpu+Cuda+Cudnn(最清楚/最快捷)之详细攻略(图文教程)
CV:Win10下深度学习框架安装之Tensorflow/tensorflow_gpu+Cuda+Cudnn(最清楚/最快捷)之详细攻略(图文教程) 导读本人在Win10下安装深度学习框架Tenso ...
MatConvNet深度学习工具箱安装教程
MatConvNet深度学习工具箱安装教程方法1 方法2 安装成功测试方法安装matlab2020a: 安装Visual Studio 2017: 方法1 步骤1: 到官网http://www.v ...
DL之IDE：深度学习环境安装之NVIDIA驱动程序安装图文教程(根据Anaconda的CUDA版本去安装对应匹配的NVIDIA)之详细攻略
DL之IDE:深度学习环境安装之NVIDIA驱动程序安装图文教程(根据Anaconda的CUDA版本去安装对应匹配的NVIDIA)之详细攻略目录根据Anaconda的CUDA版本去安装对应匹配的N ...
给深度学习入门者的Python快速教程 - 番外篇之Python-OpenCV
转载自:https://zhuanlan.zhihu.com/p/24425116 本篇是前面两篇教程:给深度学习入门者的Python快速教程 - 基础篇给深度学习入门者的Python快速教程 - ...
给深度学习入门者的Python快速教程 - numpy和Matplotlib篇
转载自:https://zhuanlan.zhihu.com/p/24309547 本篇部分代码的下载地址: https://github.com/frombeijingwithlove/dlcv_f ...
深度学习（9）TensorFlow基础操作五: Broadcasting
深度学习(9)TensorFlow基础操作五: Broadcasting 1. 操作思想 2. 具体例子 3. 理解 (1) How to understand? (2) Why Broadcasti ...
『深度应用』NLP机器翻译深度学习实战课程·零（基础概念）
0.前言深度学习用的有一年多了,最近开始NLP自然处理方面的研发.刚好趁着这个机会写一系列NLP机器翻译深度学习实战课程. 本系列课程将从原理讲解与数据处理深入到如何动手实践与应用部署,将包括以下内 ...
《动手学深度学习》环境搭建全程详细教程 window用户
一.下载并安装Miniconda 第一步是根据操作系统下载并安装Miniconda,在安装过程中需要勾选"Add Anaconda to the system PATH environmen ...
AM5728开发深度学习之安装 caffe-jacinto
AM5728开发深度学习之安装 caffe-jacinto--WizNote笔记要先使用自己训练的模型,可以使用caffe和Tensorflow,但是使用TI的caffe-jacinto能让训练的模 ...

[深度学习] ncnn安装和调用基础教程

1 介绍

2 Ubuntu 18下ncnn安装和使用

2.1 Ubuntu 18下ncnn编译安装

2.2 Ubuntu 18下ncnn使用

3 Windows 10下ncnn安装和使用

3.1 Windows 10下ncnn编译安装

3.2 Windows 10下ncnn使用

4 参考

[深度学习] ncnn安装和调用基础教程相关推荐

最新文章

热门文章