c#和java部署pytorch同事识别两个图片

最近有一个比较火的ocr项目：chineseocr_lite[1]，项目中很贴心地提供了ncnn的模型推理代码，只需要

交叉编译opencv
添加一点bitmap转cv::Mat的代码
写个简单的界面

具体过程参考：安卓端深度学习模型部署-以NCNN为例 - 带萝卜的文章 - 知乎 https://zhuanlan.zhihu.com/p/137453394

就可以得到一个安卓端的OCR工具了。

可能因为项目针对的是通用的自然场景，所以对小尺寸文本的识别效果不太理想，我对psenet进行了重训练，再转成NCNN进行部署。

PyTorch转NCNN的流程十分简单，如果顺利的话只需要两步：

PyTorch转ONNX

torch.onnx._export(model, x, path, opset_version=11)

ONNX转NCNN

./onnx2ncnn model.onnx model.param model.bin

可是世上哪有那么多一帆风顺的事，这篇文章记录的就是模型重训练之后转成NCNN的过程中遇到的问题和解决方案。

重训练代码参考：wenmuzhou/PSENet.pytorch[2]，backbone选择了mobilenetv3。

注：下文中的resize、interp、interpolate都是一个意思

问题1： ReLU6不支持

概述：ReLU6算子在转换的时候容易出现不支持的情况，需要使用其他算子替代

解决：使用torch.clamp替代（虽然ReLU6可以通过组合ReLU的方式实现，但是组合得到的ReLU6在NCNN中容易转换失败，不建议使用。）

def relu6(x,inplace=True):return torch.clamp(x,0,6)

问题2：Resize算子转换问题

概述：因为各个框架对Resize算子的支持都不尽相同[3]，在转换过程中总会出现一些问题，pytorch中的interpolate算子转换成ONNX之后变成很多零散的算子，如cast、shape等，这些在ncnn里面不支持。你可以选择手动修改文件[4]，也可以使用下面这个自动的方法：

解决：使用onnx_simplifier[5]对onnx模型进行简化，可以合并这些零散的算子。

python -m onnxsim model.onnx model_sim.onnx

问题3：关于转ONNX及使用onnx_simplifier过程中出现的一系列奇怪问题

概述：使用不同版本的ONNX可能会遇到不同的问题，比如提示conv层无输入等（具体错误名称记不清了）。

解决：下载最新ONNX源码编译安装（onnx_simplifier中出现的一些错误也可以通过安装最新ONNX来解决）

git clone https://github.com/onnx/onnx.git
sudo apt-get install protobuf-compiler libprotoc-dev
cd ONNX
python setup.py install

问题4：模型输出结果的尺寸固定

概述：直接转换得到的onnx模型的Resize算子都是固定输出尺寸的，无论输入多大的图片都会输出同样大小的特征图，这无疑会影响到模型的精度及灵活性。

解决：修改NCNN模型的param文件，将Resize算子修改成按比例resize。

直接转换得到的param文件中的Interp算子是这样的：

Interp    913      1 1 901 913 0=2 1=1.000000e+00 2=1.000000e+00 3=640 4=640

从下面的ncnn源码中可以看到，0代表resize_type，1和2分别是高和宽的缩放比例，3和4分别是输出的高和宽。

int Interp::load_param(const ParamDict& pd)
{resize_type = pd.get(0, 0);height_scale = pd.get(1, 1.f);width_scale = pd.get(2, 1.f);output_height = pd.get(3, 0);output_width = pd.get(4, 0);return 0;
}

我们只需将其修改成如下格式即可实现按比例resize：

Interp      913       1 1 901 913 0=1 1=4.000000e+00 2=4.000000e+00

问题5：NCNN模型输出结果与ONNX模型不同

解决：逐层对比NCNN与onnx模型的输出结果

使用onnxruntime（Python）和NCNN（C++）分别提取每个节点的输出，进行对比。对于ncnn比较简单，可以使用

extractor.extract(node_name,preds);

来提取不同节点的输出。

问题5衍生问题：ONNX没有提供提取中间层输出的方法

解决：给要提取的层添加一个输出节点，代码[6]如下：

def find_node_by_name(graph, node_name):for node in graph.node:if node.output[0] == node_name:return nodereturn None
def add_extra_output_node(model,target_node, output_name):extra_output = helper.make_empty_tensor_value_info(output_name)target_output = target_node.output[0]identity_node = helper.make_node("Identity",inputs=[target_output],outputs=[output_name],name=output_name)model.graph.node.append(identity_node)model.graph.output.append(extra_output)return model

修改模型之后再使用

out = sess.run([output_name],{"input.1":img.astype(np.float32)})

就可以获取到模型的中间层输出了。

问题5衍生问题：发现最后一个Resize层的输出有差异

解决：参考chineseocr_lite里面的代码把mode由bilinear改成了nearest（这里错误的原因可能是wenmuzhou/PSENet.pytorch中的模型最后一个F.interpolate中的align_corners参数设置成了True。据说NCNN只实现了align_corners为False的情况[7]）。

这里修改之后的模型跟原模型之间是会有少许误差的，如果误差不可接受，就要重新训练才行。

一些关于chineseocr项目的细节：

细节1：需要去掉推理代码中的normalize步骤（原因应该是WenmuZhou/PSENet.pytorch的训练过程中没有使用normalize）。

细节2：wenmuzhou/PSENet.pytorch代码中没有把sigmoid加入到模型类中，而是放在了推理代码中，在转换ONNX的时候需要加上sigmoid。

细节3：角度检测在对于小尺寸文字的识别精度不高，尤其是对较长的数字序列，可能需要重新训练。

参考：

1. chineseocr_lite： https://github.com/ouyanghuiyu/chineseocr_lite

2. PSENet： https://github.com/WenmuZhou/PSENet.pytorch

3. 是什么引起了各个框架 Resize 操作的结果不同: https://zhuanlan.zhihu.com/p/107761106

4. 手动修改ncnn模型文件：https://zhuanlan.zhihu.com/p/93017149

5. onnx_simplifier： https://github.com/daquexian/onnx-simplifier

6. 修改onnx节点： https://github.com/bindog/onnx-surgery/blob/master/surgery.py

7. 关于align_corners： https://github.com/Tencent/ncnn/issues/1610

最后，对pytorch和移动端部署感兴趣的话，来交个朋友吧，群号：747537854