CNN模型 int8量化实现方式（二）

python 版本切换
sudo update-alternatives --list python

sudo update-alternatives --config python

卸载TensorFlow

先介绍卸载，如果你的tensorflow是用pip安装的，那下面简单的命令就可以完成卸载了

sudo pip uninstall tensorflow_gpu
sudo pip3 uninstall tensorflow_gpu

这里介绍一个完全基于 Tensorflow 的模型量化方法，以 yolo v3 为例

1）利用现有yolo v3 模型生成 Tensorflow pb 模型
基于 https://github.com/mystic123/tensorflow-yolo-v3
Run python ./convert_weights.py and python ./convert_weights_pb.py

2）完全基于 Tensorflow 的量化
https://blog.csdn.net/u011961856/article/details/76736103

1.源码编译安装tensorflow
可参考 https://blog.csdn.net/u011961856/article/details/76725411

2 编译量化工具

sudo bazel build tensorflow/tools/quantization:quantize_graph

3.模型量化:

sudo bazel-bin/tensorflow/tools/quantization/quantize_graph --input=/tmp/classify_image_graph_def.pb --output_node_names="softmax" --output=/tmp/quantized_graph.pb --mode=eightbit

/tmp/ 这个路径我的修改为自己的绝对路径

sudo bazel-bin/tensorflow/tools/quantization/quantize_graph --input=/home/zhangjun/tensorflow/tmp/classify_image_graph_def.pb --output_node_names="softmax" --output=/home/zhangjun/tensorflow/tmp/quantized_graph.pb --mode=eightbit

4.测试量化模型:
测试量化前的模型结果:

sudo bazel-bin/tensorflow/examples/label_image/label_image --graph=/tmp/classify_image_graph_def.pb --input_width=299 --input_height=299 --input_mean=128 --input_std=128 --input_layer="Mul:0" --output_layer="softmax:0" --labels="/tmp/imagenet_synset_to_human_label_map.txt" --image="/tmp/cropped_panda.jpg"

/tmp/ 这个路径我的修改为自己的绝对路径

sudo bazel-bin/tensorflow/examples/label_image/label_image --graph=/home/zhangjun/tensorflow/tmp/classify_image_graph_def.pb --input_width=299 --input_height=299 --input_mean=128 --input_std=128 --input_layer="Mul:0" --output_layer="softmax:0" --labels="/home/zhangjun/tensorflow/tmp/imagenet_synset_to_human_label_map.txt" --image="/home/zhangjun/tensorflow/tmp/cropped_panda.jpg"

测试量化后的模型结果:

   sudo bazel-bin/tensorflow/examples/label_image/label_image --graph=/tmp/quantized_graph.pb --input_width=299 --input_height=299 --input_mean=128 --input_std=128 --input_layer="Mul:0" --output_layer="softmax:0" --labels="/tmp/imagenet_synset_to_human_label_map.txt" --image="/tmp/cropped_panda.jpg"

/tmp/ 这个路径我的修改为自己的绝对路径

bazel-bin/tensorflow/examples/label_image/label_image --graph=/home/zhangjun/tensorflow/tmp/quantized_graph.pb --input_width=299 --input_height=299 --input_mean=128 --input_std=128 --input_layer="Mul:0" --output_layer="softmax:0" --labels="/home/zhangjun/tensorflow/tmp/imagenet_synset_to_human_label_map.txt" --image="/home/zhangjun/tensorflow/tmp/cropped_panda.jpg"

tensorflow 对于模型的量化目前来说并不成熟，处于开发阶段，tensorflow lite 是应该已经支持量化模型的运行，而 tensorflow 本身的支持很有限，貌似正在集成

CNN模型 int8量化实现方式（二）相关推荐

CNN模型 INT8 量化实现方式（一）
当前CNN模型基本都是 float32,将其转换为 INT8 可以降低模型大小,提升速度,精度降低的也不太多.那么在实际中如何实现这个量化了?在网上找到了三种实践方法, 基于腾讯的NCNN, Tens ...
OpenVINO 2022.3实战六：NNCF 实现 YOLOv5 模型 INT8 量化
OpenVINO 2022.3实战六:NNCF 实现 YOLOv5 模型 INT8 量化 1 将YOLOv5模型转换为OpenVINO IR 使用OpenVINO模型优化器将YOLOv5模型转换为Op ...
【部署加速】模型Int8量化
0前言为什么量化有用? 因为CNN对噪声不敏感. 2. 为什么用量化? 模型太大,比如alexnet就200MB,存储压力大的哟,必须要降一降温: 每个层的weights范围基本都是确定的,且波动不 ...
【Python深度学习】基于Tensorflow2.0构建CNN模型尝试分类音乐类型(二)
前情提要基于上文所说基于Tensorflow2.0构建CNN模型尝试分类音乐类型(一) 我用tf2.0和Python3.7复现了一个基于CNN做音乐分类器.用余弦相似度评估距离的一个音乐推荐模型. ...
NHibernate初学者指南（6）：映射模型到数据库之方式二
使用Fluent NHibernate自动映射使用Fluent NHibernate自动映射,首先要将映射的实体放到一个命名空间中,这使得通知AutoMapper哪些实体和值对象包含在映射中更容易. ...
TensorRT INT8量化原理与实现（非常详细）
目录一.模型量化是什么? 二.为什么要做模型量化? 三.模型量化的目标是什么? 四.模型量化的必要条件五.模型量化的分类 5.1 线性量化和非线性量化 5.2 逐层量化.逐组量化和逐通道量化 5. ...
使用OpenVINOTM对YOLOv5进行INT8量化
终于来了一个yolo5的本身一直停留在v5阶段这个也是拿来主义自学真的为自学多谢理解啦如题 .. 使用OpenVINOTM 2022.1 Post-training Optimizati ...
【嵌入式AI】CNN模型压缩（剪枝，量化）详解与tensorflow实验
1,CNN模型压缩综述 1 模型压缩的必要性及可行性 (1)必要性:首先是资源受限,其次在许多网络结构中,如VGG-16网络,参数数量1亿3千多万,占用500MB空间,需要进行309亿次浮点运算才能完 ...
模型加速之INT8量化原理及实践（基于TensorRT）
一.模型量化: 1.量化的定义是将网络参数从Float-32量化到更低位数,如Float-16.INT8.1bit等. 2.量化的作用:更小的模型尺寸.更低的功耗.更快的计算速度.下图是不同数据结构比 ...

CNN模型 int8量化实现方式（二）

CNN模型 int8量化实现方式（二）相关推荐

最新文章

热门文章