tensorflow量化感知训练

我训练了一个模型并将其转换为.tflite模型。我用以下方法完成了列车后量化：

import tensorflow as tf

converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)

converter.optimizations = [tf.lite.Optimize.OPTIMIZE_FOR_SIZE]

tflite_quant_model = converter.convert()

但是当我尝试在RaspberryPi上使用模型进行推理时，我得到以下错误

Traceback (most recent call last):

File "tf_lite_test.py", line 8, in

interpreter = tf.lite.Interpreter(model_path="converted_from_h5_model_with_quants.tflite")

File "/home/pi/.local/lib/python3.5/site-packages/tensorflow/lite/python/interpreter.py", line 46, in __init__

model_path))

ValueError: Didn't find op for builtin opcode 'CONV_2D' version '2'

Registration failed.

当我将模型转换为tflite而不应用任何训练后量化时，我没有错误。这是我用来转换模型而不应用训练后量化的代码。

import tensorflow as tf

converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)

tflite_quant_model = converter.convert()

这是我的模特：

model = tf.keras.models.Sequential([

tf.keras.layers.Conv2D(32, (3,3), activation='relu', input_shape=(IMG_SHAPE, IMG_SHAPE, 3)),

tf.keras.layers.MaxPooling2D(2, 2),

tf.keras.layers.Conv2D(64, (3,3), activation='relu'),

tf.keras.layers.MaxPooling2D(2,2),

tf.keras.layers.Conv2D(128, (3,3), activation='relu'),

tf.keras.layers.MaxPooling2D(2,2),

tf.keras.layers.Dropout(0.5),

tf.keras.layers.Flatten(),

tf.keras.layers.Dense(64, activation='relu'),

tf.keras.layers.Dense(3, activation='softmax')

])

如何应用训练后量化并加载模型而不会出现此错误？

tensorflow量化感知训练_tensorflow相关推荐

tensorflow量化感知训练_tensorflow模型量化实例
1,概述模型量化应该是现在最容易实现的模型压缩技术,而且也基本上是在移动端部署的模型的毕竟之路.模型量化基本可以分为两种:post training quantizated和quantization ...
tensorflow量化感知训练_TensorFlow 8 bit模型量化
首先来一段keras dalao Francois Chollet的鸡汤: make it possible make it work make it efficient make it depend ...
量化感知训练_一文速览EMNLP 2020中的Transformer量化论文
花了几天看了三篇EMNLP 2020中关于Transformer模型量化的相关论文,快速记一下要点. Fully Quantized Transformer for Machine Translati ...
深度学习框架量化感知训练的思考及OneFlow的解决方案
作者 | BBuf 原文首发于公众号GiantPandaCV 0x0.总览相信不少小伙伴都了解或者使用了一些深度学习框架比如PyTorch,TensorFlow,OneFlow(也是笔者目前正在参与 ...
深度学习框架量化感知训练的思考及OneFlow的一种解决方案
[GiantPandaCV导语]这篇文章分享的是笔者最近在OneFlow做的一个项目,将Pytorch FX移植到OneFlow之后实现了自动量化感知训练动态图模型(在Pytorch和OneFlow中 ...
基于pytorch量化感知训练（mnist分类）--浮点训练vs多bit后量化vs多bit量化感知训练效果对比
基于pytorch量化感知训练–浮点训练vs多bit后量化vs多bit量化感知训练效果对比代码下载地址:下载地址灰色线是量化训练,橙色线是后训练量化,可以看到,在 bit = 2.3 的时候,量化 ...
基于pytorch后量化（mnist分类）---浮点训练vs多bit后量化vs多bit量化感知训练效果对比
基于pytorch后量化(mnist分类)-浮点训练vs多bit后量化vs多bit量化感知训练效果对比代码下载地址:下载地址试了 bit 数为 1-8 的准确率,得到下面这张折线图: 发现,当 b ...
pytorch量化感知训练（QAT）示例---ResNet
pytorch量化感知训练(QAT)示例---ResNet 训练浮点模型,测试浮点模式在CPU和GPU上的时间; BN层融合,测试融合前后精度和结果比对; 加入torch的量化感知API,训练一个QA ...
量化感知训练实践：实现精度无损的模型压缩和推理加速
简介:本文以近期流行的YOLOX[8]目标检测模型为例,介绍量化感知训练的原理流程,讨论如何实现精度无损的实践经验,并展示了量化后的模型能够做到精度不低于原始浮点模型,模型压缩4X.推理加速最高2.3 ...

tensorflow量化感知训练_tensorflow

tensorflow量化感知训练_tensorflow相关推荐

最新文章

热门文章