keras 模型量化

"""
#coding:utf-8
__project_ = 'TF2learning'
__file_name__ = 'quantization'
__author__ = 'qilibin'
__time__ = '2021/3/17 9:18'
__product_name = PyCharm
"""
import h5py
import pandas as pd
import numpy as np'''
读取原来的只包含权重的H5模型，按层遍历，对每层的每个权重进行16位或8位量化，将量化后的权重数值重新保存在H5文件中
'''def quantization16bit(old_model_path,new_model_path,bit_num):''':param old_model_path: 未量化的模型路径  模型是只保存了权重未保存网络结构:param new_model_path: 量化过后的模型路径:param bit_num: 量化位数:return:'''f = h5py.File(old_model_path,'r')f2 = h5py.File(new_model_path,'w')for  layer in f.keys():# layer ： 层的名称print (layer)# # 每层里面的权重名称 有的层没有参数# name_of_weight_of_layer = f[layer].attrs['weight_names']# # 有的层是没有参数的 比如 relu# length = len(name_of_weight_of_layer)length = len(list(f[layer].keys()))if length > 0:g1 = f2.create_group(layer)g1.attrs["weight_names"] = layerg2 = g1.create_group(layer)for weight in f[layer][layer].keys():print ("wieght name is :" + weight)oldparam = f[layer][layer][weight][:]print ('-----------------------------------------old-----------------------')print (oldparam)if type(oldparam) == np.ndarray:if bit_num == 16:newparam = np.float16(oldparam)if bit_num == 8:min_val = np.min(oldparam)max_val = np.max(oldparam)oldparam = np.round((oldparam - min_val) / (max_val - min_val) * 255)newparam = np.uint8(oldparam)else:newparam = oldparamprint ('-----------------------------------------new-----------------------')#print (newparam)#f[key][key][weight_name][:] = newparam  在原来模型的基础上修改 行不通if bit_num == 16:d = g2.create_dataset(weight, data=newparam,dtype=np.float16)if bit_num == 8:d = g2.create_dataset(weight, data=newparam, dtype=np.uint8)else:g1 = f2.create_group(layer)g1.attrs["weight_names"] = layerf.close()f2.close()
old_model_path = './yolox_s.h5'
new_model_path = './yolox_sq.h5'
quantization16bit(old_model_path,new_model_path,8)
# print (f['batch_normalization']['batch_normalization']['gamma:0'][:])

keras 模型量化相关推荐

【杂谈】当前模型量化有哪些可用的开源工具？
模型量化属于模型优化中的重要技术之一,是非常有效地提升模型推理速度的技术方案,那么当前有哪些可用的模型量化工具呢? 作者&编辑 | 言有三 1 Tensorflow Lite TensorFl ...
list python 转tensor_Tensorflow模型量化4 --pb转tflite(uint8量化)小结
Tensorflow模型量化4 --pb转tflite小结(uint8量化) 实验环境:tensorflow-gpu1.15+cuda10.0 模型的fp16量化和int8量化我之前有写,参考: 龟龟 ...
CUDA上深度学习模型量化的自动化优化
CUDA上深度学习模型量化的自动化优化深度学习已成功应用于各种任务.在诸如自动驾驶汽车推理之类的实时场景中,模型的推理速度至关重要.网络量化是加速深度学习模型的有效方法.在量化模型中,数据和模型参数 ...
deeplearning模型量化实战
deeplearning模型量化实战 MegEngine 提供从训练到部署完整的量化支持,包括量化感知训练以及训练后量化,凭借"训练推理一体"的特性,MegEngine更能保证量化 ...
基于YOLOv5模型压缩、模型量化、模型剪枝
基于YOLOv5模型压缩.模型量化.模型剪枝代码下载地址:下载地址 Requirements pip install -r requirements.txt Pruning for YOLOs Mo ...
一次失败的Pytorch模型量化尝试
我的原工程模型是blazeface学习笔记_zhqh100的博客-CSDN博客完整的应该是一个人脸识别项目,人脸识别,大言不惭的说,我之前其实也做过,比如用dlib来做人脸识别,就是用opencv那一 ...
resnet keras 结构_Wandb用起来，一行Python代码实现Keras模型可视化
大数据文摘出品来源:wandb 编译:邢畅.宁静在训练神经网络的过程中,我们可能会希望可视化网络的性能和中间的结构,很多可视化代码的冗长复杂使得我们望而却步,有没有一行代码就能解决可视化的所有问题 ...
最新组合式模型量化方法，实现FPGA最高硬件利用率，准确率-推理速度达到SOTA...
作者 | 王言治来源 | AI科技大本营(ID:rgznai100) 深度神经网络(DNN)在图像.语言处理等领域获得了巨大成功,而如何将这些网络部署在ASIC.FPGA等嵌入式设备仍是热门研究方向 ...
神经网络压缩方法：模型量化的概念简介
来源:DeepHub IMBA 本文约3200字,建议阅读6分钟本文为你介绍如何使用量化的方法优化重型深度神经网络模型. 在过去的十年中,深度学习在解决许多以前被认为无法解决的问题方面发挥了重要作用 ...

keras 模型量化

keras 模型量化相关推荐

最新文章

热门文章