insightface mxnet训练horovod版

依赖项：

horovod

Horovod是Uber开源的又一个深度学习工具，它的发展吸取了Facebook "Training ImageNet In 1 Hour" 与百度 "Ring Allreduce" 的优点

pip install horovod --no-cache-dir

不依赖的horovod：

https://github.com/bleakie/MaskInsightface

数据文件：train.rec

训练入口：

recognition/partial_fc/mxnet/train_memory.py

配置文件，dataset路径也在这里配置：

recognition/partial_fc/mxnet/default.py

网络，数据参数：

def parse_args():parser = argparse.ArgumentParser(description='Train parall face network')# generalparser.add_argument('--dataset', default='emore', help='dataset config')parser.add_argument('--network', default='r100', help='network config')parser.add_argument('--loss', default='cosface', help='loss config')

获取网络：

embedding = eval(config.net_name).get_symbol()

函数：

def get_symbol_embedding():embedding = eval(config.net_name).get_symbol()all_label = mx.symbol.Variable('softmax_label')all_label = mx.symbol.BlockGrad(all_label)out_list = [embedding, all_label]out = mx.symbol.Group(out_list)return out, embedding

加载预训练：

recognition/partial_fc/mxnet/memory_module.py

sym, arg_params, aux_params =mx.model.load_checkpoint(r"model", 0)

    def fit(self,train_data,optimizer_params,batch_end_callback,initializer,arg_params=None,aux_params=None):# Bind -> Init_params -> Init_optimizersself.bind(train_data.provide_data, train_data.provide_label, True)self.init_params(initializer, arg_params, aux_params, False)self.init_optimizer(optimizer_params=optimizer_params)# Sync init_arg_params, _aux_params = self.backbone_module.get_params()_arg_params_rank_0 = self.broadcast_parameters(_arg_params)_aux_params_rank_0 = self.broadcast_parameters(_aux_params)self.backbone_module.set_params(_arg_params_rank_0, _aux_params_rank_0)

insightface mxnet训练horovod版相关推荐

insightface mxnet训练旧版
11年it研发经验,从一个会计转行为算法工程师,学过C#,c++,java,android,php,go,js,python,CNN神经网络,四千多篇博文,三千多篇原创,只为与你分享,共同成长,一起进 ...
insightface mxnet训练 out of Memory
11年it研发经验,从一个会计转行为算法工程师,学过C#,c++,java,android,php,go,js,python,CNN神经网络,四千多篇博文,三千多篇原创,只为与你分享,共同成长,一起进 ...
mxnet 训练--如何生成rec 数据 +自己在本机测试的结果
mxnet 训练: http://www.th7.cn/system/lin/201512/145949.shtml 一.MXNet,不是直接处理原生数据比如图片之类的,而是处理的自定义的一种文件格式 ...
Mxnet训练自己的数据集并测试
使用Mxnet训练图片分类类器 1.准备数据: (1)建立一个根目录然后,再为每一个类别的图片建立一个子文件夹,把每一类图片放入对应的子文件夹即可. --root: ----class1 ----cl ...
Step by Step演示如何训练Pytorch版的EfficientDet
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程公众号:datayx Paper:https://arxiv.org/abs/1911.09070 Base Git ...
insightface人脸训练数据rec文件制作
MXNet框架用于做图像相关的项目时,读取图像主要有两种方式:第一种是读.rec格式的文件,优点是.rec文件比较稳定,移植到别的电脑上也能复现,缺点是占空间(.rec文件的大小基本上和图像的存储大小 ...
字词句段篇章语言训练人教版上册r_字词句段篇章
自由(freedom liberty)是一个政治哲学(political philosophy)概念,在此条件下人类可以自我支配,凭借自由意志而行动,并为自身的行为负责.小学生作文网www zzxu ...
mxnet训练arcface加速实验
本地训练服务器:Ubuntu16.04.cuda10.1.cudnn7.6.5.1080Ti x 8 主要是从 https://github.com/deepinsight/insightface/i ...
CIFAR-10模型训练python版cifar10数据集
在之前的博客中已经对CIFAR-10做了整体的解析,但是目前从tensorflow/models/tree/master/tutorials/image/cifar10中下载下来,运行cifar10_ ...

insightface mxnet训练horovod版

insightface mxnet训练horovod版相关推荐

最新文章

热门文章