1，问题描述

离线用torch训练了一个简单的双塔模型，存到了hdfs上，希望可以在spark离线任务中使用。但spark离线任务要载入这个模型，就无法像pytorch官方的模型载入方式（这里：torch.load()）一样通过本地路径加载。那么如何方便且优雅地载入存在hdfs上的已训练好的model呢？

2，问题定义与解析

pytorch训练好的模型，通过torch.save()可存为二进制文件（内部引用了pickle模块，具体详见pytorch的docs），所以从本质上而言，这是个如何将二进制模型文件通过torch.load()方法载入的问题。torch.load()接收的是一个本地二进制文件路径，或是直接的一个二进制文件。所以，其实我们将hdfs上的文件，以二进制字符串方式拉到spark的driver上，再将其转为二进制文件，即可解决。

3，问题解决

bb less，show me the code

import iotower = DSSM()  # 新建空模型
model_path = 'your_hdfs_path'  # hdfs path
model_bytes = sc.binaryFiles(model_path).collect()[0][1] # spark读取二进制文件from hdfs，读取结果为二进制字符串
model_file = io.BytesIO(model_bytes)  # io.BytesIO转成内存中的二进制文件
tower.load_state_dict(torch.load(model_file))  # torch.load：模型`tower`载入参数
all_tower_params = tower.state_dict()          # 可以打印出参数看看有没有赋值成功

4，附录

在具体了解中，发现BytesIO、StringIO这类方法就是为处理字符串、使得和读取这些字符串和读写文件具有一致的接口而存在的。详情请见廖雪峰老师的文章：StringIO和BytesIO - 廖雪峰的官方网站

pytorch从hdfs载入模型、从二进制字符串载入模型相关推荐

pytorch多卡并行模型的保存与载入
pytorch多卡并行模型的保存与载入当模型是在数据并行方式在多卡上进行训练的训练和保存,那么载入的时候也是一样需要是多卡.并且,load_state_dict()函数的调用要放在DataParal ...
【C 语言】字符串模型 ( 字符串翻转模型 | 借助递归函数操作逆序字符串操作 | 引入线程安全概念 )
文章目录一.引入线程安全概念二.完整代码示例一.引入线程安全概念在上一篇博客 [C 语言]字符串模型 ( 字符串翻转模型 | 借助递归函数操作逆序字符串操作 | strncat 函数 ) ...
【C 语言】字符串模型 ( 字符串翻转模型 | 借助递归函数操作逆序字符串操作 | strncat 函数 )
文章目录一.strncat 字符串连接函数二.借助递归函数操作逆序字符串操作三.完整代码示例一.strncat 字符串连接函数 strncat 函数 : 将 const char *src ...
【C 语言】字符串模型 ( 字符串翻转模型 | 抽象成业务函数 | 形参返回值 | 函数返回值 | 函数形参处理 | 形参指针判空 )
文章目录一.字符串翻转模型业务函数二.完整代码示例一.字符串翻转模型业务函数将上一篇博客 [C 语言]字符串模型 ( 字符串翻转模型 ) 的代码 , 主要业务逻辑 , 抽象成函数 ; 字符 ...
【C 语言】字符串模型 ( 字符串翻转模型 )
文章目录一.字符串翻转模型二.完整代码示例一.字符串翻转模型业务场景 : 给定下面的字符串 , 将下面的字符串翻转 ; // 将下面的字符串翻转char str[] = "sdfsd ...
PyTorch 保存模型结构参数及加载模型
PyTorch 保存模型结构参数及加载模型保存模型与加载保存模型分为两种方式: 保存整个网络结构和参数保存整个网络的参数 # 1.保存并加载整个网络结构和参数 # 保存模型 torch.save ...
Leetcode1702. 修改后的最大二进制字符串[C++题解]：思维题
文章目录题目分析题目链接题目分析只有2种操作:00变成10,10变成01,为了使得结果最大,需要前面尽可能变成1.怎么才能使得某一个的0变成1呢? 经过观察,只要这个0后面的某一位还有0,该位 ...
TF：利用TF的train.Saver将训练好的W、b模型文件保存+新建载入刚训练好模型(用于以后预测新的数据)
TF:利用TF的train.Saver将训练好的W.b模型文件保存+新建载入刚训练好模型(用于以后预测新的数据) 目录输出结果代码设计输出结果代码设计 import tensorflow as ...
PyTorch Hub发布！一行代码调用最潮模型，图灵奖得主强推
文章来源:量子位原文地址:https://mp.weixin.qq.com/s/lS3YiXzYyY6-XNTFyH_GHg 如有兴趣可以**点击加入极市CV专业微信群**,获取更多高质量干货为了 ...

pytorch从hdfs载入模型、从二进制字符串载入模型

1，问题描述

2，问题定义与解析

3，问题解决

4，附录

pytorch从hdfs载入模型、从二进制字符串载入模型相关推荐

最新文章

热门文章