如何下载Hugging Face 模型（pytorch_model.bin, config.json, vocab.txt）以及如何在local使用

首先找到这些文件的网址。以bert-base-uncase模型为例。进入到你的.../lib/python3.6/site-packages/transformers/里，可以看到三个文件configuration_bert.py，modeling_bert.py，tokenization_bert.py。这三个文件里分别包含
1. BERT_PRETRAINED_MODEL_ARCHIVE_MAP = {"bert-base-uncased": "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-pytorch_model.bin","bert-large-uncased": "https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased-pytorch_model.bin","bert-base-cased": "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased-pytorch_model.bin"，....}
2. BERT_PRETRAINED_CONFIG_ARCHIVE_MAP = {"bert-base-uncased": "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-config.json","bert-large-uncased": "https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased-config.json",...}
3. PRETRAINED_VOCAB_FILES_MAP = {"vocab_file": {"bert-base-uncased": "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-vocab.txt","bert-large-uncased": "https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased-vocab.txt",...}
下载bert-base-uncased模型所对应的三个文件：
1. 在国内下载s3.amazonaws.com上数据的速度很慢，所以你可以用任何自己熟悉的方法。我用的是最“乖”的方法，虽然很慢。
2. ping s3.amazonaws.com
4. wget http://52.216.242.246/models.huggingface.co/bert/bert-base-uncased-vocab.txt
5. wget http://52.216.242.246/models.huggingfacco/bert/bert-base-uncased-config.json
6. vocab.txt和config.json都不大，很多方法都能够下载。注意把https改成http.
7. 而pytorch_model.bin则很大，你可以继续采用wget http://52.216.242.246/models.huggingface.co/bert/bert-base-uncased-pytorch_model.bin，不过可能需要n多天才能够下载完成。一个还行的办法是用百度网盘里的离线下载，慢慢下。
三个文件全部下载后，新建一个目录bert-base-uncased，把三个文件分别改名为pytorch_model.bin, config.json, vocab.txt，并放在该目录中。
local使用方式：
参考链接：https://www.cnblogs.com/lian1995/p/11947522.html
https://zhuanlan.zhihu.com/p/106880488

如何下载Hugging Face 模型（pytorch_model.bin, config.json, vocab.txt）以及如何在local使用相关推荐

vrchat模型保存_VRchat下载别人的模型
VRchat下载别人的模型游戏是一款免费的大型多人线上虚拟的手机游戏.随时都能直接在线分享自己周围的而股市,并且还能体验更多全新的复古游戏,很多的角落都有许多的乐趣,每天都能遇见更多十分独特的化身,并 ...
Sketchfab下载器ArtStation资源下载操作说明中文网模型提取教程
Sketchfab下载器ArtStation资源下载操作说明中文网模型提取教程一次下载,终身免费使用找到软件打开软件打开Sketchfab网站,找到要下载的资源进入资源,负责URL 地址把 ...
下载3D元件模型导入Altium Designer并制作PCB元件库
⭐大家好,一个新手菜鸟前来报到!⭐好久没更新文章了,前几天出去了,不在家,昨天有小伙伴疑惑,从某平台导出的PCB并没有3D元件模型,只有一个空空的焊盘,不怎么好看,今天就分享一下如何制作自己带有3D元 ...
mxnet加载模型的params和json文件来预测
导读有时候我们在使用别人的mxnet预训练模型时,会有两个文件params和json文件,其中params文件中包含的是模型的网络参数,json文件包含的是网络的结构.这里我们以ImageNet的预 ...
k8s拉取私有仓库镜像：通过config.json文件或命令行来创建secret（docker-registry）
通过config.json文件来创建 kubectl create secret generic xxx-key \--from-file=.dockerconfigjson=/root/.docke ...
（1.2）HarmonyOS鸿蒙config.json
跟应用相关的所有信息,都会在config.json文件中进行配置. 项目的配置(app) 比如:厂商信息,项目的版本等应用在设备上的配置信息(deviceConfig) 比如:应用运行时进程名,是否 ...
下载嵌入式qt实战教程pdf_Qt之JSON教程-实战篇
以实战例子讲述JSON三兄弟的后续故事. 实战一:发送JSON网络请求作为JSON老大哥的QJsonValue自知对面的大户人家妹子貌美如花,心里已经打起算盘,先下手为强,后下手遭殃.决定显示下自己 ...
小程序开发(2)-之app.js、app.wxss、project.config.json说明
#app.js 小程序的入口文件,也可以说是一个全局的变量,因为我们经常会在一些页面里这样使用它const app = getApp(); 我们可以在这里做一些初始化的操作,每次启动小程序的时候,都会 ...
微信开发者工具中导入错误提示请选择含app.json/project.config.json的目录（纪录篇）
是因为每一次 npm run dev:mp-weixin 时都在编译dist/dev下的文件所以在选择目录之前,要先找到自己创建的项目中的app.json文件,然后选择app.json文件的上级目录 ...

如何下载Hugging Face 模型（pytorch_model.bin, config.json, vocab.txt）以及如何在local使用

如何下载Hugging Face 模型（pytorch_model.bin, config.json, vocab.txt）以及如何在local使用相关推荐

最新文章

热门文章