AllenNLP常用命令记录

训练，设置json配置文件路径，和一个空文件夹路径作为输出路径，如果加了-f，则可以不为空。如果之前的训练从某一步停了，加-r可以恢复。用自己的模型时，加–include-package 后面写自己的路径。

allennlp train ./config_path  -s ./save_dir     #./config_path为配置文件路径，./save_dir是输出文件夹路径-h     查看帮助-r, --recover         recover training from the state in serialization_dir-f, --force           overwrite the output directory if it exists-o OVERRIDES, --overrides OVERRIDESa JSON structure used to override the experimentconfiguration--file-friendly-loggingoutputs tqdm status on separate lines and slows tqdmrefresh rate--include-package INCLUDE_PACKAGEadditional packages to include

——————————————————————————————————————
创建词典，保存到文件。用同一个数据集进行多次实验，可以直接用这个词典文件。在配置文件中（单独一项）加 “vocabulary”:{“directory_path`”:"./vocab_path"}

allennlp make-vocab ./save_dir-h     查看帮助-s,  -o,  --include-package  与train一致

——————————————————————————————————————
查看tensorboardX可视化显示：

tensorboard --logdir=./log

然后打开网页 http://localhost:6006
——————————————————————————————————————
allennlp在网页中设置配置json：（ubuntu才能用）

allennlp configure
allennlp configure --port 8123

——————————————————————————————————————
查看GPU显存占用情况：

watch -n 1 nvidia-smi

——————————————————————————————————————
建立词典并保存到文件。
显示输出模型中哪些参数可变(Tunable)，哪些参数不可变(Frozen)。（后续可以加载预训练模型，冻结一部分参数）

   allennlp dry-run ./config.jsonnet -s ./dry_run

——————————————————————————————————————
为模型找一个合理的初始学习率，保存一个“学习率-loss”曲线到图片，

allennlp find-lr ./config.jsonnet -s ./find_lr --start-lr 0.00001 --end-lr 0.5 --num-batches 30

1080ti，bidaf，batch=30（batch_size要大于10），运行不到三分钟。

如何找到最佳学习率？
首先我们设置一个非常小的初始学习率，比如1e-5，然后在每个batch之后都更新网络，同时增加学习率，统计每个batch计算出的loss。最后我们可以描绘出学习的变化曲线和loss的变化曲线，从中就能够发现最好的学习率（最好的学习速率搭配着损失函数上最陡的下降）

——————————————————————————————————————
使用Flask部署

python -m allennlp.service.server_simple --archive-path F:/dl-data/save/QAnet/origin/model.tar.gz--predictor machine-comprehension --field-name question --field-name passage

AllenNLP常用命令记录相关推荐

ElasticSearch常用命令记录
ElasticSearch常用命令记录 < - 个人学习笔记 - > 软件版本:curl -s localhost:9200/?pretty 输出中"version" ...
centos查看盘符_Centos下磁盘管理的常用命令记录（如查找大文件）
Centos下磁盘管理的常用命令记录查看系统磁盘空间占用,使用命令: df -h 结果: 查看磁盘inode使用情况,如果inode用完了,磁盘就没法写入新的内容了: df -i 结果: 如何查找磁 ...
Linux服务器常用命令 - 记录（Anaconda/Matlab/VNC/Python）
前言记录自己常用的指令 VNC Host XXX HostName xxx.xx.xx.xx (IP 地址) LocalForward 59xx(本地编号) 127.0.0.1:59xx(端口号) ...
adb 常用命令记录
首先应该知道一下adb命令和adb shell命令的区别: 1.adb adb命令是PC端adb程序自带的命令: ADB的全称为Android Debug Bridge,字面意思就是安卓调试桥,ADB ...
Server使用过程中的常用命令记录
记录在使用unix中的常用命令, 以及各个基础组件的常用命令 Please input in head: k8s中nodeport端口范围修改 vim /etc/kubernetes/manifest ...
linux常用命令记录
为什么80%的码农都做不了架构师?>>> 1. 常用命令 # 查看文件类型 file <file_name># 查看文件的大小 ls -lht [file_name ...
Docker常用命令记录
一.Docker基本命令: sudo systemctl enable docker:设置docker开机自动启动,禁用:sudo systemctl disable docker docker pu ...
【开发记录】Linux常用命令记录（一）
记录CentOS下,常用的命令.有时候很难记得清楚,同时方便新来的同学查阅.(将不停的追加和完善) 1)查看CPU情况 cat /proc/cpuinfo |grep "model name ...
linux 常用命令记录
杀java进程: kill -9 `ps -e | grep java | awk '{print $1}'` 启动tomcat: /usr/local/apache-tomcat/bin/start ...
adb+Frida+模拟器抓包的常用命令记录
目录 adb的常用指令显示系统中全部设备开启ADB服务关闭ADB服务连接设备断开设备超级用户权限,手机需要root或者eng模式从adb取文件到电脑上烧写文件到手机上安装apk 卸载 ...

AllenNLP常用命令记录

AllenNLP常用命令记录相关推荐

最新文章

热门文章