【DL】血与泪的炼丹心得

记录一些炼丹的心得（都是坑啊）

以下都是经过很多实验得到的炼丹心得，希望对大家有帮助

模型很复杂，各种网络融合，尝试用更小的学习率和更多的epoch
学习率预热是个好东西，必须用上，学习率很重要，可以发掘模型的极限，但是无法改变模型的上限，模型的上限取决于其结构，学习率预热在pytorch的实现方法：

from transformers import get_linear_schedule_with_warmup
# 总步长：batch的个数*epoches
t_total = len(train_loader) * epoches
# optimizer：优化器，num_warmup_steps：达到最大学习率的步长，如果为0则一开始就是最大学习率，num_training_steps：总步长
scheduler = get_linear_schedule_with_warmup(optimizer, num_warmup_steps=0, num_training_steps=t_total)

batch_size太小模型不收敛，太大显存吃不消，一般来说batch_size会有一个最大值，32，48，64都可以试试，batch增大，学习率也要稍微增大
全连接层不需要太复杂，2-3层即可，第二层神经元增加(×2,3,4都可以试试)，第三层减小(/2, /10, /100都可以试试)，第四层就是我们的输出个数了。
卷积层(convs)的卷积核个数(out_channels)一般和词（字）嵌入维度差不多，2/3 ~ 3/2 都可以试试。
LSTM的隐藏状态纬度(hidden_size)一般和词（字）嵌入差不多大，层数(num_layers)一般为1层，两层也可以试试，太多肯定不好。
不管在lstm里还是全连接层，Dropout是必须的，0.1即可，激活函数用RELU系列。
模型效果不好，思考一下是否需要归一化，不同向量融合时数值是否差距过大，考虑用全连接层nn.Linear进行一次线性变换。

【DL】血与泪的炼丹心得相关推荐

关于JavaScript，这10条血与泪的建议大家一定要看
(注:本文翻译自国外著名杂志Noteworthy,文章在Medium编程类目冲上了一周热榜的榜首,本文版权归原作者The Cat with a Dragon Tattoo所有) 使用JavaScrip ...
腾讯云服务器备案全流程详细内容记录40天备案的血与泪
本文原创首发CSDN,链接腾讯云服务器备案全流程 40天备案的血与泪_郑为中-CSDN博客_腾讯云服务器备案 ,作者博客郑为中_CSDN博客 ,转载请带上本段内容,尤其是脚本之家.码神岛等平台,谢谢 ...
腾讯云服务器备案完整流程 40天备案的血与泪
本文原创首发CSDN,链接腾讯云服务器备案全流程 40天备案的血与泪_郑为中-CSDN博客_腾讯云服务器备案 ,作者博客郑为中_CSDN博客 ,转载请带上本段内容,尤其是脚本之家.码神岛等平台,谢谢 ...
入职一家初创公司第一周的血与泪
入职一家初创公司第一周的血与泪也可用于面试题: 你在工作中遇到过哪些难题?你都是怎么解决的? 问题:Springboot在Window与Linux中图片回显不出来小程序后台管理系统,学员页面,学员 ...
MongoDB--Linux下搭建的副本集集群(踩过的坑，血和泪的教训)
MongoDB–Linux下搭建的副本集集群(踩过的坑,血和泪的教训) 文章目录 MongoDB--Linux下搭建的副本集集群(踩过的坑,血和泪的教训) 一:环境准备二:安装步骤三:启动 1.关 ...
VC的血与泪，最难尽调的是人性————失败风投案例分析
VC的血与泪,最难尽调的是人性----失败风投案例分析风险投资(Venture Capital)简称是VC,在中国是一个约定俗成的具有特定内涵的概念,其实把它翻译成创业投资更为妥当.广义的风险投资泛 ...
炼丹心得｜技术信仰有多重要，我们邀请到了这位大咖来聊聊
编者按炼丹,中国秘术也. 从灵材采撷到丹炉选取,从丹方配制到真火运用,乃是集天地之气,与日月同光的修行之道深度学习,机器学习进阶也. 从海量原始数据抓取到模型的新数据预测,乃是图像识别和自然语言处 ...
sqoop将hbase数据导入mysql_Sqoop将mysql数据导入hbase的血与泪
Sqoop将mysql数据导入hbase的血与泪(整整搞了大半天) 版权声明:本文为yunshuxueyuan原创文章. 如需转载请标明出处: https://my.oschina.net/yunsh ...
含泪吐槽学C++的血与泪
含泪吐槽学C++的血与泪 C++在各位程序猿眼里并不陌生,但凡学习过C++的人,都极有可能被它曾经蹂躏得不要不要的,而我就是其中一个. 文章目录 1 我和C++的那段血泪史 2 再次与C++重逢 3 ...

【DL】血与泪的炼丹心得

记录一些炼丹的心得（都是坑啊）

【DL】血与泪的炼丹心得相关推荐

最新文章

热门文章