bert模型使用记录
使用记录1
代码采用如下链接的，并做了微改
Bert-Chinese-Text-Classification-Pytorch
https://github.com/649453932/Bert-Chinese-Text-Classification-Pytorch
数据集使用的是情感分析数据集，有测试集、验证集和训练集，忘了哪下的了，找到链接会发出来。
首先说一下遇到的问题，上面的代码没问题，主要的问题出在数据集的读取上，因为这个是.data文件，用了numpy和pandas库读取均出现错误，而且数据集的打开方式如果直接用txt方式打开会是乱码，谷歌了一下，最后采用的方法很直接，直接在.data后面加.txt，能成功打开并且格式不乱，很神奇，修改model里面的数据集路径，直接用bert模型跑，下面是参数不同时，loss和acc的变化表。
环境为 3060 6G python=3.7
torch 1.10.1+cu113
torchtext 0.11.2
torchvision 0.11.2+cu113
self.require_improvement = 1000 # 若超过1000batch效果还没提升，则提前结束训练self.num_classes = len(self.class_list) # 类别数self.num_epochs = 10 # epoch数self.batch_size = 64#128 # mini-batch大小self.pad_size = 32 # 每句话处理成的长度(短填长切)self.learning_rate = 5e-5 # 学习率self.bert_path = './bert_pretrain'self.tokenizer = BertTokenizer.from_pretrained(self.bert_path)self.hidden_size = 768预训练模型从这里下，我采用的是chinese_wwm_pytorch模型，链接找到就放抱抱脸https://huggingface.co/models
首先先进行小规模测试，epoch=2，batchsize=64,其他不变，Test Loss: 0.69, Test Acc: 54.43%
然后增加参数，epoch=10，batchsize=64,Test Loss: 0.24, Test Acc: 91.71%
如果降低padsize会降低acc
采用bert-base-uncasedhttps://huggingface.co/bert-base-uncased
Test Loss: 0.54, Test Acc: 74.56%
bert模型使用记录相关推荐
- NLP突破性成果 BERT 模型详细解读 bert参数微调
https://zhuanlan.zhihu.com/p/46997268 NLP突破性成果 BERT 模型详细解读 章鱼小丸子 不懂算法的产品经理不是好的程序员 关注她 82 人赞了该文章 Goo ...
- 从Transformer到BERT模型
目录: ELMo与Transformer的简单回顾 DAE与Masked Language Model BERT模型详解 BERT模型的不同训练方法 如何把BERT模型应用在实际项目中 如何对BERT ...
- 一文看懂Transformer到BERT模型
目录: ELMo与Transformer的简单回顾 DAE与Masked Language Model BERT模型详解 BERT模型的不同训练方法 如何把BERT模型应用在实际项目中 如何对BERT ...
- [深度学习] 自然语言处理 --- BERT模型原理
一 BERT简介 NLP:自然语言处理(NLP)是信息时代最重要的技术之一.理解复杂的语言也是人工智能的重要组成部分.Google AI 团队提出的预训练语言模型 BERT(Bidirectional ...
- bert模型简介、transformers中bert模型源码阅读、分类任务实战和难点总结
bert模型简介.transformers中bert模型源码阅读.分类任务实战和难点总结:https://blog.csdn.net/HUSTHY/article/details/105882989 ...
- “哪吒”出世！华为开源中文版BERT模型
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 编辑:Sophia 计算机视觉联盟 报道 | 公众号 CVLianMeng 转载于 :诺亚实验室 [人工智能资源 ...
- [NLP自然语言处理]谷歌BERT模型深度解析
BERT模型代码已经发布,可以在我的github: NLP-BERT--Python3.6-pytorch 中下载,请记得start哦 目录 一.前言 二.如何理解BERT模型 三.BERT模型解析 ...
- 自然语言处理——谷歌BERT模型深度解析
BERT模型代码已经发布,可以在我的github: NLP-BERT--Python3.6-pytorch 中下载,请记得start哦 目录 一.前言 二.如何理解BERT模型 三.BERT模型解析 ...
- Bert入门学习过程记录
学习记录 0 学习情况介绍 1 知识点扫盲 1.1 Attention 1.2 Transformer 2 相关模型 2.1 语言模型 2.2 seq2seq 2.3 Attention seq2se ...
- BERT |（3）BERT模型的使用--pytorch的代码解释
参考代码:https://github.com/649453932/Bert-Chinese-Text-Classification-Pytorch 从名字可以看出来这个是做一个中文文本分类的的任务, ...
最新文章
- int(1) 和 int(10) 的区别？很多老程序都理解错了！
- 如何计算数据集均值和方差
- 使用Screen使SSH关闭后Meteor服务继续运行
- python 内置函数 sum()函数 求和函数
- 图解“红黑树”原理，一看就明白！
- node.js工程的结构
- 使用PackageManager获得应用（包）信息
- NYOJ 305 表达式求值 （字符串处理）
- 5加载stm32 keil_STM32在SRAM、FLASH中调试代码的配置方法（附详细步骤）
- QQ第三方授权登录（带详细源码）
- 纯js读取excel文件内容，支持所有刘浏览器
- 自动化运维平台-OpManager
- IDEA汉化包插件无法下载解决办法
- 实验4——Pspice
- 【图像分割】基于matlab各向异性热扩散方程SAR图像分割【含Matlab源码 1879期】
- Linux：软硬链接
- 超越MRT无数倍的MODIS在线拼接AppEERAS
- Power Query-具体查看函数的方法
- 网络游戏南北互通问题分析
- ubuntu18远程桌面