哈工大讯飞联合实验室(HFL)相继发布了基于Whole Word Masking(WWM)的中文预训练BERT模型(BERT-wwm，BERT-wwm-ext)以及中文预训练XLNet模型(XLNet-mid，XLNet-base)，受到了业界广泛关注以及下载使用。近期，Facebook提出的RoBERTa模型进一步刷新了多个英文数据集的最好成绩，成为目前最流行的预训练模型之一。哈工大讯飞联合实验室结合中文Whole Word Masking技术以及RoBERTa模型发布中文RoBERTa-wwm-ext预训练模型。该模型在使用上与中文BERT系列模型完全一致，无需任何代码调整即可使用。通过实验验证该模型在多个自然语言处理任务中取得了显著性能提升。我们欢迎各位专家学者下载使用，进一步促进中文信息处理的研究发展。

项目地址：https://github.com/ymcui/Chinese-BERT-wwm

中文RoBERTa-wwm-ext

本次发布的中文RoBERTa-wwm-ext结合了中文Whole Word Masking技术以及RoBERTa模型的优势，得以获得更好的实验效果。该模型包含如下特点：

  • 预训练阶段采用wwm策略进行mask(但没有使用dynamic masking)

中文 哈工大_哈工大讯飞联合实验室发布中文RoBERTawwmext预训练模型相关推荐

  1. 中文 哈工大_第六届中文语法错误诊断大赛，哈工大讯飞联合实验室再获多项冠军...

    近日,第六届中文语法错误诊断大赛(CGED)研讨会于AACL 2020大会的"面向教育技术的自然语言处理(NLPTEA)"workshop中顺利举行.今年共有国内外14支队伍参赛, ...

  2. 招聘 | 哈工大讯飞联合实验室-春季实习生

    哈工大讯飞联合实验室(HFL)发布2023年春季实习生招聘启事,欢迎有意申请的同学填写文章末尾的问卷应聘. ••• 岗位:自然语言处理实习生 [工作地点]北京 [岗位职责] 1.深入自然语言处理相关的 ...

  3. 刷新中文阅读理解水平，哈工大讯飞联合发布基于全词覆盖中文BERT预训练模型...

    作者 | HFL 来源 | 哈工大讯飞联合实验室(ID:rgznai100) 为了进一步促进中文自然语言处理的研究发展,哈工大讯飞联合实验室发布基于全词覆盖(Whole Word Masking)的中 ...

  4. 赤兔四足机器人的作用_腾讯 Robotics X 实验室四足移动机器人Jamoca首亮相，可挑战高难度梅花桩...

    11月20日,腾讯公布了其在移动机器人研究方面的新进展:四足移动机器人 Jamoca 和自平衡轮式移动机器人首次对外亮相. Jamoca 是国内首个能完成走梅花桩复杂挑战的四足机器人,而自平衡轮式移动 ...

  5. 腾讯安全科恩实验室发布最新研究成果，针对奔驰车载娱乐系统的安全研究

    5月12日,腾讯安全科恩实验室发布<梅赛德斯-奔驰汽车信息安全研究综述报告>(以下简称<报告>),这是安全研究机构首次对现代车载娱乐系统进行全面的安全性分析,对指引车企完善网联 ...

  6. 腾讯安全联合阿拉丁发布“小程序安全新品”，护航企业安全合规

    随着移动互联网用户红利下降,获客成本变高,营销欺诈问题日益凸显.企业品牌开展的抢红包.送积分.秒杀.拼团.砍价等活动频频遭遇"攻击".黑产作弊工具多种多样,羊毛党渗透到各行各业,恶 ...

  7. 计算机网络实验报告哈工大_哈工大计算机网络实验报告之六

    哈工大计算机网络实验报告之六 计算机网络课程实验报告实验6:利用Ethereal分析IP.ARP 协议及以太网数据帧格式姓名 杨煜 院系 软件学院 学号 1113710319任课教师 李全龙 指导教师 ...

  8. 计算机网络实验报告哈工大_哈工大计算机网络实验报告.doc

    哈尔滨工业大学 计算机通信网络实验指导书 倪洁 徐志伟 2012.11.1 实验一 IIS网站的架设 一.实验目的 Windows Server 2003包含Internet Information ...

  9. 计算机网络实验报告哈工大_哈工大计算机网络实验报告之五

    姓名 杨煜 院系 软件学院 学号 1113710319 任课教师 李全龙 指导教师 董福亮 实验地点 软件学院三楼机房 实验时间 2013 年 5 月 28 日 实验课表现 出勤. 表现得分 (10) ...

最新文章

  1. AU3学习案例----------考勤机手工补卡
  2. metasploit 目录结构
  3. mvc大对象json传输报错
  4. 【Android 文件管理】应用可访问的存储空间 ( 存储空间分类 | 存储空间访问权限 | 分区存储 )
  5. Error -Cannot add direct child without default aggregation defined for control
  6. 一个在线编写前端代码的好玩的工具
  7. C#使用iTextSharp操作PDF文件
  8. 论文浅尝 - EMNLP2020 | 通过词重排序跨语言解析
  9. 史上最详细JVM笔记
  10. adb shell 直接修改Settigns中设置项
  11. scala中class,object,trait的区别
  12. mseed读取[2]
  13. YDOOK:ESP8266: 官方SDK下载 详细教程 ROST 版本与 NONOS 版本对比与区别
  14. （附源码）基于PHP在线考试系统的设计与实现 毕业设计 032028
  15. 普林斯顿微积分读本07第五章--可导性
  16. 《C专家编程》读书笔记（1）
  17. Redis入门到精通(2021版本)视频教程
  18. NOIWC2018滚粗记
  19. 义隆循环左移c语言,二进制除法运算(义隆单片机)
  20. 电脑感叹号,电脑网络出现感叹号怎么解决？Win7系统网络出现感叹号的解决方法...

热门文章

  1. 网站手工添加一行数据_Power Query 抓取网贷问题平台数据
  2. 秋天的怀念(让人精神重新复活的文章)
  3. 游戏中的npc和对话设计
  4. 袋鼠云亮相澳门首届BEYOND国际科技创新博览会，加速迈向国际化
  5. 支持多个微信同时登录的方法
  6. kaggle比赛-House Prices：baseline-v1
  7. 民生银行拍卖海通股权的招商公告
  8. Http和Https的区别、http1.0、http1.1、http2.0
  9. 【历史上的今天】12 月 11 日：Chorme 问世；计算机先驱诞生日
  10. 【微信公众号模板消息First，Remark字段不显示】