前言

论文：https://arxiv.org/pdf/1712.02856.pdf  ；

代码和语料：https://github.com/hankcs/multi-criteria-cws 。

本文参见上面论文及代码，介绍了一种简洁优雅的多标准中文分词方案，可联合多个不同标准的语料库训练单个模型，同时输出多标准的分词结果。通过不同语料库之间的迁移学习提升模型的性能，在10个语料库上的联合试验结果优于绝大部分单独训练的模型。模型参数和超参数全部共享，复杂度不随语料库种类增长。

自然语言处理，特别是中文处理中，语料库往往珍稀且珍贵。具体到中文分词，也是如此。为了做出一个实用的系统，不光需要高效的算法，大规模语料库也必不可少。然而对于缺乏经费的研究团队和个人，却往往只能得到sighan2005等屈指可数的几个小型语料库。即便如此，这些语料库的标注规范还互不兼容࿰

深度学习核心技术精讲100篇（十七）-多标准中文分词（ Multi-Criteria-CWS）相关推荐

  1. 深度学习核心技术精讲100篇（二十）-如何通过树模型实现梯度提升树(GBDT)+LR,随机森林(RandomForest) +LR

    前言 在讲如何通过树模型做特征工程之前,首先让我们回顾一下一个机器学习(除去深度学习项目部分)项目的大致流程: 从业务场景中抽象出问题--分类问题,回归问题,还是聚类问题等, 接下来是数据获取,数据清 ...

  2. 深度学习核心技术精讲100篇（六）-keras 实战系列之知识蒸馏（Knowledge Distilling）

    前言 深度学习在这两年的发展可谓是突飞猛进,为了提升模型性能,模型的参数量变得越来越多,模型自身也变得越来越大.在图像领域中基于Resnet的卷积神经网络模型,不断延伸着网络深度.而在自然语言处理领域 ...

  3. 深度学习核心技术精讲100篇（五十八）- 如何量化医学图像分割中的置信度？

    前言 在过去的十年里,深度学习在一系列的应用中取得了巨大的成功.然而,为了验证和可解释性,我们不仅需要模型做出的预测,还需要知道它在做出预测时的置信度.这对于让医学影像学的临床医生接受它是非常重要的. ...

  4. 深度学习核心技术精讲100篇（三十五）-美团餐饮娱乐知识图谱——美团大脑揭秘

    前言 " I'm sorry. I can't do that, Dave." 这是经典科幻电影<2001: A Space Odyssey>里HAL 9000机器人说 ...

  5. 深度学习核心技术精讲100篇（八）-keras 实战系列之深度学习中的多任务学习(Multi-task learning)

    多任务学习(Multi-task learning)简介 多任务学习(Multi-task learning)是迁移学习(Transfer Learning)的一种,而迁移学习指的是将从源领域的知识( ...

  6. 深度学习核心技术精讲100篇（七）-keras 实战系列之深度学习模型处理多标签（multi_label）

    前言 最近在读论文的的过程中接触到多标签分类(multi-label classification)的任务,必须要强调的是多标签(multi-label)分类任务 和 多分类(multi-class) ...

  7. 深度学习核心技术精讲100篇（五）-通过CTR预估对比深度学习模型（deepfm）梯度提升模型（catboost）

    前言 CTR预估模型的特点: 毫无疑问这个任务的是个二分类任务,预测点击与否. CTR 预估的特征一般是 用户的日志特征和画像特征,包含类别特征和数值型特征两种. 此任务的评估指标是 AUC 得分 或 ...

  8. 深度学习核心技术精讲100篇（十九）--GBDT(梯度提升树) 和 Resnet (残差网络)的原理

    残差 残差在数理统计中是指实际观察值与估计值(拟合值)之间的差.在集成学习中可以通过基模型拟合残差,使得集成的模型变得更精确:在深度学习中也有人利用layer去拟合残差将深度神经网络的性能提高变强.这 ...

  9. 深度学习核心技术精讲100篇（二十四）-简单谈下深度学习在中文分词中的应用

    前言 随着深度学习的普及,有越来越多的研究应用新模型到中文分词上,让人直呼"手快有,手慢无".不过这些神经网络方法的真实水平如何?具体数值多少?以Sighan05中的PKU数据集为 ...

最新文章

  1. 如何让hybris启动加快
  2. C++中逆向迭代器的说明及使用
  3. ovirt官方安装文档 第三章
  4. Redis入门篇（安装与启动）
  5. Web-Attak系列教程第二季0x12讲——HTTP的请求与响应格式
  6. GNOME下也是Alt+F2，输入gnome-terminal
  7. python连接传感器_树莓派4B之光敏传感器模块（python3）
  8. 简单Android app开发_什么方法开发APP最简单？试试0代码开发平台
  9. CSS BACKGROUND汇总
  10. linux打开文件系统调用,Linux2.4打开一个文件的系统调用
  11. DeBank和非小号网站的数据分析-实习工作小结
  12. 计算机找不到WPS云盘,wps网盘在哪里打开及如何应用？
  13. matlab中的三次样条曲线拟合,三次样条拟合典型实例.doc
  14. mysql show slave status 无记录_从show slave status 中判断mysql同步状态
  15. linux shell 未找到命令,未找到linux问题setenv命令(linux issue setenv command not found)
  16. java文件转二进制
  17. C#基础（10）——飞行棋游戏
  18. ffmpeg 各版本下载以及在线安装
  19. Linux-虚拟机ping不通主机
  20. GDM, KDM, LightDM, SDDM的区别和安装配置

热门文章

  1. jquery技巧（持续更新。。）
  2. Port Forwarding Port Triggering
  3. 移动互联网服务客户端开发技巧 ( Webview及正则)
  4. 单片机I/O口推挽输出与开漏输出的区别（open-drain与push-pull）
  5. PAT甲级1016 Phone Bills ：[C++题解]字符串处理(复杂题)（C语言格式化读入、输出很便利！！！）
  6. Leetcode1686. 石子游戏 VI[C++题解]：博弈论、按照a+b贪心
  7. 栈的应用_DFS解迷宫问题
  8. sqlserver 指数_大盘指数大涨，牛市是否提前来了？
  9. php输出pre自动换行,解决 html pre 标签的内容自动换行的问题
  10. Qt中的图像处理与绘制