基于java实现的分词以及词频统计，准备制作词云数据

需求是统计一篇文章、一段话中各种词汇出现的次数，比如有一篇文章如下：为维护人民健康提供有力保障，希望统计文章中的高频词，如下结果

难点在于分词，例如这段换：工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作,如果分的不好，那会十分的尴尬！！！

找了很多工具，在网上发现一个比较合适的分词算法，且是用java实现的，经过简单改动，实现了功能，代码放在gitee上，地址：https://gitee.com/langhu/jieba-analysis-mend

导下项目后长这个样子：

直接运行com.qianxinyao.analysis.jieba.keyword包下的main方法即可

问题：在这个工具中，通过训练过的算法，给出了很多词汇切割的标准，但发现有些新词汇，特别是专有词汇它并不能很好的识别，比如文中的新冠肺炎，它就拆成了新冠和肺炎，这个怎么处理呢？

1、要么你去训练算法，如果你牛。

2 直接改分词规则（可能会破坏算法的合理性），我不牛，所以我改

怎么改，肯定不能瞎改，找到dict.txt，找一个和你要统计的词汇，在拼音顺序上差不多的词，直接按照它的格式来，如下：我想加一个新冠肺炎，于是找到了它的邻居新官，没的说，复制新官改成新冠肺炎，再试一下截图如下：

基于java实现的分词以及词频统计，准备制作词云数据相关推荐

对京东商品评论进行词频统计并制作词云
上一篇我们利用requests对京东商品的评论进行采集,今天我们对采集结果进行词频统计,并制作词云图片. 一.安装依赖首先安装jieba,wordcloud第三方库,并将其导入. 二.分词利用ji ...
java爬取网易云热评并制作词云。
IT小白终于脱离hello world,实现用java爬取网易云热评并制作词云,激动激动激动. 一.自我介绍二.上代码 1.封装各个model类 2.实现各项功能的service类 3.设计一个制作 ...
python分词和词频统计
Python大数据:jieba分词,词频统计黑冰中国关注 0.1 2018.03.21 11:39* 字数 1717 阅读 7553评论 6喜欢 45赞赏 1 实验目的学习如何读取一个文件学 ...
python字频统计软件_python结巴分词以及词频统计实例
python结巴分词以及词频统计实例发布时间:2018-03-20 14:52, 浏览次数:773 , 标签: python # coding=utf-8 ''' Created on 2018年3 ...
python词频统计完整步骤_Python中文文本分词、词频统计、词云绘制
本文主要从中文文本分词.词频统计.词云绘制方面介绍Python中文文本分词的使用.会使用到的中文文本处理包包括:wordcloud,jieba,re(正则表达式),collections. 1 准备工 ...
python软件和rost软件哪个更好_ROST-CM软件分词和词频统计用法体验
ROST作为一款优秀的内容挖掘工具,在自然语言处理上提供一系列能够快速上手使用的功能,其中"分词"功能也是广为使用的.我们在对文本进行分词处理的过程中,由于词库是固定的,所以不管是 ...
Python中文分词及词频统计
Python中文分词及词频统计中文分词中文分词(Chinese Word Segmentation),将中文语句切割成单独的词组.英文使用空格来分开每个单词的,而中文单独一个汉字跟词有时候完全不是 ...
超级详细使用jieba分词用wordcloud制作词云并进行词频统计实例
最近学习机器学习课程,学到文本分类就研究了下词云如何处理,写下代码和文件以便帮助更多的人,个人变成基础极其薄弱,如有问题请自行修改相关代码. 准备工作使用命令安装jieba 分词,这里已经帮大家写好 ...
统计QQ聊天记录进阶版（分词+统计关键字出现的次数+根据词频制作词云）
继上个博客统计关键字次数的进阶,将关键词的次数制作成词云保存到图片.之前说过的部分现在就不说了,这里主要讲根据词频制作词云. 1.安装wordcloud(这里要注意坑) 这个安装的过程比jieba复杂 ...

基于java实现的分词以及词频统计，准备制作词云数据

基于java实现的分词以及词频统计，准备制作词云数据相关推荐

最新文章

热门文章