python词云生成与设计实现_python简单词云生成

找了挺多词云生成办法很多都会有各种各样的问题，找到一个简单实现的文章保存下

关于词云wordcloud

什么是词云呢？词云又叫文字云，是对文本数据中出现频率较高的“关键词”在视觉上的突出呈现，形成关键词的渲染形成类似云一样的彩色图片，从而一眼就可以领略文本数据的主要表达意思。

现在，可以从网络上找到各种各样的词云，下面一图来自沈浩老师的微博：

从百度图片中可以看到更多制作好的词云，例如

词云制作有很多工具…..

从技术上来看，词云是一种有趣的数据可视化方法，互联网上有很多的现成的工具：Wordle是一个用于从文本生成词云图而提供的游戏工具

Tagxedo 可以在线制作个性化词云

Tagul 是一个 Web 服务，同样可以创建华丽的词云

Tagcrowd 还可以输入web的url，直接生成某个网页的词云

……

十行代码

但是作为一个老码农，还是喜欢自己用代码生成自己的词云，复杂么？需要很长时间么？很多文字都介绍过各种的方法，但实际上只需要10行python代码即可。

import matplotlib.pyplot as plt

from wordcloud import WordCloud

import jieba

text_from_file_with_apath = open('/Users/hecom/23tips.txt').read()

wordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True)

wl_space_split = " ".join(wordlist_after_jieba)

my_wordcloud = WordCloud().generate(wl_space_split)

plt.imshow(my_wordcloud)

plt.axis("off")

plt.show()

如此而已，生成的一个词云是这样的：

看一下这10行代码：

1～3 行分别导入了画图的库，词云生成库和jieba的分词库；

4 行是读取本地的文件,代码中使用的文本是本公众号中的《老曹眼中研发管理二三事》。

5～6 行使用jieba进行分词，并对分词的结果以空格隔开；

7行对分词后的文本生成词云；

8～10行用pyplot展示词云图。

这是我喜欢python的一个原因吧，简洁明快。

执行环境

如果这十行代码没有运行起来，需要检查自己的执行环境了。对于完整的开发学习环境，可以参考本公众号老曹眼中的开发学习环境。

对于面向python 的数据分析而言，个人喜欢Anaconda，可以去https://www.continuum.io/downloads/ 下载安装，安装成功后的运行界面如下：

anaconda 是python 数据爱好者的福音。

安装wordcloud 和 jieba 两个库同样非常简单：

pip install wordcloud

pip install jieba

遇到的一个小坑，刚开始运行这十行代码的时候，只显式了若干彩色的小矩形框，中文词语显式不出来，以为是万恶的UTF8问题，debug一下，发现print 结巴分词的结果是可以显示中文的，那就是wordcloud 生成词语的字体库问题了。开源的好处来了，直接进入wordcloud.py 的源码，找字体库相关的代码

FONT_PATH = os.environ.get("FONT_PATH", os.path.join(os.path.dirname(__file__), "DroidSansMono.ttf"))

wordcloud 默认使用了DroidSansMono.ttf 字体库，改一下换成一个支持中文的ttf 字库，重新运行一下这十行代码，就可以了。

看一下源码

既然进入了源码，就会忍不住好奇心，浏览一下wordcloud 的实现过程和方式吧。

wordcloud.py总共不过600行，其间有着大量的注释，读起来很方便。其中用到了较多的库，常见的random，os，sys，re（正则）和可爱的numpy，还采用了PIL绘图，估计一些人又会遇到安装PIL的那些坑.

生产词云的原理其实并不复杂，大体分成5步：对文本数据进行分词，也是众多NLP文本处理的第一步，对于wordcloud中的process_text（）方法，主要是停词的处理

计算每个词在文本中出现的频率，生成一个哈希表。词频计算相当于各种分布式计算平台的第一案例wordcount，和各种语言的hello world 程序具有相同的地位了，呵呵。

根据词频的数值按比例生成一个图片的布局，类IntegralOccupancyMap 是该词云的算法所在，是词云的数据可视化方式的核心。

将词按对应的词频在词云布局图上生成图片，核心方法是generate_from_frequencies,不论是generate（）还是generate_from_text（）都最终到generate_from_frequencies

完成词云上各词的着色,默认是随机着色

词语的各种增强功能大都可以通过wordcloud的构造函数实现，里面提供了22个参数，还可以自行扩展。

更多的小例子

看看一个准文言文的词云，本字来自本公众号去年的旧文——妻

其中在构造函数中传入了关于大小的几个参数

width=800,height=400,max_font_size=84,min_font_size=16

自惭形秽，根本看不出文言文的色彩和对妻子的感情流露，不是好文字呀！

矩形的词云太简陋了，直接在图片上用词云来填充就有意思多了，wordcloud中采用的mask方式来实现的。换上一张自己的照片，用在谈《全栈架构师》中的文字，词云出来的效果是这样的

较难看出肖像的特点了，还好，可以遮丑。其中增加了3行代码

from PIL import Image

import numpy as np

abel_mask = np.array(Image.open("/Users/hecom/chw.png"))

在构造函数的时候，将mask传递进去即可：

background_color="black", mask=abel_mask

自己做的这些词云图片还是太陋，这就是原型简单，好的产品困难呀！做好一个漂亮词云的图片，还是要在诸多细节上下功夫的。

例如：

分词的处理，“就是”这样没有意义的词不应该出现在词云里呀？

所展示关键词的目的性选择？

如何选择一个合适的字库？

如何更好地自主着色？

图片的预处理，如何让图片和词云表达原图片的主要特征？

……

词云的背后

词云的背后实际上是数据集成处理的典型过程，我们所熟知的6C,如下图：

Connect: 目标是从各种各样数据源选择数据，数据源会提供APIs,输入格式,数据采集的速率,和提供者的限制.

Correct: 聚焦于数据转移以便于进一步处理，同时保证维护数据的质量和一致性

Collect: 数据存储在哪，用什么格式，方便后面阶段的组装和消费

Compose: 集中关注如何对已采集的各种数据集的混搭, 丰富这些信息能够构建一个引入入胜的数据驱动产品。

Consume: 关注数据的使用、渲染以及如何使正确的数据在正确的时间达到正确的效果。

Control: 这是随着数据、组织、参与者的增长，需要的第六个附加步骤，它保证了数据的管控。

这十行代码构建的词云，没有通过API从公众号(wireless_com)直接获取,简化和抽象是工程化的典型方式，这里至今复制粘贴，甚至省略了correct的过程，直接将数据存储在纯文本文件中，通过jieba分词进行处理即compose，使用词云生成可视化图片用于消费consume，把一个个自己生成的词云组织到不同的文件目录便于检索算是初步的管控control吧。

python词云生成与设计实现_python简单词云生成相关推荐

java使用ireport生成报表_JasperReport(3)——Java简单使用IReport生成的文件建立报表...
先看看设计的报表样式: reportTitle是新添加的一个参数,而其他的id和name是通过数据源得到的Filed.IReport在设置参数的时候需要先在左边新建一个parameter,然后再把该p ...
python爬取豆瓣影评生成词云的课程设计报告_Python爬取豆瓣影评，生成词云图，只要简单一步即可实现。...
最近看了一部电影<绣春刀>,里面的剧情感觉还不错,本文爬取的是绣春刀电影的豆瓣影评,1000个用户的短评,共5W多字.用jieba分词,对词语的出现频率进行统计,再通过wordcloud生 ...
python爬取豆瓣影评生成词云的课程设计报告_简单爬取《小丑》电影豆瓣短评生成词云...
导语在前段时间看了杰昆菲尼克斯的小丑电影,心里很好奇大部分观众看完这部电影之后对此有什么评价,然后看了看豆瓣短评之后,觉得通过python把短评中出现最多的单词提取出来,做成一张词云,看看这部电影给 ...
python程序发布到阿里云云服务器_Python实现阿里云服务器里的文件上传与下载
Python实现阿里云服务器里的文件上传与下载 018.4.15 背景: 老实说,因为现实的各种原因造成电脑换来换去是可能出现的事情,但是电脑能换,电脑里的环境却不能换.我就曾在三个电脑里各自安装了虚 ...
python生成xml文件工具_Python根据指定文件生成XML的方法
因项目需要根据指定格式的文件生成XML标注文件,可以方便使用LabelImg打开进行编辑和查看.其原始文件默认使用逗号进行分隔,如下所示: 第1个值:原始图片中切图小文件,以AIpng_x,其中x代表 ...
python 生成html文件浏览器_python如何将数据生成html文件+浏览器中文显示乱码问题...
需求:从msysql数据库查询数据,并生成html文件,后自动发送邮件(html格式),在网上找了许久,终于找到2种解决方法! 一.近来在网上采集数据,想把采集下来的数据整合成html的形式保存.以便 ...
python百度aip移动目标监控系统_python利用百度云接口实现车牌识别
一个小需求---实现车牌识别. 目前有两个想法调云在线的接口或者使用SDK做开发(配置环境和编译第三方库很麻烦,当然使用python可以避免这些问题) 自己实现车牌识别算法(复杂) ! 一开始准备使 ...
python中常数e_常数python_python 常数_python 常数e - 云+社区 - 腾讯云
广告关闭腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 在python3.7以前我们可以通过import pdb的pdb.set_tra ...
python生成10个随机密码_Python简单生成8位随机密码的方法
本文实例讲述了Python简单生成8位随机密码的方法.分享给大家供大家参考,具体如下: #!/usr/bin/env python # -*- coding: utf-8 -*- import ran ...
python课设题目日历查询系统_Python实例课程17——生成日历
代码实现 #======================================================#功能:生成日历#作者:python小哥#时间:2020-4-8#微信公众号:D ...

python词云生成与设计实现_python简单词云生成

python词云生成与设计实现_python简单词云生成相关推荐

最新文章

热门文章