原标题:用Python绘制红楼梦词云图,竟然发现了这个!

Python在数据分析中越来越受欢迎,已经达到了统计学家对R的喜爱程度,Python的拥护者们当然不会落后于R,开发了一个个好玩的数据分析工具,下面我们来看看如何使用Python,来读红楼梦,绘制小说中的词云。

首先当然要导入我们需要用到的包,下面import进来的包,都是我们将在接下来的程序中使用到的包,如果大家还没有安装它们,那么尽快安装它们吧。

import jieba

import numpy

import codecs

import pandas

import matplotlib.pyplot as plt

from wordcloud import WordCloud

接着,要分析词频,就要读取我们的《红楼梦》的文本数据,读取文本,我建议使用codecs包,它可以先通过设置文件的编码,对文件进行读入,这样子就不用边读遍转码了,非常实用。

file = codecs.open("D:\\红楼梦.txt", 'r', 'utf-8')

content = file.read()

file.close()

然后,我们就来分词了,中文分词,当然要用大名鼎鼎的jieba包,下面就是分词的方法。

这里我们需要注意两点:

1、为了提高分词的准确度,我们最好寻找我们分词的词库,这里我下载到了红楼梦的分词库,加载如jieba中,然后再进行分词。

2、对于小说中,一个字的词,基本上算是无用的词,或者说是标点符号,因此这里我直接抛弃了。

jieba.load_userdict('D:\\红楼梦词库.txt');

segments = []

segs = jieba.cut(content)

for seg in segs:

if len(seg)>1:

segments.append(seg);

为了方便统计词频,我们把结果保存在pandas的DataFrame中。

segmentDF = pandas.DataFrame({'segment':segments})

接着我们来移除停用词,停用词包括我们日常的停用词和文言文中的停用词两部分,如下所示:

#移除停用词

stopwords = pandas.read_csv(

"D:\\StopwordsCN.txt",

encoding='utf8',

index_col=False,

quoting=3,

sep="\t"

)

segmentDF = segmentDF[~segmentDF.segment.isin(stopwords.stopword)]

wyStopWords = pandas.Series([

# 42 个文言虚词

'之', '其', '或', '亦', '方', '于', '即', '皆', '因', '仍', '故',

'尚', '呢', '了', '的', '着', '一', '不', '乃', '呀', '吗', '咧',

'啊', '把', '让', '向', '往', '是', '在', '越', '再', '更', '比',

'很', '偏', '别', '好', '可', '便', '就', '但', '儿',

# 高频副词

'又', '也', '都', '要',

# 高频代词

'这', '那', '你', '我', '他',

#高频动词

'来', '去', '道', '笑', '说',

#空格

' ', ''

]);

segmentDF = segmentDF[~segmentDF.segment.isin(wyStopWords)]

从上面的代码我们可以看到,pandas对数据的处理,真的是非常方便,更加方便的还在下面,我们接着来对词频进行统计。

segStat = segmentDF.groupby(

by=["segment"]

)["segment"].agg({

"计数":numpy.size

}).reset_index().sort(

columns=["计数"],

ascending=False

);

segStat.head(100)

到这里,我们基本上可以得到词频了,观察一下下面的词频,贾宝玉当然当之无愧是主角,出现次数基本和换行符一致,哈哈,但是出乎意料的是,贾母,竟然是第二,其实这也难怪,红楼梦,哪个场景没有涉及到贾母的?贾宝玉玩完后,都说要到贾母那里请安或者吃饭的,情理之中。有此可见,最佳女配角,非贾母莫属了。

细心的读者可能也发现了,林黛玉出现的次数,竟然还排在了袭人的后面,其实笔者仔细一想,一点也不奇怪。

首先第一个,林黛玉挂得早,挂得早,出现的次数自然就没有那么多了。

还有另外一个原因,不知道看官们注意到不,贾宝玉和女生滚床单,第一个就是袭人(当然秦可卿是不算的,那纯属是贾宝玉自己梦中YY的),因此,你们懂的。如果大家对贾宝玉的私生活感兴趣,可以看这篇文章《贾宝玉到底和多少人发生过性关系?》

最后要告诉大家的是,黛玉只是林黛玉的昵称,加上妹妹(只是不知道贾宝玉有多少个妹妹咯)和连名带姓的林黛玉的词频,也是超越了袭人的,因此,红楼梦符合广电总局的规定——小三是不能上位的。

segment 计数

{{14760:0}} 宝玉 3762

{{35682:0}} 贾母 1272

7738 凤姐 1192

{{34168:0}} 袭人 1134

{{40972:0}} 黛玉 1029

{{27448:0}} 王夫人 1015

{{13833:0}} 如今 1002

{{35130:0}} 说道 978

{{31820:0}} 老太太 974

{{29301:0}} 知道 973

{{36077:0}} 起来 955

{{14062:0}} 姑娘 949

7858 出来 932

4769 众人 872

821 一面 828

{{13305:0}} 太太 825

{{13686:0}} 奶奶 810

{{10094:0}} 只见 791

{{14774:0}} 宝钗 789

2211 两个 771

{{25441:0}} 没有 767

1737 不是 743

1828 不知 702

{{10940:0}} 听见 692

{{35734:0}} 贾琏 689

{{37195:0}} 进来 632

{{11053:0}} 告诉 605

2151 东西 603

{{16508:0}} 平儿 590

... ... ...

{{15894:0}} 屋里 286

{{37827:0}} 邢夫人 286

{{23866:0}} 林黛玉 278

{{15735:0}} 尤氏 277

{{39074:0}} 问道 275

{{28961:0}} 看见 271

{{14016:0}} 妹妹 270

1800 不用 265

9373 原来 258

{{40507:0}} 香菱 256

200 一句 255

{{15032:0}} 家里 254

1646 不得 254

248 一声 253

{{33649:0}} 薛蟠 253

{{14223:0}} 媳妇 249

8269 到底 247

{{36880:0}} 这会子 246

{{37178:0}} 进去 246

{{14033:0}} 姊妹 243

8129 别人 240

{{11753:0}} 回去 237

{{36611:0}} 过去 236

{{22448:0}} 明儿 236

{{21774:0}} 方才 233

{{40871:0}} 麝月 233

2446 丫鬟 233

{{37290:0}} 连忙 232

{{17554:0}} 心中 230

{{14200:0}} 婆子 225

为了更加方便地观察数据,我们使用词云的工具,来绘制词云,通过词云,我们可以更加方便简单地查看词频。

#绘画词云

wordcloud = WordCloud(

font_path='D:\\simhei.ttf',

background_color="black"

)

plt.figure(num=None, figsize=(1000, 600), dpi=800, facecolor='w', edgecolor='k')

wordcloud = wordcloud.fit_words(segStat.head(1000).itertuples(index=False))

plt.imshow(wordcloud)

plt.close()

好了,这个就是用Python绘制红楼梦词云的结果,你发现了什么玄机没有?

如果对这方面感兴趣或者在学习Python的过程中有什么问题的话,可以加君羊:699749852,君羊内有大量Python资料,也会有人解答问题,大家一起学习,一起交流。希望每位学习Python的人都能学有所成。返回搜狐,查看更多

责任编辑:

python红楼梦人物词频统计_用Python绘制红楼梦词云图,竟然发现了这个!相关推荐

  1. python红楼梦人物词频统计_用 Python 分析《红楼梦》

    1 前言 两个月以来,我通过互联网自学了一些文本处理的知识,用自然语言处理和机器学习算法对<红楼梦>进行了一些分析.这个过程中我找到了一些有趣的发现,所以我想写一篇文章,既㲌与大家分享和讨 ...

  2. python红楼梦人物词频统计_通过数据挖掘能分析《红楼梦》各回的真伪吗?

    可以的.小智最近就尝试通过用机器学习的方法,分析了一下红楼梦后四十回的真伪. 以下内容引自小智的微信公众号,转载需申请授权. ------------------------------------- ...

  3. python红楼梦人物词频统计_用R进行文本分析初探——以《红楼梦》为例

    刚刚接触R语言和文本分析,为了将二者结合,试着对<红楼梦>进行分析,首先对<红楼梦>进行分词处理,并统计词频,同时画出标签云. 其实文本分析还可以分析其它很多东西,我的下一步打 ...

  4. 红楼梦人物出场统计python_Python程序设计习题3——红楼梦人物出场次数统计

    统计<红楼梦>中前20位出场最多的人物 使用Python编写程序,统计书籍<红楼梦>中前20位出场次数最多的人物 #红楼梦人物出场统计 import jieba txt=ope ...

  5. python红楼梦词频统计_用 Python 分析《红楼梦》(2)-阿里云开发者社区

    6 词频统计 完成分词以后,词频统计就非常简单了.我们只需要根据分词结果把片段切分开,去掉长度为一的片段(也就是单字),然后数一下每一种片段的个数就可以了. 这是出现次数排名前 20 的单词: (括号 ...

  6. python分析红楼梦出现的虚词词频统计_用Python分析红楼梦,见证贾府的兴衰

    分词词频统计 什么是分词?众所周知中文是以字为单位,句子中所有的字连起来才能描述一个意思.例如我是一个学生.计算机不能很容易明白"学"."生"两个字合起来才表示 ...

  7. 红楼梦人物出场统计python_用Python分析《红楼梦》:见证贾府的兴衰

    没读过<红楼梦>也能知道前后四十回是不是一个作者写的?很久以前,数据侠黎晨,用机器学习的算法分析了<红楼梦>,认为后四十回和前八十回内容上有明显差距.不过,数据侠楼宇却不这么认 ...

  8. 利用python进行词频统计_利用python做词频计算(word-count)

    主要针对英文文本做出词频计算,因为英文是用空格作为词语分割的.中文需要用到分词的库. 下面就用奥巴马的一片演讲做词频计算 1,分析的文本 speech_etxt = ''' My fellow cit ...

  9. python哈姆雷特词频统计_【Python】哈姆雷特字数统计

    def getText(): #赋予txt哈姆雷特小说-全英文小写-全符号变空格-返回txt txt = open('C:/Users/eternal/Desktop/hamlet.txt','r') ...

最新文章

  1. BZOJ3799 : 字符串重组
  2. MatLab基础操作
  3. python实现阿里云域名绑定动态IP
  4. BZOJ 2655 calc (组合计数、DP、多项式、拉格朗日插值)
  5. 笔记:Java中的单例设计模式
  6. Boost:循环缓冲区总和的测试程序
  7. 教你玩转CSS 精灵图/雪碧图
  8. WOJ 18 动态无向图
  9. html5录音怎么保存到本地,详解HTML5 录音遇到的坑
  10. 【Flink】Flink 实时超时统计-A发生B不发生事件统计-不发生事件
  11. [logstash-input-log4j]插件使用详解
  12. bing翻译api php,免费翻译接口
  13. python学习之生成器
  14. echarts 广州地图入门案例
  15. 用python模拟clark变换和park变换
  16. 快用苹果助手安装失败_穿越火线辅助腾讯手游助手常见问题汇总
  17. GPIO输入输出模式原理(八种工作方式附电路图详解)
  18. Unity体积光实现浅析
  19. Windows 10, version 22H2 (released Oct 2022) 简体中文版、英文版下载
  20. 生成对抗网络(GAN)详细介绍及数字手写体生成应用仿真(附代码)

热门文章

  1. CMMI 3级18个过程域
  2. 输入一个url到呈现一个页面,到底发生了啥?
  3. uni-app的flex盒模型与布局进阶写法(高手勿进)
  4. 必须要了解的物联网安全知识
  5. 学习笔记【Java 虚拟机②】垃圾回收
  6. Live Server插件默认打开浏览器的无痕浏览模式解决方法
  7. web页面测试方法与测试用例编写
  8. 千万别删VS之ProgramData目录(血泪教训)
  9. Markdown 语法学习
  10. IE浏览DWG的CAD插件