机器学习眼中的《人民的名义》
一、背景
最近热播的反腐神剧“人民的名义”掀起来一波社会舆论的高潮,这部电视剧之所能得到广泛的关注,除了老戏骨们精湛的演技,整部剧出色的剧本也起到了关键的作用。笔者在平日追剧之余,也尝试通过机器学习算法对人民的名义的部分剧集文本内容进行了文本分析,希望从数据的角度得到一些输入。
本文使用阿里云机器学习PAI,主要针对以下几个方面进行了实验:
- 分词以及词频统计
- 每一章的关键词提取
- 每一章的文本摘要
- 每一章文本之间的相似度分析
实验流程以及数据可以在阿里云机器学习PAI的社区直接使用,只要点击“去PAI平台创建”按钮即可在自己的项目下生成实验。社区部分截图:
二、数据集介绍
数据源:本文数据为人民的名义部分剧集文本,一共分成1-9个章节。
具体字段如下:
字段名 | 含义 | 类型 | 描述 |
---|---|---|---|
id | 文章唯一标识 | string | 文章标识 |
content | 文章内容 | string | 部分剧集内容 |
数据截图:
三、数据探索流程
首先,实验流程图:
1.分词以及停用词
分词是文本分析的基础,但是在“人民的名义”这样的文本中会有很多特有名词,是分词算法很难区分的。比如“侯亮平”、“沙瑞金”、“大风厂”等,所以我们需要在split word组件中加入一个词库,帮助分词组件可以对人名做正确的分词处理。加入的词库fufeitest.splite_w如下图:
另外,文本中一些“的”、“地”、“得”这样的助词以及各种标点符号也需要去掉,这些词是没有意义的,对文本分析有干扰,这些词可以通过“停用词过滤”组件去除。最终通过分词以及停用词过滤组件操作之后,文本内容被整理成了如下图形态:
2.关键词提取及词频统计
通过“词频统计”组件可以查看每一章中各个词语出现的频率,如图所示,id为1的文章中每个词语出现的次数:
“关键词”提取组件可以返回每个文章中关键的词语以及权重,(如果我们在停用词过滤那里处理的更细致,这部分效果会更好),通过这个结果可以看到每一章的关键人物有哪些,以及他们的权重排名:
3.文本摘要
“文本摘要”组件可以帮助您快速的浏览每一章节的关键内容,返回的是全文最关键的句子,我这里设置的是返回前三关键的句子:
截取的是第9章的摘要内容,如果看过这个剧,通过这个摘要可以大致了解到这是在讲汉东省委关于干部任用的会议的那一集。
4.相似文章分析
通过“Doc2Vec”组件可以将文本文章映射成高维向量化,将文本按照语义变成数学向量,结果如下:
然后可以通过”语义向量距离”组件挖掘出不同文章向量的距离,这里面的隐含关系是文章向量距离越近,那么语义越相近。我们以第9章为例:
第9章与第8章的向量距离最小,言外之意就是这两章的语义相近,这一点也比较容易理解,因为相连的两章在意义上肯定上是有一定的关联性。
四、总结
本文通过对“人民的名义”部分章节文本的分析,帮助大家了解机器学习PAI上面的部分文本算法的用法。如果向更深入的了解相关的内容,欢迎到PAI的社区来讨论,我们会定时组织活动。
机器学习眼中的《人民的名义》相关推荐
- 【机器学习PAI实践五】机器学习眼中的《人民的名义》
一.背景 最近热播的反腐神剧"人民的名义"掀起来一波社会舆论的高潮,这部电视剧之所能得到广泛的关注,除了老戏骨们精湛的演技,整部剧出色的剧本也起到了关键的作用.笔者在平日追剧之余, ...
- 机器学习PAI眼中的《人民的名义》
最近热播的反腐神剧"人民的名义"掀起来一波社会舆论的高潮,这部电视剧之所能得到广泛的关注,除了老戏骨们精湛的演技,整部剧出色的剧本也起到了关键的作用.笔者在平日追剧之余,也尝试通过 ...
- 从《人民的名义》看声纹识别技术在案件侦查中的应用
被号称为"史上最大尺度反腐剧"的<人民的名义>即将收官,播出期间,该剧一直备受好评.除了曲折的故事情节之外,该剧最大的看点就是公安机关曲折的案件侦查过程,只不过因为剧中 ...
- 【正一专栏】从人民的名义看失败的婚姻关系
从人民的名义看失败的婚姻关系 人民的名义其中几对夫妻失败的婚姻关系引人关注,展示了人间百态.从中也可以看出婚姻关系确实是家庭关系的基石,婚姻关系处理不好,就会带来各种各样的问题,腐败也会随之而来.天下 ...
- ECharts 实现人民的名义关系图谱 代码开源
1.什么是ECharts ECharts是百度开源的纯 Javascript 图表库,目前开源可以与highcharts相匹敌的一个图表库,相信有很多国内用户使用. 官网 http://echarts ...
- 人民的名义中,为什么蔡成功的贷款这么难?
在人民的名义电视剧中,大风厂被山水集团和达康书记的老婆欧阳菁设圈套,蔡成功以大风厂全部股权作质押,向山水集团借了6000万的过桥资金,约定利息是日息千分之4,结果京州城市银行没有给蔡成功贷款,而向信用 ...
- python爬取今日头条的文章_Python3爬取今日头条有关《人民的名义》文章
Python3爬取今日头条有关<人民的名义>文章 最近一直在看Python的基础语法知识,五一假期手痒痒想练练,正好<人民的名义>刚结束,于是决定扒一下头条上面的人名的名义文章 ...
- 人民的名义1-55集全 已看完(观后感)
人民的名义大结局已看完,心生疑问,沙瑞金才是布局高手!对祁同伟和高小琴表示同情,他们的子女结局如何?陈海醒了,那么恢复原职是显而易见,所以侯良平是不是该返回北京任职了?那么,已对赵东来产生好感的陆亦可 ...
- 人民的名义泄漏版百度云46-56集百度网盘下载
<人民的名义>是由李路执导.周梅森编剧的当代检察反腐题材电视剧,由陆毅.张丰毅.吴刚.许亚军.张志坚.柯蓝.胡静.张凯丽.赵子琪.白志迪.李建义.高亚麟.丁海峰.冯雷.李光复.张晞临.徐光 ...
最新文章
- NSString之Format
- 那年的12月,那些悟与思2018-12-23
- 容器编排技术 -- Kubernetes Network Policy
- python面向对象(下)
- dr. unarchiver_1F 新店开业男士一生仅能定制一枚的钻戒,DR 教你用一生爱一人
- 算法笔记_138:稳定婚姻问题(Java)
- 函数式编程可以配合装饰器使用
- 策略模式详解(用java语言实现策略模式)
- Android权限大全
- Axure原型设计概述
- extmail如何登陆mysql_linux下ExtMail邮件使用及管理平台
- Linux查看目录busy,Linux中遇到device is busy的处理方法
- 计算机桌面黑屏有鼠标,电脑黑屏只有鼠标怎么办
- 计算机科学技术专业发展分析,计算机科学与技术发展现况分析
- C++11新特性内存模型总结详解--一篇秒懂
- 股权的秘密:如何把握公司的控制权
- 【学习】大数据关键技术
- 为什么广告技术发展了,成本却没降
- 微信小程序获取urlScheme地址Python版
- 什么才算是“好的”测试用例?