Python 分析到底是谁操纵《庆余年》上了热搜?
作者 | A字头
责编 | 毛中政
庆余年电视剧终于在前两天上了,这两天赶紧爬取数据看一下它的表现。
庆余年
《庆余年》是作家猫腻的小说。这部从2007年就开更的作品拥有固定的书迷群体,也在文学IP价值榜上有名。
期待已久的影视版的《庆余年》终于播出了,一直很担心它会走一遍《盗墓笔记》的老路。在《庆余年》电视剧上线后,就第一时间去看了,真香。
庆余年微博传播分析
《庆余年》在微博上一直霸占热搜榜,去微博看一下大家都在讨论啥:
一条条看显然不符合数据分析师身份
于是爬取了微博超话页面,然后找到相关人员,分别去爬取相关人员的微博评论,看看大家都在讨论啥。
import argparseparser = argparse.ArgumentParser(description="weibo comments spider")parser.add_argument('-u', dest='username', help='weibo username', default='') #输入你的用户名parser.add_argument('-p', dest='password', help='weibo password', default='') #输入你的微博密码parser.add_argument('-m', dest='max_page', help='max number of comment pages to crawl(number<int> larger than 0 or all)', default=) #设定你需要爬取的评论页数parser.add_argument('-l', dest='link', help='weibo comment link', default='') #输入你需要爬取的微博链接parser.add_argument('-t', dest='url_type', help='weibo comment link type(pc or phone)', default='pc')args = parser.parse_args()wb = weibo()username = args.usernamepassword = args.passwordtry: max_page = int(float(args.max_page))except: passurl = args.linkurl_type = args.url_typeif not username or not password or not max_page or not url or not url_type: raise ValueError('argument error')wb.login(username, password)wb.getComments(url, url_type, max_page)
如何利用Python生成词云图
爬取到微博评论后,老规矩,词云展示一下,不同主角的评论内容差别还是挺大的
张若昀:
李沁:
肖战:emmm....算了吧
从目前大家的评论来看,情绪比较正向,评价较高,相信《庆余年》会越来越火的。
这部剧在微博热度这么高,都是谁在传播呢?
于是我进一步点击用户头像获取转发用户的公开信息。
看了一下几位主演的相关微博,都是几十万的评论和转发,尤其是肖战有百万级的转发,尝试爬了一下肖战的微博,执行了6个小时的结果,大家随意感受一下执行过程:
最终还是败给了各位小飞侠,之后有结果再同步给大家。
于是我只能挑软柿子捏,换成官微的微博。
这条微博发布时间是26号,经过一段时间已经有比较好的传播,其中有几个关键节点进一步引爆话题。
经过几个关键节点后,进一步获得传播,这几个关键节点分别是:
肖战的超话:https://weibo.com/1081273845/Ii1ztr1BH
王小亚的微博:https://weibo.com/6475144268/Ii1rDEN6q
继续看一下转发该微博的用户分析:
整体看下来,庆余年官微的这条微博90%都是普通用户的转发,这部剧转发层级达到5层,传播范围广,在微博上的讨论女性居多(占比89%),大部分集中在一二线城市。
原著人物关系图谱
如果只看微博,不分析原著,那就不是一个合格的书粉。
于是我去下载了原著画一下人物关系图谱。
先给大家看一下原著的人物关系图谱:
emmm.....确实挺丑的,大家可以去Gephi上调整。
首先我需要从原著里洗出人物名,尝试用jieba分词库来清洗:
import jieba
test= 'temp.txt' #设置要分析的文本路径text = open(test, 'r', 'utf-8')seg_list = jieba.cut(text, cut_all=True, HMM=False)print("Full Mode: " + "/ ".join(seg_list)) # 全模式
发现并不能很好的切分出所有人名,最简单的方法是直接准备好人物名称和他们的别名,这样就能准确定位到人物关系。
存储好人物表,以及他们对应的别名(建立成字典)
def synonymous_names(synonymous_dict_path): with codecs.open(synonymous_dict_path, 'r', 'utf-8') as f: lines = f.read().split('\n') for l in lines: synonymous_dict[l.split(' ')[0]] = l.split(' ')[1] return synonymous_dict
接下来直接清理文本数据:
def clean_text(text): new_text = [] text_comment = [] with open(text, encoding='gb18030') as f: para = f.read().split('\r\n') para = para[0].split('\u3000') for i in range(len(para)): if para[i] != '': new_text.append(para[i]) for i in range(len(new_text)): new_text[i] = new_text[i].replace('\n', '') new_text[i] = new_text[i].replace(' ', '') text_comment.append(new_text[i]) return text_comment
我们需要进一步统计人物出现次数,以及不同人物间的共现次数:
text_node = []for name, times in person_counter.items(): text_node.append([]) text_node[-1].append(name) text_node[-1].append(name) text_node[-1].append(str(times))node_data = DataFrame(text_node, columns=['Id', 'Label', 'Weight'])node_data.to_csv('node.csv', encoding='gbk')
结果样例如下:
不愧是主角,范闲出现的次数超过了其他人物出现次数的总和,基本每个人都与主角直接或间接地产生影响。
同理可以得到不同人物的边,具体代码参考源文件。
接下来需要做的就是利用Gephi绘制人物关系图谱:
运行结果:
参考文献:Ren, Donghao, Xin Zhang, Zhenhuang Wang, Jing Li, and Xiaoru Yuan. "WeiboEvents: A Crowd Sourcing Weibo Visual Analytic System." In Pacific Visualization Symposium (PacificVis) Notes, 2014 IEEE, pp. 330-334. IEEE, 2014.
本文为作者投稿,版权归作者个人所有
Python 分析到底是谁操纵《庆余年》上了热搜?相关推荐
- python爬虫后进行诗词接龙_飞花令今天看了诗词大会特别有感触,还上了热搜,史上最长飞花令...
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 飞花令 今天看了诗词大会特别有感触,还上了热搜,史上最长飞花令.接的圆周率,接到小数点后边第204位!真的很佩服各位的诗词储量.故此开了本帖,依葫芦画瓢, ...
- 新版《鹿鼎记》被骂上了热搜,看看豆瓣的评价是怎样的?
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 以下文章源于明日IT部落 ,作者明日科技 刚接触Python的新手.小白,可以复制下面的链接去免费 ...
- 人工智能还能登上微博热搜?热搜关键词你得看看!
AI人才年薪80万登上微博热搜 图片来源于微博热搜截图 据报道,今年的AI应届博士生年薪已经涨至80万,与去年的50万相比,整整涨了60%,并且随着人才缺口的扩大,涨薪的趋势在近期估计还会持续走高. ...
- 微博数据解析:综艺节目如何频上微博热搜?以《令人心动的offer》为例
随着经济的发展.互联网的崛起以及精神世界的需求等一系列原因,使得网络综艺顺应时代蕴运而生.如今,网络综艺已经广泛渗透到人们的日常生活当中,潜移默化的影响着观众. 目前综艺节目市场规模庞大,各种综艺节目 ...
- 你知道这一周有哪些程序员好书上了热搜吗?
马上新年了,小伙伴们爱学习.爱读书的热情依旧在线,今年在外漂着的大都是就地过年,多补充点知识还是好的. 和小编一起来看看这一周里有哪些程序员好书上了热搜. 第一本 机器学习的数学 从机器学习的角度讲述 ...
- 微信小程序 长按图片不出现菜单_微信更新,新功能上了热搜
微信在推出新功能方面相当克制,但每一次总能引起全网关注. 昨天,微信又因为一个小功能的改进再次上了热搜,在安卓最新的 7.0.17 版本当中,微信取消了两分钟内删除功能. 在新版微信中,发出的消息在两 ...
- 一年75次上微博热搜!宇宙首富Tony老师上线!马斯克DIY发型
来源:新智元 马斯克,很狂. 宇宙首富Tony老师上线了,还自己剪了个新发型. 嗯!有点儿杀马特味道. 马斯克顶着前卫的新发型一时引起众多网友讨论,有人甚至挖出他20年前头顶稀疏的旧照. 从稀疏到茂密 ...
- 1024程序员节,我被喷上了热搜!
一年一度的程序员节日到了,小孟祝大家往后写代码无bug,不脱发,财务自由. 对于1024节日,CSDN也举办了技术交流大会,我的很多博主小伙伴也都去了,因为我离的比较远就没有去. 最近,没事的时候,拍 ...
- ig夺冠后服务器不稳定,IG夺冠,王思聪上微博热搜,网友:一个让服务器瘫痪的男人...
11月3日,LPL等了七年,终于等到了这一天. IG3:0 打败FNC赢得了S8冠军.比赛结束后,IG赢得冠军的消息传遍了整个网络.这次不仅让LOL又火了一把,也让校长王思聪成为大家的终极偶像,正在观 ...
最新文章
- 工作中感受到的消息中间件在分布式系统中的使用场景
- altium designer 不自动清除回路 清除功能打开失效
- 质数c语言欧拉筛选,Python|欧拉筛法求质数
- 深入理解DOM事件机制
- Failed to execute goal org.apache.maven.plugins:maven-surefire-plugin:2.12.4:test (default-test)
- socket的系统调用
- ie打开完成,网页显示空白
- 调用接口登录禅道_有java调用api登录并验证禅道的实例吗
- 基于Tablestore多元索引打造亿量级店铺搜索系统
- oracle的关键字
- 一步之遥 c语言答案是多少,蓝桥杯之一步之遥-Go语言中文社区
- 中国SaaS产品成功四要素和四层次
- .NET c#中调用地图
- juniper防火墙开启NAT功能
- 将doc文件转为txt文件
- 跑通Jetson Nano TensorRt sampleSSD例程
- 2016/7/4日-你若安好,便是晴天.
- Nape 碰撞检测事件 笔记
- 解决电脑插耳机声音外放
- 用python预测小孩的身高_Python+sklearn使用线性回归算法预测儿童身高
热门文章
- android如何调用dotnet编写的webservice
- Reflector反编译winform心得
- 查看MySQL以及SQL Server 实际存储类型
- [论文阅读] Active Learning for Deep Object Detection via Probabilistic Modeling
- java9 多版本兼容jar_Java 9 多版本兼容 jar 包
- 甘肃省智慧教育云平台实名认证_“好分数”甘肃行,人工智能助力教育均衡
- web前端开发技术现状与发展_Web前端开发的未来,将会有哪些发展方向?
- Linux图形界面的安装和卸载,在CentOS下安装和卸载图形化界面的方法
- 运行linux中degui_Windows与Linux合二为一?终于能在windows上运行Linux了!
- 【图像处理】MATLAB:图像噪声