作者:徐麟,目前就职于上海唯品会产品技术中心,哥大统计数据狗,从事数据挖掘&分析工作,喜欢用R&Python玩一些不一样的数据。

前言:

纵观近几年的国产电影市场,“开心麻花“似乎已经成为了票房的保证。从《夏洛特烦恼》、《羞羞的铁拳》到最新上映的《西虹市首富》都引爆了票房。本期我们会根据从猫眼电影网爬取到的上万条评论为你解读《西虹市首富》是否值得一看。

数据爬取:

此次数据爬取我们参考了之前其他文章中对于猫眼数据的爬取方法,调用其接口,每次取出部分数据并进行去重,最终得到上万条评论,代码如下:

  1.    tomato = pd.DataFrame(columns=['date','score','city','comment','nick'])

  2.    for i in range(0, 1000):

  3.        j = random.randint(1,1000)

  4.        print(str(i)+' '+str(j))

  5.        try:

  6.            time.sleep(2)

  7.            url= 'http://m.maoyan.com/mmdb/comments/movie/1212592.json?_v_=yes&offset=' + str(j)

  8.            html = requests.get(url=url).content

  9.            data = json.loads(html.decode('utf-8'))['cmts']

  10.            for item in data:

  11.                tomato = tomato.append({'date':item['time'].split(' ')[0],'city':item['cityName'],

  12.                                        'score':item['score'],'comment':item['content'],

  13.                                        'nick':item['nick']},ignore_index=True)

  14.            tomato.to_csv('西虹市首富4.csv',index=False)                          

  15.       except:

  16.            continue

数据分析:

我们看一下所得到的数据:

数据中我们可以得到用户的昵称,方便后面进行去重。后面的部分主要围绕评分、城市、评论展开。

首先看一下,评论分布热力图:

京津翼、江浙沪、珠三角等在各种榜单长期霸榜单的区域,在热力图中,依然占据着重要地位。同时,我们看到东三省和四川、重庆所在区域也有着十分高的热度,这也与沈腾自身东北人&四川女婿的身份不谋而合(以上纯属巧合,切勿较真)。

下面我们要看的是主要城市的评论数量与打分情况:

打出最高分4.77分的正是沈腾家乡的省会城市哈尔滨(沈腾出生于黑龙江齐齐哈尔),看来沈腾在黑龙江还是被广大父老乡亲所认可的。最低分和次低分来自于合肥和郑州,今后的开心麻花可以考虑引入加强在中部地区的宣传。

我们按照打分从高到底对城市进行排序:

在评论数量最多的二十个城市中,评分前七名的城市中东北独占四席,而分数相对较低的城市中武汉、合肥、郑州都属于中部地区,可见不同地区的观众对影评的认可程度有着一定差异。

我们把城市打分情况投射到地图中:(红色表示打分较高,蓝色表示较低)

进一步,我们把城市划分为评分较高和较低两部分

较高区域:

较低区域:

可以看到对于“西红柿”,南北方观众的评价存在一定差异,这与每年春晚各个地区收视率似乎有一些吻合知乎。沈腾本身也是春晚的常客,电影中自然会带一些“春晚小品味”,这似乎可以一定程度上解释我们得到的结果。

看过了评分,我们看一下评论生成的词云图,以下分别是原图和据此绘制的词云图:

不知道大家的想法如何,至少在我看到了这样的词云,搞笑、笑点、值得、开心、不错,甚至是哈哈都会激起我强烈的看片欲望。同时,沈腾也被大家反复提起多次,可以预见其在片中有着非常不错的表演,也会一定程度上激发大家看片的欲望。

部分代码展示:

热力图:

  1.    tomato_com = pd.read_excel('西虹市首富.xlsx')

  2.    grouped=tomato_com.groupby(['city'])

  3.    grouped_pct=grouped['score'] #tip_pct列

  4.    city_com = grouped_pct.agg(['mean','count'])

  5.    city_com.reset_index(inplace=True)

  6.    city_com['mean'] = round(city_com['mean'],2)

  7.    data=[(city_com['city'][i],city_com['count'][i]) for i in range(0,

  8.           city_com.shape[0])]

  9.    geo = Geo('《西虹市首富》全国热力图', title_color="#fff",

  10.              title_pos="center", width=1200,

  11.              height=600, background_color='#404a59')

  12.    attr, value = geo.cast(data)

  13.    geo.add("", attr, value, type="heatmap", visual_range=[0, 200],visual_text_color="#fff",

  14.            symbol_size=10, is_visualmap=True,is_roam=False)

  15.    geo.render('西虹市首富全国热力图.html')

折线图+柱形图组合:

  1.    city_main = city_com.sort_values('count',ascending=False)[0:20]

  2.    attr = city_main['city']

  3.    v1=city_main['count']

  4.    v2=city_main['mean']

  5.    line = Line("主要城市评分")

  6.    line.add("城市", attr, v2, is_stack=True,xaxis_rotate=30,yaxis_min=4.2,

  7.             mark_point=['min','max'],xaxis_interval =0,line_color='lightblue',

  8.             line_width=4,mark_point_textcolor='black',mark_point_color='lightblue',

  9.             is_splitline_show=False)  

  10.    bar = Bar("主要城市评论数")

  11.    bar.add("城市", attr, v1, is_stack=True,xaxis_rotate=30,yaxis_min=4.2,

  12.             xaxis_interval =0,is_splitline_show=False)

  13.    overlap = Overlap()

  14.    # 默认不新增 x y 轴,并且 x y 轴的索引都为 0

  15.    overlap.add(bar)

  16.    overlap.add(line, yaxis_index=1, is_add_yaxis=True)

  17.    overlap.render('主要城市评论数_平均分.html')

词云:

  1.    tomato_str =  ' '.join(tomato_com['comment'])

  2.    words_list = []

  3.    word_generator = jieba.cut_for_search(tomato_str)

  4.    for word in word_generator:

  5.        words_list.append(word)

  6.    words_list = [k for k in words_list if len(k)>1]

  7.    back_color = imread('西红柿.jpg')  # 解析该图片

  8.    wc = WordCloud(background_color='white',  # 背景颜色

  9.                   max_words=200,  # 最大词数

  10.                   mask=back_color,  # 以该参数值作图绘制词云,这个参数不为空时,width和height会被忽略

  11.                   max_font_size=300,  # 显示字体的最大值

  12.                   stopwords=STOPWORDS.add('苟利国'),  # 使用内置的屏蔽词,再添加'苟利国'

  13.                   font_path="C:/Windows/Fonts/STFANGSO.ttf",

  14.                   random_state=42,  # 为每个词返回一个PIL颜色

  15.                   # width=1000,  # 图片的宽

  16.                   # height=860  #图片的长

  17.                   )

  18.    tomato_count = Counter(words_list)

  19.    wc.generate_from_frequencies(tomato_count)

  20.    # 基于彩色图像生成相应彩色

  21.    image_colors = ImageColorGenerator(back_color)

  22.    # 绘制词云

  23.    plt.figure()

  24.    plt.imshow(wc.recolor(color_func=image_colors))

  25.    plt.axis('off')

票房预估:

最后我们来大胆预估下《西虹市首富》的票房,我们日常在工作中会选取标杆来对一些即将发生的事情进行预估。这次我们选择的标杆就是《羞羞的铁拳》:

基于以下几点我们选择《羞羞的铁拳》作为标杆:

  1. 均是开心麻花出品、题材相似

  2. 演员阵容重合度高

  3. 豆瓣粉丝认可程度相似(评分均为6.9,处于喜剧片中位数水平)

  4. 猫眼粉丝认可程度相似(铁拳评分9.1,西红柿评分9.3)

我们看一下两部影片前三天的走势:

前三天两部片子的票房走势十分相似,基于之前我们的平均,我们可以尝试性(比随机准一点)预测一下“西红柿”最终的票房。“西红柿”票房预测值≈“铁拳”总票房/“铁拳”前三天票房“西红柿”前三天票房=22.13/5.258.62≈36,考虑到铁拳上映是在国庆假期,西红柿的票房预估需要相应的下调。

综上所述,我们给出30亿票房的预估。大家来和我们一起见证“章鱼保罗”般神奇的预测的or“球王贝利”般被啪啪打脸的预测。

没看过电影的朋友可以点击下面猫眼电影官网预定:

Python中文社区作为一个去中心化的全球技术社区,以成为全球20万Python中文开发者的精神部落为愿景,目前覆盖各大主流媒体和协作平台,与阿里、腾讯、百度、微软、亚马逊、开源中国、CSDN等业界知名公司和技术社区建立了广泛的联系,拥有来自十多个国家和地区数万名登记会员,会员来自以公安部、工信部、清华大学、北京大学、北京邮电大学、中国人民银行、中科院、中金、华为、BAT、谷歌、微软等为代表的政府机关、科研单位、金融机构以及海内外知名公司,全平台近20万开发者关注。

▼ 点击下方阅读原文免费成为社区会员

3天9亿!我爬取上万条评论解读《西虹市首富》并预测票房相关推荐

  1. Python大佬爬取了10亿票房的《西虹市首富》热评,一起来解读吧!

    回复"书籍"即可获赠Python从入门到进阶共10本电子书 公众号: python教程入门学习 前言 纵观近几年的国产电影市场,"开心麻花"似乎已经成为了票房的 ...

  2. 3天破9亿!上万条评论解读《西虹市首富》是否值得一看

    作者介绍:徐麟,目前就职于上海唯品会产品技术中心,哥大统计数据狗,从事数据挖掘&分析工作,喜欢用R&Python玩一些不一样的数据 个人公众号:数据森麟(ID:shujusenlin) ...

  3. 往期精彩,爬取10亿票房的《西虹市首富》热评,一起来解读吧!

    本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 本文章来自腾讯云 作者:Python进阶者 想要学习Python?有问题得不到第一 ...

  4. 5天赚十亿!纯C/C++打造“西虹市首富”

    电影<西虹市首富>票房一路高歌顺利突破20亿,并且引发大家热议: 究竟如何一个月花光十个亿呢? 有人就说了,小编你挣着卖白菜的钱就不要操着卖白粉的心了好吗?银行存款有多少心里没点数吗? 那 ...

  5. 5天赚十亿!纯C/C++语言打造“西虹市首富”

    电影<西虹市首富>票房一路高歌顺利突破20亿,并且引发大家热议: 究竟如何一个月花光十个亿呢? 有人就说了,小编你挣着卖白菜的钱就不要操着卖白粉的心了好吗?银行存款有多少心里没点数吗? 那 ...

  6. 西虹市首富:在币圈赔光10亿的一万种办法

    昨天我去看了<西虹市首富>. 作为一部喜剧片嘛,算是合格了.满分10分,我给他打6分. 其中给女主3分,真的美.王力宏3分. 正片0分. 为什么给0分. 我说了,作为喜剧片,他合格了.整场 ...

  7. Python爬取上万条大众点评数据,解读一线快餐品牌背后的秘密

    中国的快餐市场竞争一直都很激烈,关于各种品牌江湖上也流传着各种神奇的故事,那么你知道 一线城市最多的快餐品牌是哪家? 沙县小吃真的是中国餐饮巨头吗? 每一家肯德基边上都有一家麦当劳是不是真的? 星巴克 ...

  8. 爬取 48048 条评论,解读 9.3 分的「毒液」是否值得一看?

    本文转载自:https://mp.weixin.qq.com/s?__biz=MzA4MjEyNTA5Mw==&mid=2652568697&idx=1&sn=e2e52e39 ...

  9. python 爬虫实例-python爬虫实例,一小时上手爬取淘宝评论(附代码)

    前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 1 明确目的 通过访问天猫的网站,先搜索对应的商品,然后爬取它的评论数据. ...

最新文章

  1. 给Python加Markdown式排版,在线运行可做Jupyter替身丨谷歌大脑出品
  2. 为什么尽量使用常量引用
  3. 判断二叉树是否是完全二叉树c语言_完全二叉树的节点数,你真的会算吗?
  4. graphpad数据小数点_GraphPad Prism 统计指南 | 关于异常值(Outlier),你真的了解吗?...
  5. Cisco正式停止MARS产品的销售
  6. Android 系统(212)---monkey实战–测试步骤、常用参数、常规monkey命令
  7. 安卓bin固件文件编辑器_摄像头恶意固件制作指南
  8. 电力拖动计算机系统考试,电力拖动自动控制系统__考试复习题.doc
  9. 迅捷PDF转换器怎样将PDF文件转换为HTML网页
  10. 墨者靶场-SQL手工注入漏洞测试(MySQL数据库-字符型)
  11. 创新趋势 | SaaS增长新趋势:产品驱动增长PLG(上)
  12. 【无标题】抖音 s_v_web_id
  13. [CTF密码学]RSA相关题目解题方法与python脚本总结(附例题)
  14. 如何提拔骨干及挑选接班人
  15. HTML+CSS+JS大作业——汽车租赁(47页) 加特效 web期末作业设计网页_汽车大学生网页设计作业成品
  16. 银行信用评分卡建模原理
  17. 驭势科技携手奇辉机器人,联合发布面向多行业的智慧物流整体解决方案
  18. C语言小游戏“剪刀石头布”
  19. Windows Terminal 安装
  20. 远程网络教学系统功能!

热门文章

  1. java crc32验证_JAVA实现CRC32校验
  2. java cutdown_Java MouseEvent.isShortcutDown方法代码示例
  3. 华尔街日报:日本电子巨头为何败给iPhone?
  4. 生成模型finetune相关框架
  5. 蓝叠验证码java异常,使用adb连接蓝叠模拟器(中国版)
  6. xwiki系统安装配置说明书
  7. Matlab科研绘图颜色补充(特别篇3)—320种中国传统颜色
  8. echarts仿支付宝芝麻信用分环形图
  9. JS的Array数组对象方法一些总结
  10. Hibernate的cascade属性