Python爬取《你好李焕英》豆瓣短评并基于SnowNLP做情感分析

Python爬取你好李焕英豆瓣短评生成词云

Python爬取你好李焕英豆瓣短评并利用stylecloud制作更酷炫的词云图

目标网站:

https://piaofang.maoyan.com/dashboard/movie

数据接口:

F12大法开启:
观察呗,哪个像就点进去preview一下:

有眼感了一下子就抓到了:

点进response,右键open一下:
需要的信息都在了,接下来手撕代码:

完整代码:

# -*- coding: utf-8 -*-
# !/usr/bin/env python
# 猫眼票房:https://piaofang.maoyan.com/dashboardimport datetime
import os
import time
import requestsclass PF(object):def __init__(self):self.url = 'https://piaofang.maoyan.com/dashboard-ajax?orderType=0&uuid=173d6dd20a2c8-0559692f1032d2-393e5b09-1fa400-173d6dd20a2c8&riskLevel=71&optimusCode=10'self.headers = {"Referer": "https://piaofang.maoyan.com/dashboard","User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36",}def main(self):'''主程序,打印最终结果:return:'''while True:# 需在dos命令下运行此文件,才能清屏os.system('cls')result_json = self.get_parse()if not result_json:breakresults = self.parse(result_json)# 获取时间calendar = result_json['calendar']['serverTimestamp']t = calendar.split('.')[0].split('T')t = t[0] + " " + (datetime.datetime.strptime(t[1], "%H:%M:%S") + datetime.timedelta(hours=8)).strftime("%H:%M:%S")print("北京时间:", t)x_line = '-' * 155# 总票房total_box = result_json['movieList']['data']['nationBoxInfo']['nationBoxSplitUnit']['num']# 总票房单位total_box_unit = result_json['movieList']['data']['nationBoxInfo']['nationBoxSplitUnit']['unit']print(f"今日总票房: {total_box} {total_box_unit}", end=f'\n{x_line}\n')# print("{:^10}\t{:^23}".format("企业ID", "企业名称"))print('电影名称'.ljust(14), '综合票房'.ljust(11), '票房占比'.ljust(13), '场均上座率'.ljust(11), '场均人次'.ljust(11),'排片场次'.ljust(12),'排片占比'.ljust(12), '累积总票房'.ljust(11), '上映天数', sep='\t', end=f'\n{x_line}\n')for result in results:print(result['movieName'][:10].ljust(9),  # 电影名称result['boxSplitUnit'][:8].rjust(10),  # 综合票房result['boxRate'][:8].rjust(13),  # 票房占比result['avgSeatView'][:8].rjust(13),  # 场均上座率result['avgShowView'][:8].rjust(13),  # 场均人次result['showCount'][:8].rjust(13),  # '排片场次'result['showCountRate'][:8].rjust(13),  # 排片占比result['sumBoxDesc'][:8].rjust(13),  # 累积总票房result['releaseInfo'][:8].rjust(13),  # 上映信息sep='\t', end='\n\n')break # 把break注释掉,打印的是所有电影实时票房,否则只打印榜首time.sleep(4)def get_parse(self):'''网页是否成功获取,频繁操作会有验证:return:'''try:response = requests.get(self.url, headers=self.headers)if response.status_code == 200:# print("success!")return response.json()except requests.ConnectionError as e:print("ERROR:", e)return Nonedef parse(self, result_json):'''获取数据:return:'''if result_json:movies = result_json['movieList']['data']['list']# movies = [{},{},{}]# 场均上座率, 场均人次, 票房占比, 电影名称,# 上映信息(上映天数), 排片场次, 排片占比, 综合票房,累积总票房ticks = ['avgSeatView', 'avgShowView', 'boxRate', 'movieName','releaseInfo', 'showCount', 'showCountRate', 'boxSplitUnit', 'sumBoxDesc']for movie in movies:self.piaofang = {}for tick in ticks:# 数字和单位分开需要joinif tick == 'boxSplitUnit':movie[tick] = ''.join([str(i) for i in movie[tick].values()])# 多层字典嵌套if tick == 'movieName' or tick == 'releaseInfo':movie[tick] = movie['movieInfo'][tick]if movie[tick] == '':movie[tick] = '此项数据为空'self.piaofang[tick] = str(movie[tick])yield self.piaofangif __name__ == '__main__':pf = PF()pf.main()

抓取结果:

Python爬取《你好李焕英》猫眼实时票房相关推荐

  1. Python爬取你好李焕英豆瓣短评并利用stylecloud制作更酷炫的词云图

    词云图: 爬取过程: 你好,李焕英 短评的URL: https://movie.douban.com/subject/34841067/comments?start=20&limit=20&a ...

  2. Python爬取你好李焕英豆瓣短评生成词云

    爬取过程: 你好,李焕英 短评的URL: https://movie.douban.com/subject/34841067/comments?start=20&limit=20&st ...

  3. Python爬取《你好李焕英》豆瓣短评并基于SnowNLP做情感分析

    爬取过程在这里: Python爬取你好李焕英豆瓣短评并利用stylecloud制作更酷炫的词云图 本文基于前文爬取生成的douban.txt,基于SnowNLP做情感分析. 依赖库: 豆瓣镜像比较快: ...

  4. 《你好李焕英》票房超《神奇女侠》,贾玲成全球票房最高女导演

    4月6日消息,据猫眼专业版数据显示,4月6日10时,<你好,李焕英>累计票房达到53.95亿元,超过<神奇女侠>(8.22亿美元),贾玲成为全球票房最高女导演. 此前,< ...

  5. 《你好李焕英》票房反超《唐探3》 成中国影史票房第五

    2月22日消息,上映第10天,<你好,李焕英>票房逆袭<唐人街探案3>,同时<你好,李焕英>也成为中国影史票房第五名.截至发稿,<你好,李焕英>累计票房 ...

  6. 《你好,李焕英》总票房逆袭《哪吒》 成中国影史亚军

    昨日,据媒体报道,今年春节档影片最大的黑马非<你好,李焕英>莫属,其票房已经突破50亿元,而这是它上映23天取得的成绩. 截止到3月6日13:43:22,由贾玲执导,张小斐.沈腾.陈赫等人 ...

  7. 后起之秀,《你好,李焕英》,票房已过十个亿和唐探三哪个好?

    两部电影我都看过了,说一说我的感受! <唐人街探案3>凭借着1和2积攒下来的的口碑,从预售开始就一骑绝尘,抢走了6成票房.我最先选择看的就是这部电影,也是冲着1和2的惊艳去的!但是看完电影 ...

  8. 你好李焕英票房54亿,出品人能分多少,网友:投资水门桥能赚多少

    2021年春节档,你好李焕英在大片云集的电影市场脱颖而出,然而这部由贾玲导演的小成本电影,竟然逆袭成为了票房第一,实力赶超战狼2,哪吒之魔童降世这个火遍全国的电影,竟然甘拜下风!大多数网友不淡定了,这 ...

  9. 北京文化:目前《你好李焕英》贡献营收约6000万至6500万元

    2月19日消息,北京文化发布公告称,公司参与制作.发行的电影<你好,李焕英>于2021年2月12日起在中国大陆地区公映.根据国家电影专资办数据,截至2021年2月17日24时,影片在中国大 ...

最新文章

  1. 微生物组助手——最易学的扩增子、宏基因组分析流程
  2. .net c# 正则表达式 平衡组/递归匹配
  3. 服务器硬盘SAS与SATA区别介绍
  4. Nmap参数--探索网络
  5. 湖北大学计算机科学与技术怎么样,湖北大学(专业学位)计算机技术考研难吗
  6. 16.1 Tomcat介绍 16.2 安装jdk 16.3 安装Tomcat
  7. 更新wordpress遇到prepare警告问题的解决
  8. c++已知2点求中垂线_呆哥数学函数合集——函数的概念【2】
  9. tinymce 富文本简单使用
  10. android 输入框失去焦点,AutoCompleteTextView默认首次失去焦点
  11. 可以测试流放之路伤害的软件,流放之路:游戏难点!你知道平均每秒伤害(DPS)怎么计算吗!...
  12. ISO7637-2测试case汇总
  13. 爬取北邮人论坛美食帖子
  14. Your application has presented a UIAlertController的解决方法
  15. SMAA算法详解 - SMAAEdgeDetectionVS
  16. 数字IC后端需要学习什么?需要具备哪些技能?
  17. 钟茜的工作日志跟在这里
  18. patch的用法【转】
  19. 积分球测试软件无法创建新文档,关于积分球测试的总结(最新整理)
  20. 【Ubuntu】Ubuntu16.04安装GTX960M显卡驱动(960、1070and 750ti直接图形界面安装亲测能用,1080需要到命令界面安装亲测能用)

热门文章

  1. 分页第一页用0还是1_洗脸用冷水还是热水好?这些错误只要犯1个,你的脸就白洗了!...
  2. 医疗管理系统-检查组管理
  3. peewee mysql_peewee基本使用
  4. 29(将数字字符串转换成数字)
  5. 视频中的3D人体姿态估计(3D human pose estimation in vide)--------Facebook research: VideoPose3D
  6. 门限签名(1)——秘密共享
  7. OpenCV——将图片转换成视频
  8. 第一次系统发版的过程(一)
  9. 最全面的gtest的TEST宏源码解析及自动调度机制
  10. 蓝桥杯 印章Java