Python爬虫练习:爬取猫眼电影实时票房
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。
以下文章来源于CSDN ,作者嗨学编程
前言
随着疫情的转好,电影院终于在7月20日复工了。
电影《八佰》快接近尾声了,截止目前,上映29天票房已破27亿。
让我们来看看近段时间,有哪些电影取得了好的成绩
目标网站
http://piaofang.maoyan.com/dashboard
基本环境配置
- python 3.6
- pycharm
- requests
- csv
数据接口
请求网页获取数据
import requests
url = 'http://piaofang.maoyan.com/dashboard-ajax/movie'
params = {
}cookies = {}headers = {}response = requests.get(url=url, params=params, headers=headers, cookies=cookies)
html_data = response.json()pprint.pprint(html_data)
解析数据
movieList = html_data['movieList']['list']
dit = {}for i in movieList: dit['电影名'] = i['movieInfo']['movieName']dit['票房'] = i['sumBoxDesc']dit['票房占比'] = i['boxRate']dit['排片占比'] = i['showCountRate']dit['上映周期'] = i['movieInfo']['releaseInfo']pprint.pprint(dit)
保存数据
import csv
f = open('data.csv', mode='a', encoding='utf-8', newline='')
csv_write = csv.DictWriter(f, fieldnames=['电影名', '票房', '票房占比', '排片占比', '上映周期'])
csv_write.writeheader()f.close()
运行代码,结果如下图
Python爬虫练习:爬取猫眼电影实时票房相关推荐
- python爬虫实战--爬取猫眼专业版-实时票房
小白级别的爬虫入门 最近闲来无事,发现了猫眼专业版-实时票房,可以看到在猫眼上映电影的票房数据,便验证自己之前学的python爬虫,爬取数据,做成.svg文件. 爬虫开始之前 我们先来看看猫眼专业版- ...
- 【Python爬虫】爬取猫眼电影票房
题记 本文旨在记录爬取猫眼电影国内票房榜单的过程,以及对脚本内字体文件反爬函数的说明. 环境 系统: Windows 10 Python版本: Python 3.7 爬取时间: 2019.3.19 难 ...
- python爬虫,爬取猫眼电影1(正则表达式)
本文用正则.xpath.beautifulsoup.css.pyquery几种不同的方式,爬取猫眼电影.只是记录过程.比较乱. 猫眼电影现在也添加了一些反爬虫机制,如果直接用requests可能会40 ...
- python爬取动态加载的网页之爬取猫眼电影实时票房
<猫眼电影实时票房>这个网页是通过动态加载的数据,大约4秒钟就要请求一次服务器,上面的数据每次请求都会产生变化,如果直接用requests请求它的html源代码,并获取不了它的数据. 网页 ...
- 【Python爬虫】爬取猫眼电影排行榜并存放至csv文件
在进行本节实战之前,希望您对requests库以及正则表达式有所了解. 运行平台:windows **Python版本: Python3.x ** 一.依赖库的安装 在本节实战之前,请确保已经正确安装 ...
- python爬虫基础爬取猫眼电影
爬取猫眼电影排行榜第一页 import requests from requests.exceptions import RequestException from sqlalchemy import ...
- Python全栈开发-Python爬虫-05 爬取猫眼电影榜单信息
爬取猫眼电影榜单信息(翻页) 一. 获取url及headers 首先进入猫眼电影首页: 猫眼电影 之后点击菜单栏的 榜单 并在下面选择 TOP100榜 接着右击检查并刷新界面,在Network中找到4 ...
- python爬虫,爬取猫眼电影2(xpath和bs4)
接着上面的. 使用xpath提取信息,虽然python很多库,比如beautifulsoup,也有很多功能,比如查找节点,添加删除节点.但是个人感觉对爬虫来说,最重要的还是提取信息,当然,顺利的提取信 ...
- python战反爬虫:爬取猫眼电影数据 (一)(Requests, BeautifulSoup, MySQLdb,re等库)
姓名:隋顺意 博客:Sui_da_xia 微信名:世界上的霸主 本篇文章未涉及猫眼反爬,主要介绍爬取无反爬内容,战反爬内容请去 python战反爬虫:爬取猫眼电影数据 (二)(Requests, Be ...
最新文章
- [蓝桥杯][2018年第九届真题]日志统计(树状数组)
- 【实践】因果推断在快手推荐场景的应用探索.pdf(附下载链接)
- 一公顷等于多少平方米
- 在python中的使用Libsvm
- http客户端-性能比较系列-第二篇-多线程
- 东方甄选推独立App自立门户;西湖大学『强化学习数学基础』教材书稿;经典书籍『深入浅出设计模式』Python版代码;前沿论文 | ShowMeAI资讯日报
- ThinkBook 14P Win11网卡驱动掉了-解决方案
- 代码审查工具 FindBugs
- Android之录制歌曲
- opencv中的颜色通道BGR与常规颜色通道RGB的差异
- html添加悬浮图片,HTML5和jQuery制作网页灰度图片悬浮效果_js
- filtering_audio.c/filtering_video.c 解读
- but only one is allowed. 重复处理跨域请求
- 网站设计高性能高并发
- Formality总结
- 扫描建模在三维建模中有多厉害?
- 用python输出所有的玫瑰花数_python玫瑰花
- educoder平台项目——旅游网站之数据分析
- ATFX:离岸人民币破6.9,距离整数关口7仅一步之遥
- SD卡数据恢复教程:3种工具一键恢复SD卡误删的照片