爬取豆瓣排行榜电影数据

进入豆瓣排行榜喜剧模块页面，我们想要获取其电影数据，首先肯定不能直接对当前url发起请求，因为这样获取的将会是整个页面数据，而不是单纯的电影数据。

经过观察发现该页面可以往下拖动页面而更新电影，所以猜想为ajax请求，打开抓包工具，选中xhr发现确实为ajax请求，且返回数据为json。

可以看到为get请求，且下方携带参数，因此将参数用params封装。

 import requestsimport jsonif __name__ =='__main__':url='https://movie.douban.com/j/chart/top_list?type=24&interval_id=100%3A90&action=&start=140&limit=20'param={'type': '24','interval_id': '100:90','action':'','start': '140','limit': '20',}headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3877.400 QQBrowser/10.8.4508.400'}response=requests.get(url=url,params=param,headers=headers)list_data=response.json()fp=open('./douban.json','w',encoding='utf-8')json.dump(list_data,fp=fp,ensure_ascii=False)fp.close()print('over！！')

这样就获得了ajax请求的response数据了！

爬取豆瓣排行榜电影数据相关推荐

【Python实战】爬取豆瓣排行榜电影数据(含GUI界面版)
项目简介这个项目源于大三某课程设计.平常经常需要搜索一些电影,但是不知道哪些评分高且评价人数多的电影.为了方便使用,就将原来的项目重新改写了.当做是对爬虫技术.可视化技术的实践了.主要是通过从排行榜 ...
python爬取豆瓣排行榜电影数据(含GUI界面版)
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
python爬取豆瓣排行榜电影(静态爬取)(二次爬取)
目录 python爬取豆瓣排行榜电影(静态爬取) 获取网站url 获取网站headers get请求访问url BeautifulSoup解析网站爬取html数据完整代码 python爬取豆瓣排行 ...
scrapy爬取豆瓣top250电影数据
scrapy爬取豆瓣top250电影数据 scrapy框架 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中. sc ...
python3 协程爬虫，爬取豆瓣排行榜json数据
python携程爬取豆瓣电影排行榜json接口数据.仅学习使用,如有侵权.请联系删除不说废话直接贴代码,大体方法一样,解析方式不同 #python3 jupyter import asyncio i ...
python-爬虫爬取豆瓣Top250电影数据
目标效果: 代码: #-*- codeing =utf-8 -*- #################引入模块################# from bs4 import BeautifulSo ...
爬取豆瓣Top250电影
爬取豆瓣Top250电影数据一直是爬虫小白的入门练手项目,下面就来分享一下自己的爬取过程. 开始之前,先简单写一下需求和实现思路. 需求: 爬取豆瓣电影Top250的数据,数据包含排名.电影名称.导演 ...
PowerBI也能做爬虫：爬取豆瓣Top电影排行榜
对于简单的页面数据爬取,其实使用PowerBI就可以可视化直接实现了,不需要另外写爬虫程序.本文以爬取豆瓣Top250电影排行榜示例说明下操作的基本过程. 一.分析URL规律及网页结构打开豆瓣电影T ...
Python25行代码爬取豆瓣排行榜数据
Python25行代码爬取豆瓣排行榜数据只需要用到requests, re ,csv 三个库即可. code import re import requests import csv url = ' ...

爬取豆瓣排行榜电影数据

爬取豆瓣排行榜电影数据相关推荐

最新文章

热门文章