爬虫入门（五）：下载豆瓣电影信息

2024-05-30 13:16:57

哈喽，大家好，我是小爬虫，上一节我们讲了如何爬取百度翻译实现自己的翻译程序，没有学习过的可以进入专栏读进行学习。今天我们再次使用requests来实现一个案例：下载豆瓣电影喜剧排行榜信息，包含电影名称，上映时间，评分。

豆瓣页面分析

首先我们打开豆瓣电影喜剧排行榜页面，查看我们需要的数据是在页面源代码里面还是在js中请求的。

我们首先进入源代码页面，搜索关键字‘美丽人生’，发现源代码里面并没有电影相关的信息，说明我们需要的数据是经过js请求而来的。

接下来我们进入浏览器调试工具，寻找这些电影信息是通过哪个接口请求而来的，很容易就可以找到我们需要的接口。

我们发现这个接口是一个GET请求，并且请求中还带了一些参数。

进入Payload页面观察这些参数，可以看到有5个参数，其中前面3个不需要关心，最重要的是后面2个，start表示请求从第几个电影开始，limit表示本次请求最多返回多少个电影信息。

我们再进入Preview页面观察返回结果，发现我们需要的电影信息都在里面。

实现豆瓣电影信息的爬取

经过以上分析，我们基本确定了我们的实现思路：

请求相关接口
解析返回的json数据
将解析的结果写入csv文件

接下来给出源代码：

import requests
import csvurl = "https://movie.douban.com/j/chart/top_list"
params = {"type": 24,"interval_id": "100:90","action": "","start": 0,"limit": 20
}
headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36"
}resp = requests.get(url, headers=headers, params=params)
movie_list = resp.json()f = open("豆瓣电影喜剧排行榜.csv", mode="w")
writer = csv.writer(f)for movie in movie_list:movie_name = movie['title']movie_time = movie['release_date']movie_score = movie['score']writer.writerow([movie_name, movie_time, movie_score])f.close()

运行之后打开同级目录下‘豆瓣电影喜剧排行榜.csv’这个文件，可以看到电影信息都正确地写入了。

这里只下载了前20条数据，如果你想下载更多，只需要循环去执行，改变参数中的start就行了。同样的道理，我们可以下载豆瓣电影其他排行榜的电影信息，大家可以自己下去实践。

本节的豆瓣电影信息下载就到这里，接下来我们将会继续学习爬虫的新知识，敬请期待。记得关注小爬哦~

本文首发于公众号：小爬虫，欢迎关注

爬虫入门（五）：下载豆瓣电影信息相关推荐

python爬取豆瓣电影信息_Python爬虫入门 | 爬取豆瓣电影信息
这是一个适用于小白的Python爬虫免费教学课程,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源.看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今天内你就可以迈入爬 ...
python爬虫电影信息_Python爬虫入门 | 爬取豆瓣电影信息
这是一个适用于小白的Python爬虫免费教学课程,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源.看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今天内你就可以迈入爬 ...
爬虫入门案例——爬取电影信息
综述:先介绍开发环境,在介绍从豆瓣电影上面爬取电影的电影名称,电影信息,电影剧照等信息,最终效果是以电影名称为文件夹名,文件夹包含一个txt文件和许多张剧照.如下图所示1是电影名,2是电影信息,3是各 ...
python爬虫爬取豆瓣电影信息城市_python爬虫，爬取豆瓣电影信息
hhhhh开心,搞了一整天,查了不少python基础资料,终于完成了第一个最简单的爬虫:爬取了豆瓣top250电影的名字.评分.评分人数以及短评. 代码实现如下:#第一个最简单的爬虫 #爬取了豆瓣to ...
python爬虫爬取豆瓣电影信息城市_Python爬虫入门 | 2 爬取豆瓣电影信息
这是一个适用于小白的Python爬虫免费教学课程,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源.看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今天内你就可以迈入爬 ...
Python爬虫入门（爬取豆瓣电影信息小结）
Python爬虫入门(爬取豆瓣电影信息小结) 1.爬虫概念网络爬虫,是一种按照一定规则,自动抓取互联网信息的程序或脚本.爬虫的本质是模拟浏览器打开网页,获取网页中我们想要的那部分数据. 2.基本流程 ...
python爬虫教材推荐豆瓣_Python爬虫入门教程：豆瓣Top电影爬取
基本开发环境Python 3.6 Pycharm 相关模块的使用requests parsel csv 安装Python并添加到环境变量,pip安装需要的相关模块即可. 爬虫基本思路一.明确需求爬 ...
小白都能看明白的Python网络爬虫、附上几个实用的爬虫小例子：爬取豆瓣电影信息和爬取药监局
文章目录网络爬虫爬虫的基础知识爬虫分类 requests模块爬虫的简单案例简单的收集器爬取豆瓣电影信息爬取药监局返回数据类型数据解析爬取糗事百科图片(正则表达式) xpath解析数 ...
python爬取豆瓣电影信息可行性分析_Python爬虫实现的根据分类爬取豆瓣电影信息功能示例...
本文实例讲述了Python爬虫实现的根据分类爬取豆瓣电影信息功能.分享给大家供大家参考,具体如下: 代码的入口:if __name__ == '__main__': main()#! /usr/bin ...
Python实现可视化界面多线程豆瓣电影信息爬虫，并绘制统计图分析结果
完整代码见链接:https://github.com/kuronekonano/python_scrapy_movie 实现时使用图形界面.多线程.文件操作.数据库编程.网络编程.统计绘图六项技术. ...

最新文章

热门文章