requests爬取豆瓣前250部高分电影

这两天又写了一个爬取豆瓣前250部高分电影的爬虫，并把电影名字和图片保存到本地。
用的是requests和BeautifulSoup。

@requires_authorization
import requests
from bs4 import BeautifulSoupdef get_(url):'''获得电影的名字，并且保存电影的图片'''name_list = []turn = 0page = urlwhile turn < 10:r = requests.get(page, timeout=10)soup = BeautifulSoup(r.text,'lxml')div_list = soup.find_all('div',{'class':'item'})for img in div_list:#寻找电影的名字movie_text = img.find('span', {'class': 'title'}).textname_list.append(movie_text)#寻找图片的urlmovie_img = img.find('img')['src']ir = requests.get(movie_img)#如果成功，以电影名保存图片到img文件夹if ir.status_code == 200:#需要在程序目录下新建一个img文件夹with open('img/'+movie_text+'.jpg', 'wb') as f:#with open(movie_text + '.jpg', 'wb') as f:             不需要新建文件夹f.write(ir.content)# 获得下一页的urlturn += 1yema = 25 * turnpage = url + '?start=' + str(yema) + '&filter='print('完成第{}页的保存,共10页'.format(turn))return name_listdef main():url = 'http://movie.douban.com/top250'name_list = get_(url)#将电影名写入到moviename.txtwith open('moviename.txt','w',encoding='utf-8') as f:for i,name in enumerate(name_list):f.write(name)f.write('\n')if __name__=='__main__':main()

requests爬取豆瓣前250部高分电影相关推荐

【爬取豆瓣前 250 部电影】Python 爬虫和数据可视化（上篇）
文章目录一.学习内容二.任务介绍三.爬虫知识四.基本流程五.准备工作 5.1 获取数据 5.2 解析数据 5.3 保存数据一.学习内容 Python 语言的基础知识网络爬虫的技术实现数 ...
爬取豆瓣前250电影数据
1.导入包 import requests from bs4 import BeautifulSoup import pandas as pd 2. 构造分页数字列表 page_indexs = li ...
Python 爬虫爬取豆瓣Top 250 并将海报图片爬取下来保存
本文章的所有代码和相关文章, 仅用于经验技术交流分享,禁止将相关技术应用到不正当途径,滥用技术产生的风险与本人无关. 本文章是自己学习的一些记录. 爬取豆瓣top 250 现在的很多学习的教程例子都是 ...
day02:requests爬取豆瓣电影信息
一.requests爬取豆瓣电影信息 -请求url: https://movie.douban.com/top250 -请求方式: get -请求头: user-agent cookies二.sele ...
爬取豆瓣的正在热映电影
爬取豆瓣的正在热映电影引言思路分析代码结果展示引言本篇文章较为基础,没有什么技术含量,主要是为了回顾一下如何用XPath提取HTML页面中的数据思路分析首先,进入豆瓣电影的主页,并且选 ...
爬虫如何翻页爬取豆瓣排名250电影
1.爬虫翻页问题: 正在做爬虫练习:爬取豆瓣电影排名前250的电影,但一页只显示排名前25的电影,爬取250部电影就遇到了爬虫翻页的问题.记录下,希望帮助到正在学习的小伙伴! 2.爬虫翻页解决思路: ...
【爬虫案例】Requests爬取豆瓣短评以及入门爬虫注意事项
一.Requests是什么? Requests 是一个 Python 的 HTTP 客户端库. 支持的 HTTP 特性: 保持活动和连接池.国际域名和URL.Cookie持久性会话浏览器式SSL验证 ...
Scrapy 框架：爬取豆瓣Top 250
使用Scrapy爬取豆瓣电影Top250 鲁迅说,豆瓣排行榜这么多,不爬一爬可惜了. 第一步:安装Scrapy 安装命令: pip3 install scrapy win用户一般来说第一次都不会太顺利 ...
爬取豆瓣Top 250电影信息、下载图片、存储到Excel，快来试试吧！
写的第一个还算有点复杂的Python的程序,有点意思,感觉Python的实用性和开发效率实在很优秀,O(∩_∩)O哈哈~ 源代码在最后,有兴趣的可以试试跑一下. 爬虫地址豆瓣电影 Top 250. 文 ...

requests爬取豆瓣前250部高分电影

requests爬取豆瓣前250部高分电影相关推荐

最新文章

热门文章