学习python之余，想列一个观影清单，每次上豆瓣搜太麻烦了，就爬取一个清单自己使用吧。
直接上代码：

coding:“utf-8”

import requests
import re
import csv

f=open(‘douban.csv’,mode=‘w’,newline=’’)
csvwirter=csv.writer(f)
for num in range(0,250,25):
url=f"https://movie.douban.com/top250?start={num}"
header = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36’
}
resp=requests.get(url,headers=header)
text=resp.text
rel = re.compile(r’

.?(?P.?).?
(?P.?)&nbsp.?’
r’(?P.?).?(?P.?)人评价’,re.S)
result=rel.finditer(text)
for i in result:
info=i.groupdict()
info[‘year’]=info[‘year’].strip()
csvwirter.writerow(info.values())
resp.close()
f.close()
print(‘over’)

python爬取豆瓣250排行榜数据相关推荐

python爬取豆瓣电影排行榜数据
电影推荐-豆瓣电影排行榜数据抓取目标网址:https://movie.douban.com/top250?start= 目标数据描述:(1)排名(2)电影名字 (3)链接 (4)导演人员 (5)评价 ...
python爬取豆瓣电影信息数据
题外话+ 大家好啊,最近自己在做一个属于自己的博客网站(准备辞职回家养老了,明年再战)在家里琐事也很多, 加上自己一回到家就懒了(主要是家里冷啊! 广东十几度,老家几度,躲在被窝瑟瑟发抖,) 由于 ...
【Python爬虫】用Python爬取娱乐圈排行榜数据
想关注你的爱豆最近在娱乐圈发展的怎么样吗?本文和你一起爬取娱乐圈的排行榜数据,来看看你的爱豆现在排名变化情况,有几次登顶,几次进了前十名呀. PS:在下一篇文章中分析排行榜的动态变化趋势,并绘制成 ...
使用request和re爬取豆瓣250排行榜信息
1.1 请求请求,也就是由客户端发出,可以分成4部分:请求方法.请求的网址.请求头.请求体. 常见的请求方法有两种:GET和POST. 在浏览器里直接输入URL然后回车,这就发起了一个GET请求,请 ...
Python爬取豆瓣电影评论数据(通用模板代码)----以《中国医生》为例
中国医生豆瓣电影评论获取 1 前言 2 数据源分析 3数据爬取(代码实现) 4 结果展示 1 前言豆瓣是影迷评分.非视频网站,也非购票平台,能长期专门使用豆瓣标记.评价电影的,相对来说是属于影迷 ...
超实用的爬虫利器selenium 爬取豆瓣喜剧电影排行榜数据
话不多说上代码这里依然选择的是反爬最少对新手友好的豆瓣小可爱之前的招聘网站反爬都tui厉害... selenium库和chromedriver 的环境变量问题网上都有很多教程这里不再赘述唯一需要 ...
python爬取豆瓣电影排行榜_爬取豆瓣电影排名的代码以及思路
博问上到有人问的,后自己帮他代码修正了一下,其实蛮简单的一个爬虫代码以及思路 from requests_html import htmlsession session = htmlsession( ...
python爬虫爬取豆瓣电影排行榜并通过pandas保存到Excel文件当中
我们的需求是利用python爬虫爬取豆瓣电影排行榜数据,并将数据通过pandas保存到Excel文件当中(步骤详细) 我们用到的第三方库如下所示: import requests import pan ...
python爬取豆瓣电影评论_python 爬取豆瓣电影评论，并进行词云展示及出现的问题解决办法...
def getHtml(url): """获取url页面""" headers = {'User-Agent':'Mozilla/5.0 ( ...

python爬取豆瓣250排行榜数据

coding:“utf-8”

python爬取豆瓣250排行榜数据相关推荐

最新文章

热门文章