python爬取猫眼电影

爬取猫眼电影排名前一百的电影
验证问题不知道怎么解决，隔段时间要重新输一次链接‘

# -*- coding: utf-8 -*-
"""
Created on Wed Dec 29 21:07:41 2021@author: shiyu
"""import requests
import re#爬取电影名
def get(url):try:html=requests.get(url,headers=headers)except:print('error')if html.text.find('验证')!=-1:print('需要验证，重新输入网址')k2=r'(<p class="name"><a href="/films/\d+" title=")(.*?)(\")'ans=re.findall(k2, html.text)if ans:for it in ans:list.append(it[1])url='https://www.maoyan.com/board/4?timeStamp=1640784403769&sVersion=1&offset=0&requestCode=8202caf044f2e49747af494993ef4b1fe5shf&index=3&webdriver=false&signKey=1a9bca8888a3481620062a6d57df6544&channelId=40011'
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36 Edg/96.0.1054.62'}
list=[]#将可能出现在两种位置的offset=**替换掉,得到‘中间url’
k1_1=r'(.*?)(offset=.*?)(&.*)'
l=re.search(k1_1,url)
if l:s=re.sub(k1_1,r'\1%s' %'{}'+l.group(3),url)
else:k1_2=r'offset=.*'s=re.sub(k1_2,'{}',url)
url_=s#清空data.txt
with open('data.txt','w') as f:pass
#生成偏移值得到下一个网页链接并爬取
for i in range(0,10):add='offset='+str(i*10)url=url_.format(add)print(url+'\n')get(url)#爬取结果写入data.txt
with open('data.txt','a',encoding='utf-8') as f:for it in list:f.write(it+'\n')

python爬取猫眼电影相关推荐

（伪）Python爬取猫眼电影（反反爬虫过程中遇到的坑）
Python爬取猫眼电影 1.打开一个猫眼电影的URL,例如本月的较火的电影<毒液:致命守护者>http://maoyan.com/films/42964 直接F12,查看审核元素,发现上 ...
python爬取猫眼电影数据
每天一点点,记录学习每一步近期爬虫项目: 1:python 爬取菜鸟教程python100题,百度贴吧图片反爬虫下载,批量下载 2:python爬虫爬取百度贴吧图片,requests方法 3:pyt ...
python猫眼电影分析_用Python 爬取猫眼电影数据分析《无名之辈》
前言作者: 罗昭成 PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 http://note.youdao.com/noteshare?id=3054cce4add8a909e7 ...
利用python爬取猫眼电影，分析《大侦探皮卡丘》|凹凸数读
利用python爬取猫眼电影,分析<大侦探皮卡丘>,看看当皮卡丘长出绒毛,"丑拒"还是"真香"都在猫眼短评里了. 本文首发于微信公众号<凹凸数 ...
Python爬取猫眼电影TOP100榜
Python爬取猫眼电影TOP100榜兴趣点: 这个没什么特别的兴趣,只是单纯爬猫眼练手的人太多了,所以我也打算加入他们,对猫眼员工说一声不好意思了,哈哈哈! 爬取网址: 传送门:https://m ...
python 爬取猫眼电影网站数据
完整代码下载:https://github.com/tanjunchen/SpiderProject/tree/master/maoyan python 爬取 movie.douban.com 网站 ...
Python爬取猫眼电影榜单评分，以及评论
猫眼电影评论爬取 [目标] (1)爬取榜单电影名称以及评分,简单的数据可视化. (2)爬取< 你好,李焕英>的评论,用词云显示第一步:了解反爬机制: 1.请求过多,ip地址会被封掉24h ...
python爬猫眼电影影评,EX1 | 用Python爬取猫眼电影 APP 关于《无双》电影评论
在本次推送中,以猫眼电影 APP 中的电影评论作为爬取目标,完成对网页数据的采集.在采集完成后,我们将每个评论数据采集分用户名.评论时间.用户性别.用户等级.用户所在城地.用户评分.以及评论内容等,并 ...
Python爬取猫眼电影数据并对其进行数据可视化
前言如果大家经常阅读Python爬虫相关的公众号,都会是以爬虫+数据分析的形式展现的,这样很有趣,图表也很不错,今天了,我就来分享上一次在培训中的一个作品:猫眼电影爬虫及分析. 爬虫分析这里是获取 ...

python爬取猫眼电影

python爬取猫眼电影相关推荐

最新文章

热门文章