一 . 原理

python实战的第一个项目基本上都是豆瓣的top250吧hhhh。
这次采取的是正则提取内容，用来熟悉正则表达式
首先要拿到页面的源代码，然后通过观察，编写正则表达式来提取出我们想要的内容，最后通过一个while循环来提取到每个网页上的内容

二 . 注意点

1 . 返回403

在写完request的时候，可以打印一下返回的respond，看看是否返回200，即正确请求
如果返回的是403的话，记得加一个UA(User Agent)，因为如果不加UA的话，发出的请求默认UA是python，看不出来是个浏览器，所以会被拦截，所以我们要伪装

2 . 循环获取页面数据

这里我是用的while循环，记得open()创建文件时，mode不能选择’w’,因为’w’模式是覆盖数据然后重新书写，就因为这个东西改了整整一天bug呜呜呜
mode选择位’a’或者’a+'即可

3 . 正则表达式

书写正则表达式老复杂了，因为我是用VS code写的代码，所以大家注意一些高亮语法，来尽量避免错误。
同时在看网页源代码的时候千万千万不要看岔了，我又因为看岔了改了半天bug呜呜呜。

三 . 代码

# 拿到页面源代码
# 正则提取内容
import requests
import re
import csvflag = 0
while flag <= 225:url = "https://movie.douban.com/top250""?start=" + str(flag) + "&filter="myHeader = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36"}res1 = requests.get(url,headers=myHeader)print(res1)print(flag)pagecontent = res1.text# 解析数据obj = re.compile(r'<li>.*?<div class="item">.*?<span class="title">(?P<name>.*?)' r'</span>.*?<p class="">.*?<br>(?P<year>.*?)&nbsp'r'.*?<span class="rating_num" property="v:average">(?P<score>.*?)</span>'r'.*?<span>(?P<number>.*?)</span>',re.S)res2 = obj.finditer(pagecontent)#print(res)f = open("data.csv", mode='a+',encoding='utf-8')csvwriter = csv.writer(f)for i in res2:# print(i.group("name"))# print(i.group("year").strip())# print(i.group("score"))# print(i.group("number"))dic = i.groupdict()dic['year'] = dic['year'].strip() # 对年份进行单独处理csvwriter.writerow(dic.values())flag += 25
print("over！")

python爬虫实战(一)——豆瓣top250(re)相关推荐

python爬虫拉取豆瓣Top250数据
python爬虫拉取豆瓣Top250数据利用request和正则表达式抓取豆瓣电影Top250的相关内容,提取出电影的名称.时间.评分和图片等信息,提取的站点url为https://movie.do ...
python爬虫实战获取豆瓣排名前250的电影信息--基于正则表达式
一.项目目标爬取豆瓣TOP250电影的评分.评价人数.短评等信息,并在其保存在txt文件中,html解析方式基于正则表达式二.确定页面内容爬虫地址:https://movie.douban.co ...
python爬虫爬取豆瓣top250电影影评
信息系统课程项目,小组准备做一个电影推荐系统,自己选了觉得很有趣的资源模块,需要获取电影的评价资源等信息.花了大约一周看Web Scraping with Python这本书,对爬虫有了大体但是初略的 ...
Python爬虫爬取豆瓣TOP250和网易云歌单
python爬虫(网易云)笔记 @(python学习) 先推荐看一下b站的视频链接如下:https://www.bilibili.com/video/BV12E411A7ZQ?from=search& ...
python爬虫——爬取豆瓣TOP250电影
相信很多朋友在看一部电影的时候喜欢先去豆瓣找一下网友对该片的评价.豆瓣作为国内最权威的电影评分网站,虽然有不少水军和精日精美分子,但是TOP250的电影还是不错的,值得一看. 爬取目标本文将爬取豆瓣 ...
python爬虫--爬取豆瓣top250电影名
关于模拟浏览器登录的header,可以在相应网站按F12调取出编辑器,点击netwook,如下: 以便于不会被网站反爬虫拒绝. 1 import requests 2 from bs4 import ...
python爬虫实战—豆瓣电影TOP250
系列文章目录 python爬虫实战前言本文主要用python爬取豆瓣电影TOP250数据并将爬取到的数据保存到MySQL中.同时也介绍了该项目中遇到的问题. 爬取内容:电影名称,电影别名,导演,主 ...
Python爬虫实战(1) | 爬取豆瓣网排名前250的电影（下）
在Python爬虫实战(1) | 爬取豆瓣网排名前250的电影(上)中,我们最后爬出来的结果不是很完美,这对于"精益求精.追求完美的"程序猿来说怎么能够甘心所以,今天,用pyth ...
Python爬取豆瓣音乐存储MongoDB数据库(Python爬虫实战1)
Python爬取豆瓣音乐存储MongoDB数据库(Python爬虫实战1) 1. 爬虫设计的技术 1)数据获取,通过http获取网站的数据,如urllib,urllib2,requests等模块: ...

python爬虫实战(一)——豆瓣top250(re)

文章目录