爬取豆瓣TOP250电影排行榜

正则表达式的概念
使用单个字符串来描述一系列符合某个句法规则的字符串
是对字符串操作的一种逻辑公式
应用场景：处理文本和数据
正则表达式过程：依次拿出表达式和文本中的字符比较，如果每一个字符都能匹配，则匹配成功；否则就匹配失败。

参数：pattern：正则模型、string：要匹配的字符串
flags：匹配模式/标示位如：是否区分大小写、多行匹配等
span() #匹配字符串的开始和结束位置的索引位置
group() #获取内容
re.match() #从头匹配一个符合规则的字符串，从起始位置开始匹配，匹配成功返回一个对象，未匹配成功返回None。
re.search() #函数会在字符串内查找模式匹配，只要找到第一个匹配然后返回，如果没有字符串匹配返回None
re.findall() #以列表的形式返回匹配的字符串
re.sub() #替换
re.split() #split能够按照所能匹配的字符串，将字符串进行切分，返回切分后的字符串列表

import re
import requests
# 循环从0到250，每次循环25
for i in range(0, 250, 25):url = "https://movie.douban.com/top250?start=" + str(i) + "&filter="headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/91.0.4472.114 ''Safari/537.36 Edg/91.0.864.54 '}response = requests.get(url=url, headers=headers)# 获取页面数据page_text = response.text# 编写正则OBJ# 获得name值  regular_obj = re.compile(r'<li>.*?<div class="item">.*?<span class="title">(?P<name>.*?)</span>', re.S)# 获取年份值   .*?<p class="">.*?<br>(?P<year>.*?)&nbsp# 获取评价人数  .*?<span>(?P<score>.*?)</span>regular_obj = re.compile(r'<li>.*?<div class="item">.*?<span class="title">(?P<name>.*?)</span>.*?<p class="">.*?<br>'r'(?P<year>.*?)&nbsp.*?<span>(?P<score>.*?)</span>', re.S)obj = regular_obj.finditer(page_text)# 因为返回的是一个迭代器对象所以遍历一下for it in obj:print(it.group("name"))print(it.group("year").split())print(it.group("score"))

爬取豆瓣TOP250电影排行榜相关推荐

PowerBI也能做爬虫：爬取豆瓣Top电影排行榜
对于简单的页面数据爬取,其实使用PowerBI就可以可视化直接实现了,不需要另外写爬虫程序.本文以爬取豆瓣Top250电影排行榜示例说明下操作的基本过程. 一.分析URL规律及网页结构打开豆瓣电影T ...
[python爬虫] BeautifulSoup和Selenium对比爬取豆瓣Top250电影信息
这篇文章主要对比BeautifulSoup和Selenium爬取豆瓣Top250电影信息,两种方法从本质上都是一样的,都是通过分析网页的DOM树结构进行元素定位,再定向爬取具体的电影信息,通过代码的对 ...
爬取豆瓣top250电影并分析
爬取豆瓣top250电影,提取评论关键词,然后将同一国家的关键词做成一个词云,轮廓是每个国家的地图轮廓爬取数据需要爬取电影名称.导演.年份.地区和前10个评论除了地区,其他的都没什么问题,我们来研 ...
scrapy爬取豆瓣top250电影数据
scrapy爬取豆瓣top250电影数据 scrapy框架 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中. sc ...
【实战1】用BeatuifulSoup解析器爬取豆瓣Top250电影的名称
[实战1]用BeatuifulSoup解析器爬取豆瓣Top250电影的名称一. 爬虫的普遍步骤二. 项目目标分析三.完整爬取代码参考链接: https://www.bilibili.com/v ...
【实战2】爬取豆瓣Top250电影的海报
[实战2]爬取豆瓣Top250电影的海报一. 项目目标分析二. 完整代码参考链接: https://www.bilibili.com/video/BV1ZJ411N7Fq?p=4 一. 项目目标 ...
Python爬取豆瓣Top250电影中2000年后上映的影片信息
Python爬取豆瓣Top250电影中2000年后上映的影片信息前言双十一前加在京东购物车的一个东西,价格330,Plus会员用券后差不多310.双十一当天打开看了下399,还得去抢满300减10 ...
python采用requests+bs4爬取豆瓣top250电影信息
爬取豆瓣top250电影说明 (链接:https://movie.douban.com/top250,可爬取一页或者多页(输出电影的正标题(肖申克的救赎),副标题( The Shawshank Red ...
爬取豆瓣TOP250电影的评分、评价人数、短评等信息，并在其保存在sql数据库中。
爬取目标爬取豆瓣TOP250电影的评分.评价人数.短评等信息,并在其保存在sql数据库中. 最终实现效果如图: 确定爬取的URL 爬取的网页地址为:https://movie.douban.com/ ...

爬取豆瓣TOP250电影排行榜

爬取豆瓣TOP250电影排行榜相关推荐

最新文章

热门文章