python爬虫——爬取豆瓣top250电影信息

获取豆瓣top250电影信息，包括电影海报链接、详情链接、中/外文名、评分、评价人数、一句话评价等

环境

系统：macOS Catalina -V 10.15.4
IDE ：Vscode -V 1.46.0
语言：Python -V 3.7.7
库：urllib、bs4、re、ssl、xlwt
非自带包都是使用如下语句安装：

pip install package-name

实现步骤

URL：https://movie.douban.com/top250
对网页进行简单分析发现，一共有10个页，每个页面有25部电影的信息。
各页面的URL构成为

https://movie.douban.com/top250？start=i（i for i in range(10))

构造源码请求函数

伪装请求头，获取目标网页源码网页获取

import urllib.request, urllib.error
import ssl
def askURL(url):'''用于请求网页源码'''#部分网站会根据请求头中的User-Agent内容进行判断，如果是爬虫则限制访问，所以要对请求头进行伪装，模拟浏览器访问，根据需要还可添加其它头部信息#User-Agent信息可以用Chrome打开网页，按F12打开Web检查器，在Network栏目下的Headers中可找到head = {}head["User-Agent"] = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36" request = urllib.request.Request(url, headers = head)html = "" #用于接收网页的源码信息context = ssl._create_unverified_context() '''当使用urllib打开https的链接时，会检验一次ssl证书.而当目标网站使用的是自签名证书时，就会抛出urllib2.URLError的错误.解决办法一：ssl._create_default_https_context = ssl._create_unverified_context 全局取消证书验证解决办法二：创建未验证的上下文，在url中传入上下文参数 context = ssl._create_unverified_context()'''try:response = urllib.request.urlopen(request, context= context)html = response.read().decode()    #read()函数获取到的是bytes类型的数据，decode()用于将其解码except urllib.error.HTTPError as e:if hasattr(e, "code"): #hasattr()判断一个对象是否含有某种属性print(e.code) #code 为http状态码if hasattr(e, "reason"):print(e.reason) #错误原因return html

获取目标数据

使用bs4和re库提取网页源码中的目标信息
可以看到想要获取的信息在一个div class="item标签中

from bs4 import BeautifulSoup #网页解析，获取数据
import re #正则模块，提取信息#创建正则表达式，获取对应信息
#影片详情连接
findLink = re.compile(r'<a href="(.*?)">')
#影片图片连接
findimgSrc = re.compile(r'src="(.*?)"', re.S) #re.S 忽略换行符
#影片片名
findTitle = re.compile(r'<span class="title">(.*?)</span>')
#影片评分
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*?)</span>')
#评价人数
findJudge = re.compile(r'<span>(\d*)人评价</span>')
#一句话评价
findInq = re.compile(r'<span class="inq">(.*?)</span>')
#影片相关内容
findBd = re.compile(r'<p class="">(.*?)</p>', re.S)def getData(baseurl):datalist = []for i in range(10):url = baseurl + str(i*25)html = askURL(url)  #保存获取到的网页源码#解析数据#BeautifulSoup4将复杂文档转换成一个复杂的树形结构，便于获取指定内容，需指定目标数据和和解析器soup = BeautifulSoup(html, "html.parser")for item in soup.find_all("div", class_ = "item"):  #查找符合要求的所有字符串形成列表，类似于css选择器# print(item)       #测试查看电影item信息是否获取到data = []   #保存一部电影的全部信息item = str(item) #item是bs4.element.Tag类型的，需要转换成字符串类型，便于使用正则提取信息link = re.findall(findLink, item)[0]#根据findLink匹配item中的字段，并返回匹配信息，如r'<a href="(.*?)">'中(.*?)就是所匹配到的信息，r表示忽略转义等特殊字符作为普通字符处理data.append(link)imgSrc = re.findall(findimgSrc, item)[0]data.append(imgSrc)title = re.findall(findTitle, item)if len(title) >= 2:data.append(title[0])data.append(re.sub(r'\xa0', '', title[1].replace("/", "")))else:data.append(title[0])data.append(' ')rating = re.findall(findRating, item)[0]data.append(rating)judge = re.findall(findJudge, item)[0]data.append(judge) inq = re.findall(findInq, item)if len(inq) != 0:inq = re.sub(r'\xa0', '', inq[0])data.append(inq.replace("。", ""))else:data.append(' ')bd = re.findall(findBd, item)[0]bd = re.sub('...<br(.*?)>', ' ', bd)bd = re.sub(r'/', ' ', bd)bd = re.sub(r'\xa0', ' ', bd)data.append(re.sub(r'\n                        ', '', bd).strip())# print(data, end='')datalist.append(data)return datalist

保存数据到excel

使用xlwt模块创建操作excel

import xlwt
def savaData(data, path):workbook = xlwt.Workbook(encoding="utf-8") #实例化一个工作区，相当于构建一个框架worksheet = workbook.add_sheet('豆瓣电影Top250', cell_overwrite_ok=True)    #创建工作表，cell_overwrite_ok=True 表示可以对单元格进行重设值col = ('电影详情连接', '图片链接', '影片中文名', '影片外文名', '评分', '评价数', '概况', '相关信息')for i in range(8):worksheet.write(0, i, col[i])   #第一个参数表示行，第二个参数为列，第三个参数为要写入的内容，行列都是从0开始for i in range(250):for j in range(8):worksheet.write(i+1, j, data[i][j]) #写入数据print('第%d条'%i)workbook.save(path)   #保存

测试

    baseurl = 'https://movie.douban.com/top250?start='datalist = getData(baseurl)savePath = '豆瓣电影Top250.xls'savaData(datalist, savePath)

成功获取数据

python爬虫——爬取豆瓣top250电影信息相关推荐

python爬虫爬取豆瓣top250电影影评
信息系统课程项目,小组准备做一个电影推荐系统,自己选了觉得很有趣的资源模块,需要获取电影的评价资源等信息.花了大约一周看Web Scraping with Python这本书,对爬虫有了大体但是初略的 ...
python爬虫——爬取豆瓣TOP250电影
相信很多朋友在看一部电影的时候喜欢先去豆瓣找一下网友对该片的评价.豆瓣作为国内最权威的电影评分网站,虽然有不少水军和精日精美分子,但是TOP250的电影还是不错的,值得一看. 爬取目标本文将爬取豆瓣 ...
python爬虫--爬取豆瓣top250电影名
关于模拟浏览器登录的header,可以在相应网站按F12调取出编辑器,点击netwook,如下: 以便于不会被网站反爬虫拒绝. 1 import requests 2 from bs4 import ...
[python爬虫] BeautifulSoup和Selenium对比爬取豆瓣Top250电影信息
这篇文章主要对比BeautifulSoup和Selenium爬取豆瓣Top250电影信息,两种方法从本质上都是一样的,都是通过分析网页的DOM树结构进行元素定位,再定向爬取具体的电影信息,通过代码的对 ...
python采用requests+bs4爬取豆瓣top250电影信息
爬取豆瓣top250电影说明 (链接:https://movie.douban.com/top250,可爬取一页或者多页(输出电影的正标题(肖申克的救赎),副标题( The Shawshank Red ...
Python爬虫爬取豆瓣TOP250和网易云歌单
python爬虫(网易云)笔记 @(python学习) 先推荐看一下b站的视频链接如下:https://www.bilibili.com/video/BV12E411A7ZQ?from=search& ...
Python|简单爬取豆瓣网电影信息
欢迎点击「算法与编程之美」↑关注我们! 本文首发于微信公众号:"算法与编程之美",欢迎关注,及时了解更多此系列文章. 欢迎加入团队圈子!与作者面对面!直接点击! 前言: 在掌握一些 ...
python爬虫——爬取豆瓣热门电影海报生成html文件
环境 webbrowser urllib requests v2.21.0 实现功能过程 1.查看豆瓣热门电影模块源码: 看到其所在class为list-wp,我们想通过urllib里面的reque ...
Python爬虫爬取豆瓣电影TOP250
Python爬虫爬取豆瓣电影TOP250 最近在b站上学习了一下python的爬虫,实践爬取豆瓣的电影top250,现在对这两天的学习进行一下总结主要分为三步: 爬取豆瓣top250的网页,并通过 ...
Python爬虫入门 | 4 爬取豆瓣TOP250图书信息
先来看看页面长啥样的:https://book.douban.com/top250 我们将要爬取哪些信息:书名.链接.评分.一句话评价-- 1. 爬取单个信息我们先来尝试爬取书名,利用之 ...

python爬虫——爬取豆瓣top250电影信息

python爬虫——爬取豆瓣top250电影信息

环境

实现步骤

构造源码请求函数

获取目标数据

保存数据到excel

测试

python爬虫——爬取豆瓣top250电影信息相关推荐

最新文章

热门文章