源码大公开！Python爬取豆瓣电影Top250源代码，赶紧收藏！
哈喽~大家好，我是恰恰。不知道是不是有很多小伙伴跟我一样，很喜欢看电影，尤其是那种别人推荐的豆瓣高分电影，所以学Python就有一个好处，用Python爬取豆瓣电影那是分分钟的事，再也不用因为有些电影看不了而难受了。 所以看到这里了赶紧给我点赞收藏起来~码住在学！
另外还给同学整理归纳了一些其他Python资料，想要的小伙伴关注恰恰， 点击后面的链接进入免费领取：https://docs.qq.com/doc/DZmpWZHpqZFFFZGhh?pub=1&dver=2.1.27114328
这篇内容使用Python爬取豆瓣电影Top250，含完整源代码，并实现两种方式保存数据（excel和数据库）主要分为四步：1、获取页面源代码；2、获取标签；3、正则表达式匹配；4、保存数据。先上完整代码，后面再对重点部分进行解析。
程序运行截图：
from bs4 import BeautifulSoup #页面解析,获取数据import re #正则表达式import urllib.request,urllib.error #指定URL,获取页面数据import xlwt #进行excel操作import sqlite3 #进行sql操作def main():baseUrl = "https://movie.douban.com/top250?start="#1.爬取网页,并解析数据dataList = getData(baseUrl)savePath=".\\豆瓣电影Top250.xls"#savePath = "movies.db"#2.保存数据saveData(dataList,savePath)#savedb(dataList,savePath)#---正则表达式---#链接findLink = re.compile(r'<a href="(.*?)">',re.S)#电影名字findName = re.compile(r'<span class="title">(.*?)</span>',re.S)#评分findRating = re.compile(r'<span class="rating_num" property="v:average">(.*?)</span>')#标题findInq = re.compile(r'<span class="inq">(.*?)</span>',re.S)#评分人数findCount = re.compile(r'<span>(.*?)人评价</span>')#电影信息findInf = re.compile(r'<p class="">(.*?)</p>',re.S)#1.爬取网页def getData(baseUrl):dataList = []for i in range(10):html = askUrl(baseUrl + str(i * 25))# 2.逐一解析数据bs = BeautifulSoup(html,"html.parser")for item in bs.find_all('div',class_="item"):data = []item = str(item)#链接link = re.findall(findLink,item)[0]#名字name = re.findall(findName,item)if len(name) == 1:cName = name[0]fName = " "else:name[1] = name[1].replace(" / ","")cName = name[0]fName = name[1]#评分rating = re.findall(findRating,item)[0]#标题inq = re.findall(findInq,item)if len(inq) < 1:inq = " "else:inq= inq[0]#评分人数racount = re.findall(findCount,item)[0]#电影信息inf = re.findall(findInf,item)[0]inf = re.sub("...<br(\s+)?/>(\s?)"," ",inf)inf = re.sub("/"," ",inf)inf = inf.strip()#添加一部电影的信息进datadata.append(link)data.append(cName)data.append(fName)data.append(rating)data.append(inq)data.append(racount)data.append(inf)dataList.append(data)return dataList#爬取指定urldef askUrl(url):head = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3776.400 QQBrowser/10.6.4212.400"}request = urllib.request.Request(url = url,headers=head)http = ""try:response = urllib.request.urlopen(request)http = response.read().decode("utf-8")except urllib.error.URLError as e:if hasattr(e,"code"):print(e.code)if hasattr(e,"reson"):print(e.reson)return http# 3.保存数据def saveData(dataList,savePath):woke = xlwt.Workbook("utf-8",style_compression=0)#样式的压缩效果sheet = woke.add_sheet("豆瓣电影Top250",cell_overwrite_ok=True)#覆盖原单元格信息col = ("链接","中文名字","英文名字","评分","标题","评分人数","概况")for i in range (7):sheet.write(0,i,col[i])for i in range (0,250):for j in range (7):sheet.write(i+1,j,dataList[i][j])print("第%d条数据"%(i+1))woke.save(savePath)print("保存完毕")#3.保存到数据库def savedb(dataList,dataPath):initdb(dataPath)conn = sqlite3.connect(dataPath)cur = conn.cursor()#开始保存数据for data in dataList:for index in range(len(data)):data[index] = str('"'+data[index]+'"')newstr = ",".join(data)sql ="insert into movie(info_link,cname,fname,rating,inq,racount,inf)values(%s)"%(newstr)print(sql)cur.execute(sql)conn.commit()cur.close()conn.close()print("保存完毕")#3-1新建表def initdb(dataPath):conn = sqlite3.connect(dataPath)cur = conn.cursor()sql = '''create table movie(id Integer primary key autoincrement,info_link text,cname varchar ,fname varchar ,rating varchar ,inq text,racount varchar ,inf text)'''cur.execute(sql)conn.commit()cur.close()conn.close()if __name__ == "__main__":#调用函数main()
一、获取页面源代码
伪装成浏览器；2.进一步包装请求；3.网页请求获取数据；4.解析并保存；5.返回数据。
import urllib.request,urllib.error #指定URL,获取页面数据#爬取指定urldef askUrl(url):#请求头伪装成浏览器(字典)head = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3776.400 QQBrowser/10.6.4212.400"}#进一步包装请求request = urllib.request.Request(url = url,headers=head)#存储页面源代码html = ""try:#页面请求,获取内容response = urllib.request.urlopen(request)#读取返回的内容,用"utf-8"编码解析html = response.read().decode("utf-8")except urllib.error.URLError as e:if hasattr(e,"code"):print(e.code)if hasattr(e,"reson"):print(e.reson)#返回页面源代码return html
二、获取标签
通过BeautifulSoup进一步解析页面源代码
from bs4 import BeautifulSoup #页面解析,获取数据Beautiful Soup 将复杂 HTML 文档转换成一个复杂的树形结构，每个节点都是 Python 对象,可分为四大对象种类,这里主要用到Tag类的对象,还有三种,有兴趣可以自己去深入学习~~
#构建了一个BeautifulSoup类型的对象soup#参数为网页源代码和”html.parser”，表明是解析html的bs = BeautifulSoup(html,"html.parser")#找到所有class叫做item的div,注意class_有个下划线bs.find_all('div',class_="item")
三、正则表达式匹配
先准备好相应的正则表达式,然后在上面得到的标签下手
#Python正则表达式前的 r 表示原生字符串（rawstring）#该字符串声明了引号中的内容表示该内容的原始含义，避免了多次转义造成的反斜杠困扰#re.S它表示"."的作用扩展到整个字符串，包括“\n”#re.compile()编译后生成Regular Expression对象，由于该对象自己包含了正则表达式#所以调用对应的方法时不用给出正则字符串。#链接findLink = re.compile(r'<a href="(.*?)">',re.S)#找到所有匹配的#参数(正则表达式,内容)#[0]返回匹配的数组的第一个元素link = re.findall(findLink,item)[0]
四、保存数据
实现保存在excel中及数据库中，对应函数分别是saveData及savedb。
今天的内容就到这里啦！不知道今天的Python小用法有没有激起大家对Python的兴趣呢？希望恰恰每天的一个分享会让大家觉得Python是很容易学的，也是很有趣的，所以千万不要怕难，我们要学会战胜自己，其实大多数难的不是这件事，而是你自己觉得这件事难，只要战胜了自己就什么都不是事啦！
如果小伙伴们觉得自己学有点难度，也可以关注恰恰，这边有Python如何学习的路线和可以解答疑问的，我们一起努力吧！
需要帮助和资料的小伙伴关注恰恰， 点击后面的链接进入免费领取：https://docs.qq.com/doc/DZmpWZHpqZFFFZGhh?pub=1&dver=2.1.27114328
源码大公开！Python爬取豆瓣电影Top250源代码，赶紧收藏！相关推荐
- Python爬取豆瓣电影top250的电影信息
Python爬取豆瓣电影top250的电影信息 前言 一.简介 二.实例源码展示 小结 前言 相信很多小伙伴在学习网络爬虫时,老师们会举一些实例案例讲解爬虫知识,本文介绍的就是经典爬虫实际案例–爬取豆 ...
- 利用python爬取豆瓣电影top250
利用python爬取豆瓣电影top250: 注:本内容只是作为个人学习记录 1.业务分析 进入网页https://movie.douban.com/top250 可以看见每部电影都呈现在眼前,点击电影 ...
- python爬取豆瓣电影top250的代码_Python爬虫——爬取豆瓣电影Top250代码实例
利用python爬取豆瓣电影Top250的相关信息,包括电影详情链接,图片链接,影片中文名,影片外国名,评分,评价数,概况,导演,主演,年份,地区,类别这12项内容,然后将爬取的信息写入Excel表中 ...
- python爬取豆瓣电影top250并保存为xlsx_python抓取豆瓣电影Top250数据并写入Excel
douban python抓取豆瓣电影Top250数据并写入Excel 1.将目标网站上的页面抓取下来 2.将抓取下来的数据根据一定的规则进行提取 create table `tb_movie`( i ...
- python爬取豆瓣电影top250编码_Python学习日记1| 用python爬取豆瓣电影top250
今天是3.17号. 离毕业论文开题只剩下不到15天,自己这边还不知道要写什么好,问了导师,导师给的范围超级广泛,实在是想吐槽.想了几天,决定了要尽快给老师说自己的想法和方向,做什么还是靠自己比较靠谱. ...
- python爬取豆瓣电影top250_用Python爬取豆瓣电影TOP250分析
/ 01 / Scrapy 之前了解了pyspider框架的使用,但是就它而言,只能应用于一些简单的爬取. 对于反爬程度高的网站,它就显得力不从心. 那么就轮到Scrapy上场了,目前Python中使 ...
- python爬取豆瓣电影Top250（小白系列）
本文是作者在通过B站跟着李巍老师学习以后所写,记一次学习笔记,自己为了方便自己以后回顾模仿 . 本文是最终爬取排行榜,相关知识储备在我的微信公共号(名称:PromisingQ)已发,后续还会不定期更新 ...
- python爬取豆瓣电影top250并保存为xlsx_Python 爬虫 存储Excel - 豆瓣电影Top250
from bs4 import BeautifulSoup #网页解析,获取数据 import re #正则表达式,进行文字匹配 import urllib.request,urllib.error ...
- 零基础爬虫----python爬取豆瓣电影top250的信息（转）
今天利用xpath写了一个小爬虫,比较适合一些爬虫新手来学习.话不多说,开始今天的正题,我会利用一个案例来介绍下xpath如何对网页进行解析的,以及如何对信息进行提取的. python环境:pytho ...
最新文章
- 20T数据、百万奖金，同济和武大摘得开放数据创新应用大赛桂冠！
- springboot打包不同环境配置与shell脚本部署
- 23-26 Python File方法、OS文件/目录方法、异常处理、内置函数
- mysql 获取结果_【原创】7. MYSQL++中的查询结果获取（各种Result类型）
- 04.React事件 方法、 React定义方法的几种方式 获取数据 改变数据 执行方法传值...
- 【Jmeter篇】Jmeter分布式调度压测部署
- python3高级 之 生成器
- idea 2019最新版无法打开报错问题，Error occurred during initialization of VM Initial heap size set to a larger va
- 服务器API压力测试 -ab工具
- 支付宝小程序开发笔记
- app开发前后端简易流程图
- G. Discarding Game（尺取）
- miui android系统 流量,小米4 MIUI6系统怎么设置流量功能?小米4 MIUI6流量管理设置?...
- 《软件体系结构》习题解答（二）
- 请叫我程序员！（一）
- arduino串口点灯
- __str__()方法
- 02、【solidworks】solidworks下载重装可能遇到的问题尤其是注册表访问问题
- 使用idea时maven报错：Error reading file E:/heima/ns/pom.xml
- 使用PHP+MYSQL搭建的新款直播带货秀商城系统源码