近期爬虫学习体会以及爬豆瓣Top250源码实战

我是在B站https://www.bilibili.com/video/BV12E411A7ZQ?p=25里学习的，至今已经可以手写爬豆瓣Top250代码。
先总结其中遇到的问题，
1.对 import re
import urllib.request,urllib.error #制定URL获取网页数据
import urllib.request
import bs4
from bs4 import BeautifulSoup
import xlwt 这些库的引用，有些是pycharm编译器中本身没有的
要去导入

依照上述步骤完成相应库的导入即可。

2.爬虫异常处理（反爬）
出现408则是超时，这里我们可以设置一个time
，在一定时间没获取信息时，自动退出程序。
出现404访问为空，如果的确有这个网站，很可能是被发现了，咱就是被发现了（头大），这时候头部信息处理很重要

第一行告诉对方浏览器你从哪里来
第二行告诉对方你是什么性质，不要直接告诉它你是pycharm2021…

还有一点是，给编译器自动模拟访问的网址也很重要
我一开始是直接去网站 cv的
https://movie.douban.com/top250 这个就一直出现404
“https://movie.douban.com/top250?start=” 换成这个之后就可以了，
这也说明就像头部信息一样，你要伪装的时候，一个标点符号最好都和源网页一样，至于头部信息有不懂的，可以去b我发的那个视频看，那个老师讲得很清楚的。
接下来就发咱的代码，因为第一次学，所以自己多加的注释（废话）也比较多


```python
import re
import urllib.request,urllib.error  #制定URL获取网页数据
import urllib.request
import bs4
from bs4 import BeautifulSoup
import xlwtdef main():baseurl = "https://movie.douban.com/top250?start="#1.爬取网页datalist = getData(baseurl)#2.存储路径savePath = ".\\豆瓣电影Top250.xls"#3.保存数据saveData(datalist,savePath)# askURL("url")#影片的链接
finkLink = re.compile(r'<a href="(.*?)">')     #创建正则表达式的对象，表示规则
#影片的图片
finkImagSrc = re.compile(r'<img.*src="(.*?)"',re.S) #re.S 忽略里面的换行符号
#影片的片名
finkTiele = re.compile(r'<span class="title">(.*)</span>')
#影片的评分
finkRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
#评价的人数
finkJudge = re.compile(r'<span>(\d*)人评价</span>')
#找到概况
finkIng = re.compile(r'<span class="inq">(.*)</span>')
#找到影片的相关内容
finkBd = re.compile(r'<p class="">(.*?)</p>',re.S)
def getData(baseurl):datalist = []for i in range(0,10):           #调用   获取网页信息的函数十次url = baseurl + str(i*25)   #得到url->网页对应的信息html = askURL(url)       #保存调用网页的源码#逐一解析数据soup = BeautifulSoup(html,"html.parser")for item in soup.find_all('div',class_="item"):# print(item)data = []#保存一部电影的所有信息item = str(item)link = re.findall(finkLink,item)[0]     #获取影片详情超链接data.append(link)           #通过re库用正则表达式查找特定字符串# print(link)imgSrc = re.findall(finkImagSrc,item)[0]   #获取图片信息data.append(imgSrc)   #添加图片titles = re.findall(finkTiele,item)    #片名可能不只有一个if(len(titles) == 2):ctitle = titles[0]data.append(ctitle)otitle = titles[1].replace("/","")          #去掉/data.append(otitle)else:data.append(titles[0])data.append(" ")rating = re.findall(finkRating,item)[0]       #获取评价信息data.append(rating)judgeNum = re.findall(finkJudge,item)[0]     #获取评价人数data.append(judgeNum)ing = re.findall(finkIng,item)          #获得电影概况if len(ing) != 0:ing = ing[0].replace("。","")    #去掉。data.append(ing)else:data.append("")bd = re.findall(finkBd, item)[0]         #获得演员导演信息bd = re.sub('<br(\s+)?/>(\s)?', "", bd)   #去掉<br/>bd = re.sub('/', "", bd)   #替换/data.append(bd.strip())   #去掉空格数据   ——>这三步就是优化所得到的数据表现形式datalist.append((data))   #把处理好的信息放入datalist# print(datalist)      #将信息打印出来return datalist#得到指定的一个URL的网页内容
def askURL(url):head = {'Reffer': 'https://www.baidu.com/?tn=49055317_4_hao_pg',"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"    #头部信息要和原网页的信息对应，                                                                                                                                 #特别是 "User-Agent"，空格大小写都要对应}#用户代理，本质是告诉浏览器我们能接受什么内容也就是进行伪装data = bytes(urllib.parse.urlencode({'name': 'lee'}), encoding="utf-8")cookies = ''request = urllib.request.Request(url,headers = head,data = data)html = ""try:response = urllib.request.urlopen(request)html = response.read().decode("utf-8")# print(html)except urllib.error.URLError as e:if hasattr(e,"code"):print(e.code)if hasattr(e,"reason"):print(e.reason)return htmldef saveData(datalist,savePath):file = xlwt.Workbook(encoding='utf-8',style_compression = 0) #创建workbook对象，style_compression对格式进行优化sheet = file.add_sheet('0',cell_overwrite_ok=True) #创建工作表，cell_overwrite_ok 执行对原有重复数据的覆盖col = ("电影详情链接", "图片链接", "影片中文名", "影片外国名", "评分", "评价数", "概况", "相关信息")for i in range(0, 8):sheet.write(0, i, col[i])  #列名for i in range(0, 250):print("第%d条" % i)data = datalist[i]          #把数据存进去for j in range(0,8):sheet.write(i+1,j,data[j])file.save(savePath)if __name__ == "__main__":main()print("爬完了")

近期爬虫学习体会以及爬豆瓣Top250源码实战相关推荐

python爬虫:requests和urllib爬豆瓣Top250
文章目录前言一.urllib 二.requests 总结前言开始使用urllib模块爬的豆瓣top250感觉太多了,跟着视频做还是由很多看不懂后来在另外一个视频里找到了一样的项目但是使用re ...
python爬虫学习之定向爬取淘宝商品价格
python爬虫学习之定向爬取淘宝商品价格 import requests import redef getHTMLText(url):try:r = requests.get(url, tim ...
7 爬虫学习之反爬与反反爬
一.常见的反爬手段和解决思路 1.服务器反爬的原因 a.爬虫占总PV(PV是指页面的访问次数,每打开或刷新一次页面,就算做一个PV)比例较高,这样浪费钱(尤其是三月份爬虫[爬虫高峰期]). b.公司可 ...
基于Java毕业设计学习自律养成小程序后台源码+系统+mysql+lw文档+部署软件
基于Java毕业设计学习自律养成小程序后台源码+系统+mysql+lw文档+部署软件基于Java毕业设计学习自律养成小程序后台源码+系统+mysql+lw文档+部署软件本源码技术栈: 项目架构:B ...
java毕业生设计在线学习辅导与答疑系统计算机源码+系统+mysql+调试部署+lw
java毕业生设计在线学习辅导与答疑系统计算机源码+系统+mysql+调试部署+lw java毕业生设计在线学习辅导与答疑系统计算机源码+系统+mysql+调试部署+lw 本源码技术栈: 项目架构:B ...
计算机毕业设计Java学习自律养成小程序后台(源码+系统+mysql数据库+lw文档）
计算机毕业设计Java学习自律养成小程序后台(源码+系统+mysql数据库+lw文档) 计算机毕业设计Java学习自律养成小程序后台(源码+系统+mysql数据库+lw文档) 本源码技术栈: 项目架构 ...
JAVA毕业设计BS架构考研交流学习平台设计与实现计算机源码+lw文档+系统+调试部署+数据库
JAVA毕业设计BS架构考研交流学习平台设计与实现计算机源码+lw文档+系统+调试部署+数据库 JAVA毕业设计BS架构考研交流学习平台设计与实现计算机源码+lw文档+系统+调试部署+数据库本源码技 ...
JAVA毕业设计英语学习网站设计与实现计算机源码+lw文档+系统+调试部署+数据库
JAVA毕业设计英语学习网站设计与实现计算机源码+lw文档+系统+调试部署+数据库 JAVA毕业设计英语学习网站设计与实现计算机源码+lw文档+系统+调试部署+数据库本源码技术栈: 项目架构:B/S ...
基于JAVA学习互助辅助平台计算机毕业设计源码+系统+数据库+lw文档+部署
基于JAVA学习互助辅助平台计算机毕业设计源码+系统+数据库+lw文档+部署基于JAVA学习互助辅助平台计算机毕业设计源码+系统+数据库+lw文档+部署本源码技术栈: 项目架构:B/S架构开发语 ...

近期爬虫学习体会以及爬豆瓣Top250源码实战

近期爬虫学习体会以及爬豆瓣Top250源码实战

近期爬虫学习体会以及爬豆瓣Top250源码实战相关推荐

最新文章

热门文章