Python

爬虫

最近学正则表达式，刚好知道这个网站美图录，就做了个爬虫拿来练练手，说一说遇到的问题

一 404问题

问题:

由于图片显示页面是分页的，每一页展示5张图片，为了方便没有每次去获取下一页链接，而是使用了拼接字符串的形式，本以为遇到不存在的页面会抛出异常，测试了下，结果当网站遇到404时会直接跳转推荐页，于是requests还能正常返回数据

解决方法:

requests提供了一个req_object.status_code参数，用于返回页面状态码，判断一下这个参数为404就停止生成链接

二 文件写入问题

问题:

写入图片文件，图片无法正常显示

解决方法:

requests提供了img.content参数，用于将接受到的信息转换为二进制，然后在文件写入时，写入模式为"wb"，以二进制方式写入

三反爬策略

问题:

爬取图片时发现图片会返回403(禁止访问资源)，原因是网站做了防盗链处理，非本站访问图片都会返回403

解决方法:

在获取图片时添加headers请求头，在请求头中添加

'Referer':'https://m.meitulu.com/item/1.html'
将Referer 值设置为本站的图片展示页链接，这样服务器会认为请求来自本站页面，返回信息就会正常

美图录爬虫

# -*- coding: utf-8 -*-
import requests
import re
import osdef url_ls(url):#获取页面所有套图链接html=requests.get(url)html.encoding=html.apparent_encodingurl_ls=re.findall("https\:\/\/m\.meitulu\.com\/item\/\w+",html.text)return url_lsdef tup(url):#获取图片链接及套图名url_ls=[]num=1name=""while True:if num==1:url1=url+".html"num+=1print(name)else:url1=url+"_{}.html".format(num)num+=1print(url1)a=requests.get(url1)if a.status_code==404:breaka.encoding=a.apparent_encodingmy_url=re.findall("https\:\/\/mtl\.ttsqgs\.com\/images\/img\/\w+\/\w+\.jpg",a.text)if name=="":na=re.findall("\<h1\>[\w\W]+\<\/h1\>",a.text)nam=re.sub("\<h1\>","",na[0])name=re.sub("\<\/h1\>","",nam)print(name)for i in my_url:if "/0.jpg" not in i:url_ls.append(i)return url_ls,namedef w(url,name,num):headers={
'Host':'mtl.ttsqgs.com',
'Connection':'keep-alive',
'User-Agent':'Mozilla/5.0 (Linux; Android 7.1.2; M6 Note) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.105 Mobile Safari/537.36',
'Accept':'image/webp,image/apng,image/*,*/*;q=0.8',
'Referer':'https://m.meitulu.com/item/1.html',
'Accept-Encoding':'gzip, deflate, br',
'Accept-Language':'zh-CN,zh;q=0.9'
}name=re.sub('[\/:*?"<>|]',"_",name)print(name)print("正在下载{}".format(name))img=requests.get(url,headers=headers)os.system("clear")imga=img.contentwith open("./{}/{}.jpg".format(name,num),"wb") as f:print("正在写入{}".format(num))f.write(imga)f.close()url=input("url")
urllist=url_ls(url)
for i in set(urllist):tup_ls,name=tup(i)os.makedirs("./{}".format(name))n=0for j in tup_ls:n+=1num='{:0>4}'.format(n)w(j,name,num)