python 爬关键词_python爬虫:基于关键词和分类爬取wallheaven上的图片
闲来无事,我打算爬一下壁纸,选好wallheaven作为目标之后,经过一番折腾,我写出了一段代码,顺利完成了目标。
一.爬虫第一步自然是上要爬到的网站,进入开发者模式,查看网页结构。我进入wallheaven网站之后,输入关键词“lake”,只勾选选项“Anime”,结果查找到36张动漫壁纸。在我看来这已经足够了。接着,打开F12打开开发者模式,查看代码。
我的目标是找到所搜到图片的总数和图片的链接地址。如图所示
Screenshot_2019-02-10_00-30-49.png
从这张图片可以看到网页节点之间的层次关系,而我们所需要的节点是body/main/header/h1,需要提取其中的文本“36 Wallpapers found for”,在这里可以使用XPath来获取节点信息,语句可以写为://header[@class="listing-header"]/h1[1]/text()。
表达式 描述
nodename 选取此节点的所有子节点
/ 从当前节点选取直接子节点
// 从当前节点选取子孙节点不管隔了多少代
. 选取当前节点
@ 选取属性
由此看来//header[@class="listing-header"]/h1[1]/text()就是选取了class属性为“listing-header”的header的子节点h1的文本,那就是“36 Wallpapers found for”。
接下来,找图片链接。
Screenshot_2019-02-10_00-57-45.png
同理,要获取的信息是"https://alpha.wallhaven.cc/wallpaper/148364",用xpath的话就要写:
//a[@class="preview"]/@href 。
二,既然网页已经研究够了,那么可以写代码了。
1.导入需要的模块,具体什么模块自己去查。
# -*- coding: utf-8 -*-
"""
Created on Wed Jan 30 17:58:50 2019
@author: yuyuko
"""
#wallhaven爬取
import os
from urllib.parse import urlencode
import time
from requests import codes
import random
import requests
from lxml import etree
2.定义创建文件路径函数,将下载的文件存储到该路径。
def CreatePath(filepath):
if not os.path.exists(filepath):
os.makedirs(filepath)
def GetUrl(keyword,category):
params = {
'q': keyword,
'categories': category,
'purity': '110',
'sorting': 'relevance',
'order':'desc'
}
base_url='https://alpha.wallhaven.cc/search?'
url=base_url + urlencode(params)
return url
4.这里要用到上面说的东西了,获取查找到的图片数。
def GetPictureNum(url):
allpic=" "
try:
html = requests.get(url)
if codes.ok == html.status_code:
selector = etree.HTML(html.text)
pageInfo = selector.xpath('//header[@class="listing-header"]/h1[1]/text()')#提取出文本
string = str(pageInfo[0])#图片数是文本中的第一个
numlist = list(filter(str.isdigit,string)) #有些数字是这样的,11,123,所以需要整理。
for item in numlist:
allpic+=item
totalPicNum=int(allpic) #把拼接起来的字符串进行整数化
return totalPicNum
except requests.ConnectionError:
return None
5.定义函数获取图片链接。这里用到我们上面分析的xpath获取图片信息。
def GetLinks(url,number):
urls=url+'&page='+str(number)
try:
html=requests.get(urls)
selector=etree.HTML(html.text)
PicLink=selector.xpath('//a[@class="preview"]/@href')#这里寻找图片的链接地址,以求得到图片编号
except Exception as e:
print('Error',e.args)
return PicLink
6.现在可以定义一个下载函数了。
def Download(filepath,keyword,url,count,headers):#其中count是你要下载的图片数
#此函数用于图片下载。其中参数url是形如:https://alpha.wallhaven.cc/wallpaper/510308的网址
#510308是图片编号,需要构造html,html是图片的最终直接下载网址。
#因为wallheaven上只有两种格式的图片,分别是png和jpg,所以设置两种最终地址HtmlJpg和HtmlPng,通过status_code来进行判断,状态码为200时请求成功。
string=url.strip('https://alpha.wallhaven.cc/wallpaper/')
HtmlJpg='http://wallpapers.wallhaven.cc/wallpapers/full/wallhaven-' + string+'.jpg'
HtmlPng='http://wallpapers.wallhaven.cc/wallpapers/full/wallhaven-' + string+'.png'
try:
pic=requests.get(HtmlJpg,headers=headers)
if codes.ok==pic.status_code:
pic_path=filepath+keyword+str(count)+'.jpg'
else:
pic=requests.get(HtmlPng,headers=headers)
pic_path=filepath+keyword+str(count)+'.png'
with open(pic_path,'wb') as f:
f.write(pic.content)
f.close()
print("Downloaded image:{}".format(count))
time.sleep(random.uniform(0,3))#这里是让爬虫在下载完一张图片后休息一下,防被侦查到是爬虫从而引发反爬虫机制。
except Exception as e:
print(repr(e))
7.主函数在这里。
def main():
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5)\
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36",#请求头,这个可以通过查看你自己的浏览器得到。
}
filepath = ('/home/yuyuko/Pictures/')#存储路径。
keyword=input('请输入关键词:')
category=input('请输入图片分类,共有三种,分别为Gneral,Anime,People三种\
,如果你想要只想选择Anime,就键入010,如果全选就键入111,以此类推:')
CreatePath(filepath) #创建保存路径
url=GetUrl(keyword,category) #获取url
PicNum=GetPictureNum(url)#总图片数
pageNum=int(PicNum/24+1) #求出总页面数
print("We found:{} images.".format(PicNum))
Num=int(input("请输入你想要爬的图片数,不能超过已找到的图片数:"))
j=1
for i in range(pageNum):
PicUrl=GetLinks(url,i+1)
for item in PicUrl:
Download(filepath,keyword,item,j,headers)
j+=1
if(j>Num):#如果你下载的图片够用了,那就直接退出循环,结束程序。
break
else:
pass
break
if __name__ == '__main__':
main()
运行结果是:
Screenshot_2019-02-11_00-21-38.png
找到489张图片,下载三张图片。
python 爬关键词_python爬虫:基于关键词和分类爬取wallheaven上的图片相关推荐
- python爬取豆瓣电影信息可行性分析_Python爬虫实现的根据分类爬取豆瓣电影信息功能示例...
本文实例讲述了Python爬虫实现的根据分类爬取豆瓣电影信息功能.分享给大家供大家参考,具体如下: 代码的入口:if __name__ == '__main__': main()#! /usr/bin ...
- python爬取知网论文关键词_Python爬虫根据关键词爬取知网论文摘要并保存到数据库中【入门必学】...
搜索出来的结果和知网上的结果几乎一样,另外以后面试找Python工作,项目经验展示是核心,如果你缺项目练习,去小编的Python交流.裙 :一久武其而而流一思(数字的谐音)转换下可以找到了,里面很多新 ...
- python 简单网页_Python爬虫 (一):爬取一个简单的静态网页
版本:python3.7 平台:windows10 工具 :pycharm 断断续续学习了py3爬虫2周左右的时间,发现自己学习的过于零散化,所以想通过这个专栏系统的整理下自己所学过的知识.如有错误, ...
- python爬虫requests实战_Python爬虫之requests库网络爬取简单实战
实例1:直接爬取网页 实例2 : 构造headers,突破访问限制,模拟浏览器爬取网页 实例3 : 分析请求参数,构造请求参数爬取所需网页 实例4: 爬取图片 实例5: 分析请求参数,构造请求参数爬取 ...
- 爬虫系列(1):极简爬虫——基于requests和re爬取安居客上海二手房价数据
爬虫系列(1):极简爬虫--基于requests和re爬取安居客上海二手房价数据 入坑爬虫已经有一年多,一直想好好记录下从各位前辈和大佬处学到的技术,因此开了一个爬虫系列,想借此细致地介绍和演示其中的 ...
- python爬知网全文期刊数据库_Python爬虫根据关键词爬取知网论文摘要并保存到数据库中【入门必学】...
搜索出来的结果和知网上的结果几乎一样,另外以后面试找Python工作,项目经验展示是核心,如果你缺项目练习,去小编的Python交流.裙 :一久武其而而流一思(数字的谐音)转换下可以找到了,里面很多新 ...
- python爬虫论文摘要怎么写_Python爬虫根据关键词爬取知网论文摘要并保存到数据库中【入门必学】...
搜索出来的结果和知网上的结果几乎一样,另外以后面试找Python工作,项目经验展示是核心,如果你缺项目练习,去小编的Python交流.裙 :一久武其而而流一思(数字的谐音)转换下可以找到了,里面很多新 ...
- scrapy获取a标签的连接_python爬虫——基于scrapy框架爬取网易新闻内容
python爬虫--基于scrapy框架爬取网易新闻内容 1.需求[前期准备] 2.分析及代码实现(1)获取五大板块详情页url(2)解析每个板块(3)解析每个模块里的标题中详情页信息 点击此处,获取 ...
- python网络爬图_Python爬虫爬图片需要什么
Python爬虫爬图片需要什么?下面用两种方法制作批量爬取网络图片的方法: 第一种方法:基于urllib实现 要点如下: 1.url_request = request.Request(url) 2. ...
最新文章
- JavaScript学习笔记(三)——数组
- 虚拟仪器软件LabView使用初步了解
- 一些学习教程资料等你来拿
- tableViewCell的操作
- extjs chart无法在panel中显示_HighChart教程:Swift中的Highcharts iOS库
- 必须用Python给程序员不懂浪漫平反一波....不管班花还是校花全都跑不掉~
- Biobank genetic data探析(一)
- 苹果系统连接服务器打印机,Mac系统怎么连接打印机
- Android沉浸式的两种方法
- 磁盘管理、进程管理、文件系统、软硬链接详细文档
- 爱代挂php源码,爱代挂外包,爱准挂外包,代挂系统218元秒搭建
- centos浏览器可以上外网但是ping不通
- 如何写出简洁明了的开发功能说明书
- 干货 | 视频插帧的方案实现与对比~~
- 学人工智能有前途吗?AI发展前景怎么样?
- 识别滑块缺口位置DLL
- 用我这些年的经历告诉你无力吐槽的自动化现状……
- C#多线程(二) -- ThreadStart
- 6 款代码对比工具,你知道几个?
- python异常常见处理
热门文章
- 【开源协议】BSD、Apache2、GPL、LGPL、MIT
- 概率统计笔记:极大似然估计
- 论文阅读:Analyzing Third Party Service Dependencies in Modern Web Services
- 工信部前部长苗圩:5G应用场景约80%是To B,车联网或是最大应用(附关键数据)...
- 1 EXECL的查找:(1)精确查找,(2)模糊查找,(3)查多个符合条件的第1个或最后1个
- 程序包javax.persistence不存在解决办法
- 下载国外论文的实用网址,Sci-Hub用不了就用它们!
- Jmeter对基于websocket协议的压力测试
- HTML CSS学生网页设计,网页设计与制作(HTML+CSS+JavaScript)
- 看书标记【R语言 商务数据分析实战5】