使用xpath批量爬取堆糖图片

import requests
import os
from lxml import etreekw = input("输入搜索的关键字：")
url = "https://www.duitang.com/search/?kw={}&type=feed".format(kw)
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36','Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9'
}# 确定文件夹路径
base_path = os.path.dirname(__file__)
path = os.path.join(base_path, '{}'.format(kw))
if not os.path.exists(path):os.makedirs(path)
# print(path)html = requests.get(url, headers=headers)
xhtml = etree.HTML(html.text)
src = xhtml.xpath('//a[@class="a"]/img/@src')
title = xhtml.xpath('//a[@class="a"]/img/@data-rootid')# print(title)
for i in range(len(src)):img_src = requests.get(url=src[i], headers=headers).contentpic_path = path+'./{}'.format(kw) + title[i] + '.jpg'with open(pic_path, 'wb') as f:f.write(img_src)print("<<====正在保存第{}张，剩{}张====>>".format(i + 1, len(src) - i - 1))

1.输入搜索关键字

2.生成关键字文件夹

3.批量保存图片到对应的文件夹中

效果如下

使用xpath批量爬取堆糖图片相关推荐

Java获取游戏头像_java爬取堆糖所有头像(高质量版头像)
百度贴吧的用户头像爬下来之后,图片经过裁剪,尺寸太小,都是110*110之类的,并且有很多用户被注销后,头像是缩略图重复,所以爬了堆糖里面的头像,堆糖里的头像质量还是蛮高的. 堆糖官网:www.dui ...
把url地址复制到粘贴板上_写个简单的python爬虫爬取堆糖上漂亮的小姐姐
简单的爬虫入门实战最近刚学了python的爬虫,刚好可以用来爬取漂亮的图片作为壁纸,网上美图网站有很多,比如:花瓣,堆糖.它们请求图片数据的方式差不多类似,都是通过用户不断下滑加载新的图片,这种请求 ...
requests+bs4批量爬取反爬虫图片网站
导读:爬取反爬虫图片网站预览效果遇到的问题: 刚开始爬虫的时候,爬取到的所有图片都是一张重定向推广图片解决办法:在requests请求头headers中配置Referer属性,指向爬取网站的顶级 ...
超简单的图片爬取项目，复制粘贴就能用，批量爬取动漫图片。（保姆教程，可根据需要修改URL）
各位未来国家栋梁们好啊~相信栋梁们经常需要在网络上寻找各种资源,作为二次元的必备精神食粮,图片资源那是必不可少!在这里用python写了一个超简单的图片爬取小项目~话不多说,附上源码!(有用的话点个赞 ...
爬取堆糖蜜桃猫图片并下载到本地
爬去蜜桃猫大家可以打开堆糖网,不需要登录,然后搜索蜜桃猫,就会发现许多可爱的蜜桃猫和他的小对象,我们这次的任务就是要爬取蜜桃猫的日常生活.下面是爬取的代码,我们先提取了每个图片的链接,然后进行了下载 ...
爬虫小项目（四）利用多进程和ajax技术爬取堆糖
这次主要讲一下怎么分析ajax请求来获得我们想要的数据,在通过多进程进行抓取,当然这次的目的主要是这两个,所以最后的结果是以打印在控制台为主. 那么让我们开始这一次的爬虫之旅我们先进入堆糖网,这次我 ...
【Python】爬虫(Xpath):批量爬取彼岸图网4K图(非真正4K)
因为真正的4K图需要登录,并且登录后一天也就只能下载一张,所以就只解析爬取了内容页的高清图片(1200*633左右) 代码实现了我目前所能想到的用户骚操作的判定,例如选择的类目不在这个网站内, 或者这 ...
爬虫实战：批量爬取京东内衣图片（自动爬取多页，非一页）
做下男生想做的事,爬取大量妹子内衣图. 作者: 电气-余登武准备工作假如我们想把京东内衣类商品的图片全部下载到本地,通过手工复制粘贴将是一项非常庞大的工程,此时,可以用python爬虫实现. 第一 ...
python3 爬虫日记(三) 爬取堆糖动态加载网页
1.分析:进入堆糖网后我们在分类找到插画绘画进入这个分类后发现好多图片,下拉后发现会有不断的图片刷新出来,这就是堆糖采用了动态加载网页. 2.用开发者工具(F12)分析:按一下F12,找到networ ...
python批量访问网页保存结果_Python爬虫(批量爬取某网站图片)
1.需要用到的库有: Requests re os time 如果没有安装的请自己安装一下,pycharm中打开终端输入命令就可以安装 2.IDE : pycharm 3.python 版本: 3.8 ...

使用xpath批量爬取堆糖图片

使用xpath批量爬取堆糖图片相关推荐

最新文章

热门文章