聚焦爬虫案例4：斗图啦

需求：
获取斗图啦第一页所有图片，并将图片下载到本地
导入requests等

import requests
import os
from lxml import etree

定义请求头

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
}

发起请求，接收响应

response = requests.get(url='https://www.doutula.com/photo/list/',headers=headers)
# print(response.text)

将字符串转换成html对象

html = etree.HTML(response.text)

使用xpath提取数据
先获取a标签

a_list = html.xpath('//div[@class="page-content text-center"]/div/a[@class="col-xs-6 col-sm-3"]')
# print(a_list)

path = 'F:\Python夏令营\斗图啦\\'  # 新建文件夹，将下载的图片存入
os.mkdir(path)

for a in a_list:
# 获取表情包网址jpg = a.xpath('./img/@data-original')[0]  # 获取表情包网址# print(jpg)jpg_response = requests.get(url=jpg)  # 接收表情包请求
# 获取表情包名称name = a.xpath('./p[@style="display: none"]/text()')[0]# print(name)# 保存文件with open(path+'{}.jpg'.format(name),'wb') as fp:fp.write(jpg_response.content)

聚焦爬虫案例4：斗图啦相关推荐

C# 简单图片爬虫快来斗图把
爬取后的图片默认在bin/debug/File下面 using System; using System.Collections.Generic; using System.IO; using Sys ...
聚焦爬虫案例1：股吧
需求: 获取股吧热门信息(阅读数.评论数.标题.作者.更新时间) 导入requests,re import requests,re 定义请求头 headers = {'User-Agent': 'Mo ...
跟我斗图，我用Python爬虫下载几个G的表情砸死你
有一个网站,叫做"斗图啦",网址是:https://www.doutula.com/.这里面包含了许许多多的有意思的斗图图片,还蛮好玩的.有时候为了斗图要跑到这个上面来找表情,实在 ...
斗图表情包爬虫（基于多线程）
今天写一下关于多线程的爬虫,这次我们爬取的是斗图网站的表情包. 一. 思路: 1.对网站翻页链接进行分析,发现链接为:"http://www.doutula.com/article/list ...
【爬虫】Yhen手把手教你爬取表情包，让你成为斗图界最靓的仔！
以下内容为本人原创,欢迎大家观看学习,禁止用于商业用途,转载请说明出处,谢谢合作! ·作者:@Yhen ·原文网站:CSDN ·原文链接:https://blog.csdn.net/Yhen1/art ...
python多线程爬取多个网址_【Python爬虫】多线程爬取斗图网站（皮皮虾，我们上车）...
原标题:[Python爬虫]多线程爬取斗图网站(皮皮虾,我们上车) 斗图我不怕没有斗图库的程序猿是无助,每次在群里斗图都以惨败而告终,为了能让自己在斗图界立于不败之地,特意去网上爬取了斗图包.在这里 ...
Python爬虫系列（三）多线程爬取斗图网站（皮皮虾，我们上车）
斗图我不怕最近看了Python多线程的相关内容,并且前几天观看了腾讯课堂潭州学院上面的关于斗图网爬取的公开课,课程内容大致是利用Python多线程爬取斗图(多页),并将图片保存到本地.自己写这篇文章 ...
【python--爬虫】斗图啦表情包爬虫
前言你还在,你还在,头悬梁锥刺股. 下,下,下,表情包吗? 你还以为盗个图战胜小学生. 就能成为斗图王吗? 你还把会做图当成斗图资本吗? 你还为斗不过图而痛哭流泪吗? No no no no no ...
python表情包斗图_Python爬虫入门教程 13-100 斗图啦表情包多线程爬取
斗图啦表情包多线程爬取-写在前面今天在CSDN博客,发现好多人写爬虫都在爬取一个叫做斗图啦的网站,里面很多表情包,然后瞅了瞅,各种实现方式都有,今天我给你实现一个多线程版本的.关键技术点 aioht ...

聚焦爬虫案例4：斗图啦

聚焦爬虫案例4：斗图啦相关推荐

最新文章

热门文章