使用python爬取斗图网的图片
使用python爬取斗图网的图片
以下是代码部分:
# -*- coding: utf-8 -*-
"""
Created on Wed Apr 14 14:41:42 2021@author: www99
"""
import os
import requests as req
from pyquery import PyQuery
from urllib import request
if not os.path.exists("/doutu"):os.mkdir('./doutu')headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36'}
url='https://www.qiushibaike.com/imgrank/'
resp=req.get(url,headers=headers)
page=resp.text
pq=PyQuery(page)
imgs=pq('.thumb img')
print(imgs)
print("=============================")for img in imgs.items():print(img.attr['src'])link_base=img.attr['src']url='https:'+link_baseimg_name=url.split('/')[-1]print(img_name)img_path='./doutu/'+img_nameresp=req.get(url,headers=headers)with open(img_path,'wb') as f:f.write(resp.content)print("成功")
使用python爬取斗图网的图片相关推荐
- python爬取妹子图网健康图片
为了博取大家的眼球,博主选了这个题材,现实生活中博主很正直的人,嗯 废话不说 demo,本demo只爬取了封面图片,内部图片方法相同 import requests from pyquery impo ...
- 熊猫人表情包python 代码_用Python爬取斗图网表情包
一.介绍 用python处理二进制文件的事情做的比较少,虽然之前有写过分析Ajax抓取今日头条街拍美图,但那个爬虫重在分析Ajax,并没有提到文件路径和文件命名,所以就有了这个爬虫 二.流程 流程一般 ...
- 斗图斗不过小伙伴?python多线程爬取斗图网表情包,助你成为斗图帝!
最近python基础课讲到了多线程,老师让交个多线程的实例练习.于是来试试多线程爬虫,正好复习一下mooc上自学的嵩天男神的爬虫知识.想法很美好,过程却很心酸,从早上开始写,每次出现各种奇怪问题,到现 ...
- 100行代码教你爬取斗图网(Python多线程队列)
100行代码教你爬取斗图网(Python多线程队列) 前言 根据之前写的两篇文章,想必大家对多线程和队列有了一个初步的了解,今天这篇文章就来实战一下,用多线程 + 队列 爬取斗图网的全网图片. 你还在 ...
- 用Python爬取彼岸图网图片
用Python爬取彼岸图网图片 *使用了 四个模块 import time import requests from lxml import etree import os 没有的话自行百度安装. ...
- python3爬虫——多线程爬取斗图网表情包
本文用多线程生产者,消费者模式爬取斗图网的表情包,并下载保存到本地,get_page()函数负责获取页面的图片的url链接,downlod_img()函数通过图片url下载保存到本地文件夹中,开启多线 ...
- 爬虫笔记——多线程爬取斗图网表情包(threading)
爬虫笔记--多线程爬取斗图网表情包(threading) 网站观察 爬取框架 具体代码 斗图网网址:斗图网,这里以爬取最新套图为例. 网站观察 在网页翻页操作中可以看到网页是非动态加载的(page为页 ...
- 爬取斗图网图片,使用xpath格式来匹配内容,对请求伪装成浏览器, Referer 防跨域请求...
6.21自我总结 一.爬取斗图网 1.摘要 使用xpath匹配规则查找对应信息文件将请求伪装成浏览器Referer 防跨域请求 2.爬取代码 #导入模块 import requests#爬取网址 ur ...
- python爬取千图网_python爬取lol官网英雄图片代码
python爬取lol官网英雄图片代码可以帮助用户对英雄联盟官网平台的皮肤图片进行抓取,有很多喜欢lol的玩家们想要官方的英雄图片当作自己的背景或者头像,可以使用这款软件为你爬取图片资源,操作很简单, ...
最新文章
- HTML5的data-*自定义属性
- python常用内置模块-Python基础-22常用内置模块
- iOS开发——高级技术地图功能的实现
- 探索推荐引擎内部的秘密
- 微信小程序自带地图_【小程序】微信小程序之地图功能
- vue-cookies的使用
- SAP 电商云 Spartacus UI DeliveryComponent 的依赖设计
- 【渝粤教育】国家开放大学2018年秋季 0714-21T建筑识图与CAD 参考试题
- 移动商城第十四篇【收货地址查询、添加、更新】
- Red-Detector扫描你EC2实例中的安全漏洞
- php:兄弟连之面向对象版图形计算器2
- 约束最优化方法之最优性条件
- 【小强推歌】---奥斯卡金曲MP3[下载]
- OSI七层模型——数据链路层
- postgres 导入纯文本数据txt
- Iterator循环的用法
- React Native 音频录制例子来解惑入门
- 研发自主可控的国产联盟链:他们与多家知名机构合作落地项目
- 做软件的也得注意休息啊
- 《量子宇宙》阅读笔记
热门文章
- vue根据不同权限显示图片_vuex根据不同的用户权限展示不同的路由列表
- 22家安卓应用商店名单
- 批量替换一个文件中的文件名,例如将文件夹中s**_abnormal.jpg文件修改为s**_abnor.jpg
- 【基础知识】~ FIFO
- 云南省自然保护区分布及功能区划
- IntellJ idea创建maven项目
- js vue 下载excel(.xls)文件
- 什么是堆漏洞挖掘?堆的glibc实现、Arena(main_arena、thread_arena)
- 塔望 · ​食界​人物|红牛饮料背后的两个企业家
- java基于springboot的股票交易模拟系统