python获取站长之家素材

本文以获取站长之家动物图片为例，演示了请求对象的定制。

import urllib.request as ur
import os
from lxml import etreedef create_request(page):if page == 1:url = "https://sc.chinaz.com/tupian/dongwu.html"else:url = "https://sc.chinaz.com/tupian/dongwu_" + str(page) + ".html"headers = {'user-agent':'从浏览器请求中获取'}req = ur.Request(url=url, headers=headers)return reqdef get_content(req):resp = ur.urlopen(req)content = resp.read().decode('utf-8')return contentdef download(content):# 下载图片，一般涉及图片的网站都会进行懒加载tree = etree.HTML(content)names =  tree.xpath("//div[@class='container'][2]//img/@alt")srcs =  tree.xpath("//div[@class='container'][2]//img/@data-original")for i in range(len(names)):name = names[i]src = srcs[i]complete_url = 'https:' + src urllib.request.urlretrieve(url=complete_url, filename= './animals/' + name + '.jpg')if __name__ == '__main__':start_page = int(input('请输入起始页码:'))end_page = int(input('请输入结束页码:'))os.mkdir('animals')for page in range(start_page, end_page + 1):# 请求对象的定制req = create_request(page)# 获取网页的源码content = get_content(req)# 下载download(content)

python获取站长之家素材相关推荐

python正则获取站长之家风景图，保存到本地
# -*- coding: utf-8 -*- # !/usr/bin/env python # 获取站长之家风景图:https://sc.chinaz.com/tupian/fengjingtupi ...
python图标icon_【Python】站长之家icon图标爬虫
本帖最后由 lihaisanhui 于 2020-3-16 15:50 编辑说明:我又来了!!!这次写的是站长之家的icon图标爬虫这是一个坛友定做,我花了1上午赶工出来的,写的不好勿喷!数据源: ...
python爬站长之家写一个信息搜集器
前言: 不知道写什么好,绕来绕去还是写回爬虫这一块. 之前的都爬了一遍.这次爬点好用一点的网站. 0x01: 自行备好requests模块目标站:http://tool.chinaz.com/ 0x ...
Python 自学记录（自定义爬取图片类型，页数爬取站长之家图片）
入门级别需要用到 lxml库和相关知识,用到代理的知识(没用到代理池)等 lxml 方法知识记录获取responce 返回的页面数据 tree = etree.HTML(context) 路径查 ...
python爬虫，站长之家
主要目标爬取下图信息,上图更简单直观. 分析思路首先找到我们要得数据在那,我们先去站长之家去看看;站长之家这里的"全部行业"就是我们要得一级分类,我们来研究一下他的html源 ...
Python通过文字生成语音，随机获取视频或图片素材生成伪原创的短视频
前段时间写了一篇<抖音自动引流脚本源码>主要通过语录系统自动生成语句或随机评论,适用于自动评论引流脚本. 今天脑洞大开,想用Python通过文字生成语音,随机获取视频或图片素材生成伪原创的 ...
站长之家关键词批量获取导出工具SEO工具
介绍: 本软件是站长之家批量获取关键词的工具,之前也发过爱站的,传送门:爱站关键词批量获取导出工具按照您的需求下载对应软件即可,想做爱站的权重,就下载爱站的工具,做爱站的词库,想做站长之家的就下载站 ...
python网络爬虫实列——站长之家url解码编码
爬虫实列--站长之家url解码编码利用urllib可以做一些网页在线翻译,在线解码之类的实列. 1. 这是网站 2.找到所需要的请求头文件找到请求网址,明确请求方法(详情请百度get请求与post ...
初试python爬虫（简单爬取站长之家第一页图片）
爬取站长之家第一页图片爬虫 ----需要借助第三方库 requests beautifulsoup4 html5lib 1.模拟浏览器发送请求并且接收服务器的响应数据 requests 2.解析并 ...

python获取站长之家素材

python获取站长之家素材

python获取站长之家素材相关推荐

最新文章

热门文章