Python爬虫教程：包图网免费付费素材爬取【附源码】

包图网大家都知道吧集齐海量设计素材十分好用可惜太贵了,今天就带大家使用Python—爬虫爬取这些素材并且保存到本地!

抓取一个网站的内容，我们需要从以下几方面入手：

1-如何抓取网站的下一页链接？

2-目标资源是静态还是动态(视频、图片等)

3-该网站的数据结构格式

源代码如下


import requests
from lxml import etree
import threadingclass Spider(object):def __init__(self):self.headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"}self.offset = 1def start_work(self, url):print("正在爬取第 %d 页......" % self.offset)self.offset += 1response = requests.get(url=url,headers=self.headers)html = response.content.decode()html = etree.HTML(html)video_src = html.xpath('//div[@class="video-play"]/video/@src')video_title = html.xpath('//span[@class="video-title"]/text()')next_page = "http:" + html.xpath('//a[@class="next"]/@href')[0]# 爬取完毕...if next_page == "http:":returnself.write_file(video_src, video_title)self.start_work(next_page)def write_file(self, video_src, video_title):for src, title in zip(video_src, video_title):response = requests.get("http:"+ src, headers=self.headers)file_name = title + ".mp4"file_name = "".join(file_name.split("/"))print("正在抓取%s" % file_name)with open('E://python//demo//mp4//'+file_name, "wb") as f:f.write(response.content)if __name__ == "__main__":spider = Spider()for i in range(0,3):# spider.start_work(url="https://ibaotu.com/shipin/7-0-0-0-"+ str(i) +"-1.html")t = threading.Thread(target=spider.start_work, args=("https://ibaotu.com/shipin/7-0-0-0-"+ str(i) +"-1.html",))t.start()

效果展示

对于初学者想更轻松的学好Python开发，爬虫技术，Python数据分析，人工智能等技术,这里也给大家准备了一套系统教学资源，加Python技术学习教程qq裙：855408893，免费领取。学习过程中有疑问，群里有专业的老司机免费答疑解惑!点击加入我们的 python学习圈

Python爬虫教程：包图网免费付费素材爬取【附源码】相关推荐

利用Python爬虫requests+BeautifulSoup实现丁香营销师招聘爬取（源码）
为什么80%的码农都做不了架构师?>>> https://download.csdn.net/download/shiyan_31214/10807090 转载于:https: ...
Python爬虫一键下载yy全站短视频详细步骤（附源码）
基本开发环境 Python 3.6 Pycharm 相关模块的使用 import os import requests 安装Python并添加到环境变量,pip安装需要的相关模块即可. 一.确定目标需 ...
【爬虫实战项目】Python爬虫批量下载音乐飙升榜并保存本地（附源码）
前言今天给大家介绍的是Python爬虫批量下载音乐飙升榜并保存本地,在这里给需要的小伙伴们代码,并且给出一点小心得. 首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是 ...
python爬取短视频,Python爬虫一键下载yy全站短视频详细步骤（附源码）
基本开发环境 Python 3.6 Pycharm 相关模块的使用 importosimport requests 安装Python并添加到环境变量,pip安装需要的相关模块即可. 一.确定目标需求 ...
Python turtle 生成鸡哥动图，以及对鸡哥图片的爬取(附源码，注释）
大一上学期Python大作业: 简述: 一. python turtle 库绘图,并实现动图效果 (1)篮球召唤阵 (2)铁山靠及打球 (3)哥哥投篮 (4)对鸽鸽的真心二. 爬虫爬取鸡哥图片 (1 ...
【爬虫实战项目】Python爬虫批量旅游景点信息数据并保存本地（附源码）
前言今天给大家介绍的是Python爬虫批量下载旅游景点信息数据,在这里给需要的小伙伴们代码,并且给出一点小心得. 首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是这样 ...
Python爬虫新手入门教学（十七）：爬取yy全站小视频
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
Python爬虫新手入门教学（十）：爬取彼岸4K超清壁纸
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
Python爬虫新手入门教学（十三）：爬取高质量超清壁纸
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
Python爬虫: 单网页所有静态网页动态网页爬取
Python爬虫: 单网页所有静态网页动态网页爬取前言:所有页代码主干均来自网上!!!感谢大佬们. 其实我对爬虫还挺感兴趣的,因为我玩instagram(需要科学上网),上过IG的人都知道IG虽 ...

Python爬虫教程：包图网免费付费素材爬取【附源码】

源代码如下

Python爬虫教程：包图网免费付费素材爬取【附源码】相关推荐

最新文章

热门文章