批量爬取网站图片-“优美库”篇(爬虫实战)

本次爬取运用到了requests，bs4的beautifulsoup好，re以及time模块，用了常用的方法提取到源代码的关键信息，最后获取每个信息的请求链接，从而获得我们的图片。

import requests

from bs4 import BeautifulSoup

import re

import time

url='https://www.''此处为需要获取的网站.cc/bizhitupian/'

res=requests.get(url)

obj=re.compile(r'<li><a href="(?P<http>.*?)"><img',re.S)

res.encoding='uft-8'

res.close()

res=res.text

res=BeautifulSoup(res,'html.parser')

res=res.find_all('div',class_="pic-box")

res=str(res).strip('[]')

result=obj.finditer(res)

for it in result:

url1='https://www.umei.cc'+it.group('http')

response = requests.get(url1)

response.encoding='utf-8'

response=response.text

response=BeautifulSoup(response,'html.parser')

name=response.find('title')

name=str(name)

name=name.strip('</title>')

img=response.find('img')

img = img.get('src')

rs=requests.get(img).content

with open('img/'+name+'.jpg','wb')as f:

f.write(rs)

print('完成了',name)

time.sleep(2)#怕请求太过频繁造成不必要的影响，所以设置了一定的延迟

print("全部完成拉!")

今天分享的内容就这些啦，希望大家有不好的地方可以提出来，帮我指正指正!

(效果图片)

批量爬取网站图片-“优美库”篇(爬虫实战)相关推荐

爬取千库网ppt_初学Python-只需4步，爬取网站图片（附py文件）
很多人学习Python很重要的一个原因是,可以很简单的把一个网站的数据爬下来. 尤其是做我们这一行,产品经理,电商行业. 领导:弄一个买卖游戏周边商品的交易APP出来. 我:行,那我们卖什么呀? 领导 ...
python 第一行报错_初学Python-只需4步，爬取网站图片
很多人学习Python很重要的一个原因是,可以很简单的把一个网站的数据爬下来. 尤其是做我们这一行,产品经理,电商行业. 领导:弄一个买卖游戏周边商品的交易APP出来.我:行,那我们卖什么呀?领导:看 ...
python爬虫爬取百度图片总结_python爬虫如何批量爬取百度图片
当我们想要获取百度图片的时候,面对一张张图片,一次次的点击右键下载十分麻烦.python爬虫可以实现批量下载,根据我们下载网站位置.图片位置.图片下载数量.图片下载位置等需求进行批量下载,本文演示py ...
四个步骤教你爬取网站图片，新手必学
很多人学习Python很重要的一个原因是,可以很简单的把一个网站的数据爬下来. 尤其是做我们这一行,产品经理,电商行业. 领导:弄一个买卖游戏周边商品的交易APP出来. 我:行,那我们卖什么呀? 领导 ...
python 图片文件_初学Python-只需4步，爬取网站图片（附py文件）
很多人学习Python很重要的一个原因是,可以很简单的把一个网站的数据爬下来. 尤其是做我们这一行,产品经理,电商行业. 领导:弄一个买卖游戏周边商品的交易APP出来. 我:行,那我们卖什么呀? 领导 ...
C++编写爬虫脚本爬取网站图片
C++编写爬虫脚本爬取网站图片整体代码设计思路具体功能实现初始化网络库 url中爬取图片获取网页源代码连接主机 url中获取主机名和文件名 html中提取连接 html中提取图片链接获取并 ...
python爬虫实战1：批量爬取网址图片
1.爬虫基础知识目前,爬虫的相关知识了解了以下这么多. 2.爬取图片的步骤学习了很多视频教程,基本介绍爬虫都是主要分3步: 1.请求网页 2.解析网页 3.保存图片 3.爬虫实战唯有实战,才能提 ...
Python爬取网站图片数据
Python爬取网站图片数据找到需要爬取的网站地址模拟网站http请求根据调试模式获取的了解读取到真实的地址url,读取请求头数据和参数信息,模拟http请求调用 import requests ...
Python网络爬虫——爬取网站图片小工具
最近初学python爬虫,就写了一个爬取网站图片的小工具,界面如下: 用到的包主要是爬虫常用的urllib,urllib2和图形界面用的Tkinter,完整代码如下: # -*- coding:utf ...

批量爬取网站图片-“优美库”篇(爬虫实战)

批量爬取网站图片-“优美库”篇(爬虫实战)相关推荐

最新文章

热门文章