简易爬虫教程爬取4K高清图片

1.1 网址

# 谷歌浏览器http://www.netbian.com/weimei/

1.2 查看网页源代码

# 1 直接获取会遇到防火墙，添加verify=False去掉安全认证# 2 response.encoding = 'gbk'需要考虑原页面的代码# 查看代码中charest然后设定格式
*- 网址特点需要二进宫，进入该网址然后将结果输出

爬取数据

2.1 导入包

import requestsfrom bs4 import BeautifulSoup

2.2 获取数据

url= 'http://www.netbian.com/weimei/'headers = {    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36"}
# 获取主页面的页面的源代码并处理文字response = requests.get(url,headers=headers,verify=False)response.encoding = 'gbk'print(response.text)

2.3 解析数据

# 主页面的源代码交给bs4domain = 'http://www.netbian.com/'main_page = BeautifulSoup(response.text,"html.parser")a_list = main_page.find("div",class_="list").find_all("a")   # 范围第一次缩小a_list

*- 提取到的内容：href="/desk/23552.htm"
*- 实际网址：http://www.netbian.com/desk/23552.htm
*- 解决思路domain = 'http://www.netbian.com/'href = domain + b 获取第二次爬取的链接进入子链接后查看网页源代码——>通过获取信息下载该图片

2.4 下载数据

# 获取子页面的链接并进入子页面for a  in a_list:    b = a.get("href").strip("/")    if b.startswith('desk'):     # 判断开头        href = domain + b        # 直接通过get获取相关图片的链接                                                   child_response = requests.get(href,headers=headers,verify=False)    child_response.encoding = 'gbk'    child_page_text = child_response.text         # 获取子页面的内容
    child_page = BeautifulSoup(child_page_text,"html.parser")    div = child_page.find("div",class_="endpage")   # 范围第二次缩小
    img = div.find("img")          # 发现整个链接前一个    src = img.get("src")           #  需要什么属性就get什么，获取高清图片链接        # 下载图片    img_response = requests.get(src)
    # 图片内容下载到文件    img_name = src.split("/")[-1]   # 定义名字    with open("img2/"+img_name,mode="wb") as f:        f.write(img_response.content)
    print("over!",img_name)
print('all over !!!')

Python源代码：

import requests
from bs4 import BeautifulSoup
url= 'http://www.netbian.com/weimei/'
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36"
}# 获取主页面的页面的源代码并处理文字
response = requests.get(url,headers=headers,verify=False)
response.encoding = 'gbk'
print(response.text)
# 主页面的源代码交给bs4
domain = 'http://www.netbian.com/'
main_page = BeautifulSoup(response.text,"html.parser")
a_list = main_page.find("div",class_="list").find_all("a")   # 范围第一次缩小
a_list
# 获取子页面的链接并进入子页面
for a in a_list:b = a.get("href").strip("/")if b.startswith('desk'):  # 判断开头href = domain + b  # 直接通过get获取相关图片的链接child_response = requests.get(href, headers=headers, verify=False)child_response.encoding = 'gbk'child_page_text = child_response.text  # 获取子页面的内容child_page = BeautifulSoup(child_page_text, "html.parser")div = child_page.find("div", class_="endpage")  # 范围第二次缩小img = div.find("img")  # 发现整个链接前一个src = img.get("src")  # 需要什么属性就get什么，获取高清图片链接# 下载图片img_response = requests.get(src)# 图片内容下载到文件img_name = src.split("/")[-1]  # 定义名字with open("img2/" + img_name, mode="wb") as f:f.write(img_response.content)print("over!", img_name)print('all over !!!')

下载图片之前要建立文件夹

下载图片之前要建立文件夹

下载图片之前要建立文件夹

简易爬虫教程爬取4K高清图片相关推荐

Python 网络爬虫：爬取4K高清美图
爬取4K高清美图这篇爬虫主要是用来爬取网站高清4K图片,这也是笔者学初学爬虫的时候最先写一个的爬虫脚本,现在回过头来重新梳理一下,也算是对从前知识的一个总结,希望对大家有所帮助! 文章目录爬取4K ...
Python爬虫从入门到精通:（9）数据解析_xpath解析2_爬取4K高清动漫图片_Python涛哥
使用xpath爬取4K高清动漫图片名称和图片数据爬取当前页: # 创建文件夹存储图片 dirName = 'GirlsLib' if not os.path.exists(dirName):os. ...
全网最细------爬取4k高清大图
本次案例将教大家免费爬取4k高清大图,即使你是爬虫新手,也可以食用本次文章实现你的免费下载梦,话不多说,先看效果网站视图: 看到这些图片你是否怦然心动,跟着我一起看下去. 一.思路分析首先最基本的 ...
python爬取4k高清壁纸（多线程版）
刚学了多线程,于是把上次写的博客拿出来进行改写, 原文链接:python爬取4k高清壁纸(再也不怕没有壁纸了) 爬取过程已经在上一次写过了,可以点击原文链接查看. 废话不多说,直接上多线程代码: im ...
python利用bs4爬取外国高清图片网站
python利用bs4爬取外国高清图片网站爬取高清图片爬取高清图片 import re import requests from bs4 import BeautifulSoup import o ...
python按关键字爬取必应高清图片
通过查询前人的博客,发现必应可通过url按关键字查找图片: https://www.bing.com/images/async?q=查询关键字&first=图片编号&count=图片数 ...
selenium、requests爬取新浪微博高清图片
文章目录案例介绍 step1:导入必要的包,模拟浏览器打开新浪微博首页 step2:登录微博账号,进入艾漫数据的微博主页,搜索"全部艺人活跃粉丝榜" step3:获取目标图片的u ...
python爬取4k高清壁纸（再也不怕没有壁纸了）
今天突然想换壁纸,在网上找了一圈没有找到满意的,正好学了爬虫,于是我就想把它们全都爬取下来,慢慢挑选. 这次爬取的目标是:彼岸图网动漫壁纸接下来,我将详细讲解爬取过程: 首先点开网站,右键–检查观 ...
python爬虫爬取海量高清图片，小白都能学习的简单操作
正文目标网站divinl 首先看看这网站是怎样加载数据的; 打开网站后发现底部有下一页的按钮,ok,爬这个网站就很简单了; 日文的我们目标是获取每张图片的高清的源地址,并且下载图片到桌面; 先随便 ...

简易爬虫教程爬取4K高清图片

简易爬虫教程爬取4K高清图片相关推荐

最新文章

热门文章