博客原文：https://weweweha.com

1. 概述

爬取3DM指定网页的游戏壁纸，并且通过多线程来加速爬取图片的速度。

2.使用库

request库用来1解析指定网页，re库用来搜索指定网页中的图片地址，threading多线程模块用来加速图片爬取。

3.网页分析

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9drAZePc-1590219277095)(练手小项目，爬取3DM图片/1.JPG)]

#3DM
import requests#引入requests库
a = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)"
}#定义浏览器抬头，防止反爬
url="https://www.3dmgame.com/tu/3742411.html"
r = requests.get(url,headers=a)
r.encoding=r.apparent_encoding
print(r.text)

结果展示:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WrteuwJd-1590219277097)(练手小项目，爬取3DM图片/2.JPG)]

3.找到需要的图片地址信息

通过观察网页源代码可以发现所有的壁纸信息都以jpg格式存放，所以通过正则表达式来寻找所要的信息,正则表达式:https://.*?.jpg

#3DM
import requests  #引入requests库
import re  #引入re库
a = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)"
}#定义浏览器抬头，防止反爬
url="https://www.3dmgame.com/tu/3742411.html"
r = requests.get(url,headers=a)
r.encoding=r.apparent_encoding
demo=r.text
urllist=re.findall("https://.*?.jpg",demo)
print(urllist)

结果展示:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9JBaqnl6-1590219277097)(练手小项目，爬取3DM图片/3.JPG)]

4.定义下载图片的函数

#3DM
import requests  #引入requests库
import re  #引入re库
a = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)"
}#定义浏览器抬头，防止反爬
url="https://www.3dmgame.com/tu/3742411.html"
r = requests.get(url,headers=a)
r.encoding=r.apparent_encoding
demo=r.text
urllist=re.findall("https://.*?.jpg",demo)
def download(list):for i in list:try:r = requests.get(i, headers=a)path = "G://游戏图片//" + i.split("/")[-1]with open(path, "wb") as f:f.write(r.content)f.close()except:pass
download(urllist)
print("爬取完毕")

结果展示:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-szj9KORZ-1590219277099)(练手小项目，爬取3DM图片/4.JPG)]

5.多线程爬取多组壁纸

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-htRTuvPR-1590219277100)(练手小项目，爬取3DM图片/5.JPG)]

可以看到一个页面最多有20组壁纸，那就设定2个线程同时爬取这些壁纸:

#3DM
import requests  #引入requests库
import re  #引入re库
import threading    #引入多线程
a = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)"
}#定义浏览器抬头，防止反爬
url="https://www.3dmgame.com/tu_52_1/"
r = requests.get(url,headers=a)
r.encoding=r.apparent_encoding
demo = r.text
b = re.findall("[0-9]+.html", demo)
c = ["https://www.3dmgame.com/tu/" + x for x in b]
def download(urllist):#定义下载函数for url in urllist:try:picture = requests.get(url, headers=a)path = "G://游戏图片//" + url.split("/")[-1]with open(path, "wb") as f:f.write(picture.content)f.close()except:pass
def geturl(urllistall):#定义获取图片地址我的函数g=[]for i in urllistall:try:r = requests.get(i, headers=a)demo=r.textpicurl = re.findall("https://.*?jpg", demo)g+=picurl#叠加每个网页获取的图片地址信息并且存放在g数组中except:pass    return g
d = geturl(c)
h = d[0:len(d) // 2]
j = d[len(d) // 2:len(d) - 1]
t1=threading.Thread(target=download,args=(h, ))
t2 = threading.Thread(target=download, args=(j,))
t1.start()
t2.start()
t1.join()#线程阻塞
t2.join()
print("爬取完毕")

结果展示：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BWlI6S7U-1590219277100)(练手小项目，爬取3DM图片/6.JPG)]

6.robots协议

3DM网站根目录下没有robots协议，仅学习用，图片已经全部删除。

练手小项目，爬取3DM图片相关推荐

ssm练手小项目_20 个 JavaScript+Html+CSS 练手的小项目
前言: 最近在 GitHub 上发现了一个 vanillawebprojects[1] 开源仓库,里面收集了 20 个 JavaScript+Html+CSS的练手项目,没有使用任何框架,可以让你从基 ...
爬虫练手小项目：豆瓣高分图书TOP100
爬虫练手小项目:豆瓣高分图书TOP100 import requests import re from requests.exceptions import RequestException impo ...
练手小项目（5）安全卫士_程序锁
最近想做的小新工具箱,一直想做一个程序锁,其实原理,很简单,先注册一个服务,检测手机所有进程,如果发现被加锁的app启动,马上弹出一个输入程序锁界面,但是这样子bug很多.我先做一个基本后面慢慢把bu ...
springboot+vue练手小项目[前台搭建+后台编写]（非常详细）
[ springboot+vue练手小项目 ] 技术栈: springboot+vue3+element-plus +Mybaties-plus+hutool +mysql8 项目介绍 :最近刚学了s ...
台式小风扇（HTML+CSS+JS练手小项目）
台式小风扇(HTML+CSS+JS练手小项目) 功能介绍外观展示 HTML代码 CSS代码 JS代码总结功能介绍前段时间看到这样的风扇特效,感觉还挺好玩,就自己也写一个练练手. 风扇有四个档位 ...
小爬虫爬取小猫咪图片并存入本地文件夹
小爬虫爬取小猫咪图片并存入本地文件夹本人是安徽工业大学电气与信息工程学院研一学生,最近还不能开学真的是很糟心哦,由于自己比较笨吧,起步较晚还要忙着学习机器学习还有计算机视觉,但是总学这个感觉很闷也没 ...
数据结构练手小项目（AVL树、哈希表、循环链表、MySQL数据库）
文章目录前言正文(无删减) 我的想法(删减修改版) 数据导入与数据存储功能实现数据结构用户结构 SIM卡结构 AVL树数据结构哈希表结构数据表用户表 SIM卡表时间安排前言本月主 ...
html+css+js之20个练手小项目（一）
html+css+js之20个练手小项目(一)--Hangman 前言一.HTML 二.CSS 三.JS 前言前端新手练习,记录不迷失. 主要练习html和CSS布局以及JS. 来源github, ...
c语言模拟器怎么打程序,C语言初学者练手小项目——万花模拟器
原标题:C语言初学者练手小项目--万花模拟器还记得小时候玩的万花尺么?好好玩,各种不同的点距能画出各种各样形状图形. C语言程序万花尺模拟函数功能:每隔5秒随机生成万花图形并自动保存作图参数以及 ...

练手小项目，爬取3DM图片