py3+urllib+bs4+反爬，20+行代码教你爬取豆瓣妹子图

2024-05-13 16:02:05

0.准备

　　所用到的模块：

urllib.request，获取源码

beautifulsoup4（bs4），网页抓取数据

安装bs4，python3 -m pip install beautifulsoup4

查看，python3 -m pip show beautifulsoup4

　　

1.bs4基本功能

如何获取标签的数据？对象+标签名称

如何获取文件的内容？ prettify

2.字符串格式化

%s 占位符 {}.format

print('http://www.dbmeinv.com/?pager_offset=%s' %2)

print('http://www.dbmeinv.com/?pager_offset={}'.format(2))

3.如何获取网页源码

urllib.request

urlopen

read

4.反爬

网站禁止爬虫，所以获取不到想要的内容，或者请求失败

那么，这是就需要获取用户代理池信息，加上头部信息，模拟浏览器进行访问

请求头中找：User-Agent

5.获取图片

src后面都是图片路径，get

　　

图片的标签，find_all

6.下载

urlretrieve(link，路径)

如果获取到的图片src是相对路径，需要通过字符串拼接完整　　

7.多页

for in range()

8.源码

from bs4 import BeautifulSoup
import urllib.request
x = 1 def crawl(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}req = urllib.request.Request(url, headers=headers) # 创建对象page = urllib.request.urlopen(req,timeout=20) # 设置超时contents = page.read().decode('utf-8') # 获取源码# print(contents)soup = BeautifulSoup(contents, 'html.parser')my_girl = soup.find_all('img') for girl in my_girl: # 遍历link = girl.get('src') # 获取到src的值，即图片链接，如果图片链接是相对路径，还需要‘协议 + 主机名 + 端口号 + link’拼接完整print(link) # 打印获取到的图片urlglobal x urllib.request.urlretrieve(link, 'image\%s.jpg'%x) # x +=1print('正在下载第%s张图片'%x)x +=1for page in range(1, 3): # 爬取第1-2页的图片# print(page)# url = 'http://www.dbmeinv.com/?pager_offset=%s'%page # 也可以写%durl = 'http://www.dbmeinv.com/?pager_offset={}'.format(page)crawl(url)
print('恭喜你，图片下载完成啦！')

　

9.程序运行中　

　　

10.结果

　　

转载于:https://www.cnblogs.com/uncleyong/p/6892688.html

py3+urllib+bs4+反爬，20+行代码教你爬取豆瓣妹子图相关推荐

100行代码教你爬取斗图网(Python多线程队列)
100行代码教你爬取斗图网(Python多线程队列) 前言根据之前写的两篇文章,想必大家对多线程和队列有了一个初步的了解,今天这篇文章就来实战一下,用多线程 + 队列爬取斗图网的全网图片. 你还在 ...
猫眼html源码,50 行代码教你爬取猫眼电影 TOP100 榜所有信息
点击上方"CSDN",选择"置顶公众号" 关键时刻,第一时间送达! 今天,手把手教你入门 Python 爬虫,爬取猫眼电影 TOP100 榜信息. 作者 | 丁 ...
50 行代码教你爬取猫眼电影 TOP100 榜所有信息
点击上方"CSDN",选择"置顶公众号" 关键时刻,第一时间送达! 今天,手把手教你入门 Python 爬虫,爬取猫眼电影 TOP100 榜信息. 作者 | 丁 ...
基于python的证件照_20行代码教你用python给证件照换底色的方法示例
1.图片来源该图片来源于百度图片,如果侵权,请联系我删除!图片仅用于知识交流. 2.读取图片并显示 imread():读取图片: imshow():展示图片: waitkey():设置窗口等待,如果 ...
简单20行代码爬取王者荣耀官网1080p壁纸
简单20行代码爬取王者荣耀官网1080p壁纸 # -*- coding: utf-8 -*- # @Time : 2020/12/13 18:08 # @Author : ningfangcong i ...
20行代码爬取王者荣耀全英雄皮肤！让你享受白嫖的快乐！
引言王者荣耀大家都玩过吧,没玩过的也应该听说过,作为时下最火的手机MOBA游戏,咳咳,好像跑题了.我们今天的重点是爬取王者荣耀所有英雄的所有皮肤,而且仅仅使用20行代码即可完成. 准备工作爬取皮肤 ...
人脸检测算法代码python_Python有多强大！20行代码实现人脸检测与识别
题记:大二的时候发现人生苦短,所以信了拍神,开始学Python.学了大半年之后成功转行做前端了.来写个教程帮助大家入门Python. Python优点 Python是一种简单易学.功能强大的编程语言, ...
20行代码发一篇NeurIPS：梯度共享已经不安全了
整理 | 夕颜,Jane 出品 | AI科技大本营(ID:rgznai100) [导读]12 月 8 日-14 日,NeurIPS 2019 在加拿大温哥华举行,和往常一样,今年大会吸引了数万名专家参 ...
php横排代码,20行代码原生js实现文字横向轮播
20行代码实现文字横向轮播效果 1 页面布局代码恭喜793765***获得 50元超市充值卡卡奖励恭喜793765***获得 50元超市充值卡卡奖励恭喜793765***获得 50元超市充值卡卡 ...
《看聊天记录都学不会C语言？太菜了吧》（14）这么神奇？我写了20行代码竟然一行就可以搞定？
好消息2020年4月13日晚7.30我在CSDN开播,等你来聊天预约连接:https://live.csdn.net/room/A757291228/MJWK0Gem 本系列文章将会以通俗易懂的对话 ...

最新文章

热门文章