python爬虫爬取百度贴吧图片，requests方法

每天一点点，记录学习

近期爬虫项目，看完请点赞哦～～～：

1:python 爬取菜鸟教程python100题，百度贴吧图片反爬虫下载，批量下载

2:python爬虫爬取百度贴吧图片，requests方法

3:python 爬虫爬取百度贴吧图片 urllib.request.urlretrieve图片批量下载函数

python爬虫爬取百度贴吧图片，requests方法
知识点：反爬虫
1:仍然是找到该图片的http链接，复制到新窗口，找到user-agent

找到user-agent，将user-agent后边的内容全部复制

#反爬虫
headers = {'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'}

全部代码如下：

import requests
from lxml import etree
url = 'https://tieba.baidu.com/p/5815297430'
#反爬虫
headers = {'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'}
response = requests.get(url)
data = response.content.decode('utf-8')#解析
html = etree.HTML(data)
img = html.xpath('//img[@class="BDE_Image"]/@src')
a = 1
for i in img:res = requests.get(i,headers = headers)img_data = res.content   #只能转换为字节流才能下载图片with open ('/Users/你的路径/百度贴吧图片批量下载/{}.jpg'.format(a),'wb') as f:f.write(img_data)print('第%d张图片已下载完成'%a)a += 1

复制即可用，还有用批量图片下载函数爬取图片的方法，链接?批量下载图片

python爬虫爬取百度贴吧图片，requests方法相关推荐

python爬虫代码实例-Python爬虫爬取百度搜索内容代码实例
这篇文章主要介绍了Python爬虫爬取百度搜索内容代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下搜索引擎用的很频繁,现在利用Python爬 ...
python爬虫爬取百度文档
使用python爬虫爬取百度文档文字话不多说,直接上代码! import requests import reheaders = {"User-Agent": "Moz ...
python爬虫爬取彼岸图网图片
python爬虫爬取彼岸图网图片话不多说,直接上代码! import requests from PIL import Image from io import BytesIO import re ...
python爬虫图片实例-Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...
Python爬虫爬取煎蛋网图片代码实例
这篇文章主要介绍了Python爬虫爬取煎蛋网图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下今天,试着爬取了煎蛋网的图片. 用到的包: ...
python爬虫爬取百度图片总结_爬虫篇| 爬取百度图片（一）
什么是爬虫网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模 ...
python爬虫爬取百度图片总结_python爬虫如何批量爬取百度图片
当我们想要获取百度图片的时候,面对一张张图片,一次次的点击右键下载十分麻烦.python爬虫可以实现批量下载,根据我们下载网站位置.图片位置.图片下载数量.图片下载位置等需求进行批量下载,本文演示py ...
python爬虫爬取百度图片,python爬虫篇2：爬取百度图片
入门级 import requests import re import os from urllib import error def main(): dirPath = "E:\pyth ...
python爬虫下载电影百度文档_写一个python 爬虫爬取百度电影并存入mysql中
目标是利用python爬取百度搜索的电影在类型地区年代各个标签下电影的名字评分和图片连接以及电影连接首先我们先在mysql中建表 create table liubo4( id in ...

python爬虫爬取百度贴吧图片，requests方法

python爬虫爬取百度贴吧图片，requests方法相关推荐

最新文章

热门文章