【爬虫】01-爬斗鱼妹子图

1.准备工作

url：“https://www.douyu.com/g_yz”
爬取目标：

2.开始爬取

目录结构
代码

import requests, redef get_stable_image(url):headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36"}# urlreq = requests.get(url=url, headers=headers)# print(req.request.headers)  # 测试请求头# 响应内容html = req.content.decode()# print(html)  # 测试网页内容# 获取image_url# 使用正则匹配目标内容reg = r'data-original="(.*?)" src='img_url_list = re.findall(reg, html)# print(img_url_list)  # 测试img_url# 提取数据count = 0for img_url in img_url_list:try:# 图片名称img_name = img_url.split('/')[-1] + ".jpg"except Exception as e:print(e)continueimg = requests.get(url=img_url)# 存储数据with open('images/01.爬取斗鱼图片/'+img_name, 'wb') as f:f.write(img.content)count += 1print("已爬取成功%d张图片" % count)if __name__ == '__main__':ret = get_stable_image("https://www.douyu.com/g_yz")

爬取成功

【爬虫】01-爬斗鱼妹子图相关推荐

Python爬虫 - scrapy - 爬取妹子图 Lv1
0. 前言这是一个利用python scrapy框架爬取网站图片的实例,本人也是在学习当中,在这做个记录,也希望能帮到需要的人.爬取妹子图的实例打算分成三部分来写,尝试完善实用性. 系统环境 Sys ...
Python之Scrapy爬虫实战--爬取妹子图
1.前言反正闲着也是闲着,不如来学习啊! 2.关键代码新建项目不会的同学可参考我的另一篇博文,这里不再赘述:Python之Scrapy爬虫实战–新建scrapy项目这里只讲一下几个关键点,完整 ...
Python 爬虫入门(二)——爬取妹子图
Python 爬虫入门听说你写代码没动力?本文就给你动力,爬取妹子图.如果这也没动力那就没救了. GitHub 地址: https://github.com/injetlee/Python/blob ...
python爬虫-爬妹子图_Python 爬虫入门之爬取妹子图
Python 爬虫入门之爬取妹子图来源:李英杰链接: https://segmentfault.com/a/1190000015798452 听说你写代码没动力?本文就给你动力,爬取妹子图.如果 ...
python爬虫妹子图_Python 爬虫入门(二)——爬取妹子图
Python 爬虫入门听说你写代码没动力?本文就给你动力,爬取妹子图.如果这也没动力那就没救了. 公众号:[智能制造社区].欢迎关注,分享智能制造与编程那些事. 爬虫成果当你运行代码后,文件夹就会 ...
python爬虫（最新的可以爬的妹子图）
最新的可以爬的妹子图 python爬虫(最新的可以爬的妹子图) 运行图片完整代码(类似的代码分析文章站里很多,难度也不高,在此就不做细致分析了) python爬虫(最新的可以爬的妹子图) 入门了py ...
爬取妹子图(python)：爬虫（bs+rq）+ gevent多线程
爬取妹子图(python):爬虫(bs+rq)+ gevent多线程简介我观察爬取妹子图算是爬虫专业户必做的事情之一,所以我也做了一个,结果是有3.45GB,49847张图. 打算依靠这个图库做个 ...
python多线程爬取妹子图
python多线程爬取妹子图 python使用版本: 3.7 目的: 自己选择下载目录,逐个将主题图片保存到选定目录下. 效果: 一秒钟左右下载一张图片,下了七八十组图片暂时没什么问题,不放心的话,可 ...
Node.js爬取妹子图-crawler爬虫的使用
去年10月份写过<Node.js 2小时爬取驴妈妈8W+条旅游数据>.之前做的是使用request 做网路请求和 cheerio做DOM解析. 后来在网上看见了crawler,昨天就把cr ...

【爬虫】01-爬斗鱼妹子图

1.准备工作

2.开始爬取

爬取成功

【爬虫】01-爬斗鱼妹子图相关推荐

最新文章

热门文章