爬虫爬取斗鱼小姐姐直播间的封面

# -*- coding: utf-8 -*-
"""
Created on Wed Jun 23 21:58:40 2021@author: xfw
"""
import requests
import os
from urllib import request
import multiprocessing# 定义默认爬取第一页
def get_douyu_pic(page=1):#请求头headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36"}# 链接url = f'https://www.douyu.com/gapi/rknc/directory/yzRec/{page}'#请求response = requests.get(url, headers=headers)print(response)if response.status_code == 200:print('okay')else:print('fail')girls = response.json()lst = girls['data']['rl']for girl in lst:name = girl['nn']img = girl['rs1']try:request.urlretrieve(img, f'douyu/{page}-{name}.png ')request.urlcleanup()print(f'/xixi/{page}-{name}.png ','   downloading')except:print('oh no!')if __name__ == "__main__":if not os.path.exists('douyu'):os.mkdir('douyu')# 多进程爬取19页for i in range(1,20):multiprocessing.Process(target=get_douyu_pic, args=(i,)).start()

爬虫爬取斗鱼小姐姐直播间的封面相关推荐

python爬虫爬取美丽小姐姐图片美女壁纸
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
python爬虫爬取清纯小姐姐图片
文章目录 1 思路介绍 2 完整代码 2 代码介绍 2.1 获取网站 2.3 创建目录 2.4 找到首图的名称和地址 2.5 实现同一个人的翻页 2.6 实现每一位小姐姐图片的连接 2.7 爬取图片 ...
利用Python爬虫爬取斗鱼直播间信息，以及直播的实际人数！
首先我准备利用mysql来存储我爬取的信息,建一个host表如下: 然后下载pymysql ,利用它与数据库链接,因为在这里我只涉及到写入的操作: Unit_Mtsql 然后就是使用Beautiful ...
python爬取“百度小姐姐”
欢迎加入我们卧虎藏龙的python讨论qq群:996113038 最近经常推一些游戏类的推文发现这些推文的阅读量不是很高我算明白了写推文不趁妹子是没人看的想到自己好久没有发过爬虫了. 今天就给 ...
手把手教你爬取清纯小姐姐私房照，小孩子写学
手把手教你爬取清纯小姐姐私房照,小孩子写学先上效果图头文件: 因为爬虫需要用到请求网络部分,所以需要这两个包,没有的话自行下载即可.这个可以直接用pip安装.如果连pip都不懂,那就只能学习一下p ...
Python三步爬取VMgirls小姐姐图片
Python三步爬取VMgirls小姐姐图片具体思路第一步:确定目标第二步:分析目标网站第三步:代码编写具体思路第一步:确定目标:寻找目标网站,我选择的网站是http://www.VMgi ...
原生爬虫爬取虎牙绝地求生直播热度排行榜
原生爬虫爬取虎牙绝地求生直播热度排行榜首先需要相应的知识储备: (1)import 导入方法 (2)面向对象思想 (3)for循环运用 (4)正则表达式 (5)lambda方法的应用本次原生爬虫爬 ...
微信小程序爬虫python_爬虫爬取微信小程序
之前打算做个微信小程序的社区,所以写了爬虫去爬取微信小程序,后面发现做微信小程序没有前途,就把原来的项目废弃了做了现在的网站观点,不过代码放着也是放着,还不如公开让大家用,所以我把代码贴出来,有需要的 ...
python爬取微信小程序(实战篇)_爬虫爬取微信小程序
之前打算做个微信小程序的社区,所以写了爬虫去爬取微信小程序,后面发现做微信小程序没有前途,就把原来的项目废弃了做了现在的网站观点,不过代码放着也是放着,还不如公开让大家用,所以我把代码贴出来,有需要的 ...

爬虫爬取斗鱼小姐姐直播间的封面

爬虫爬取斗鱼小姐姐直播间的封面相关推荐

最新文章

热门文章