爬取斗鱼所有房间及直播源

# -*- coding: utf-8 -*-
from douyu import main
import requests
import json,sys
import randomreload(sys)
sys.setdefaultencoding("utf-8")Max=165#斗鱼页数def createRandomString(len):print ('wet'.center(10,'*'))raw = ""range1 = range(58, 65) # between 0~9 and A~Zrange2 = range(91, 97) # between A~Z and a~zi = 0while i < len:seed = random.randint(48, 122)if ((seed in range1) or (seed in range2)):continue;raw += chr(seed);i += 1return rawdef getNumber():p = 0urls = ['https://www.douyu.com/gapi/rkc/directory/0_0/{}'.format(page) for page in range(1, Max)]fp=open("douyu_"+createRandomString(4)+".txt","w")fp.write("「斗鱼」\n")for url in urls:res = requests.get(url)j = json.loads(res.text)l1 = j['data']l2 = l1['rl']p = p+1fp.write("==第%d页==\n"% p)for i in range(len(l2)):Anchor = l2[i]['nn']            RoomNumber = l2[i]['rid']        print Anchor+","+main(RoomNumber)+"\n"if not "未开播" in main(RoomNumber):fp.write(Anchor+","+main(RoomNumber)+"\n")fp.write("\n")fp.close()print(u'斗鱼房间数据已保存')getNumber()

cmd加入显示直播源；
txt加入分页，每120条数据为一页，最后一页除外；

main模块请看上一篇

爬取斗鱼所有房间及直播源相关推荐

python爬斗鱼直播_Python---20行代码爬取斗鱼平台房间数据（下）
在上一篇中,已经详细的讲解了如何获取数据,接下来是深度处理数据,这里调用xlsxwriter库来制作Excel表格. 工具:Python3.6.5,Pycharm 1.模块介绍 XlsxWriter模 ...
Python---20行代码爬取斗鱼平台房间数据（下）
在上一篇中,已经详细的讲解了如何获取数据,接下来是深度处理数据,这里调用xlsxwriter库来制作Excel表格. 工具:Python3.6.5,Pycharm 1.模块介绍 XlsxWriter模 ...
利用python爬取飞猪信息_Python---20行代码爬取斗鱼平台房间数据（下）-阿里云开发者社区...
在上一篇中,已经详细的讲解了如何获取数据,接下来是深度处理数据,这里调用xlsxwriter库来制作Excel表格. 工具:Python3.6.5,Pycharm 1.模块介绍 XlsxWriter模 ...
python爬虫：使用selenium、unittest和BeautifulSoup爬取斗鱼tv的当前直播人数
import unittest from selenium import webdriver from bs4 import BeautifulSoup as bsclass douyu(unitte ...
Python---20行代码爬取斗鱼平台房间数据（上）
本期用到json,requests库来爬取网页信息,这次爬的是一个特殊多页式网站,普通多页式网站只需分析不同页面的url,找出其中的不同点,用for in来循环即可,但是斗鱼的https://www. ...
python房子代码,Python---20行代码爬取斗鱼平台房间数据（上）
本期用到json,requests库来爬取网页信息,这次爬的是一个特殊多页式网站,普通多页式网站只需分析不同页面的url,找出其中的不同点,用for in来循环即可,但是斗鱼的https://www. ...
利用selenium爬取斗鱼漂亮小姐姐直播间信息
斗鱼 - selenium 思路源代码斗鱼 - selenium 更多爬虫教程请移步 \color{red}更多爬虫教程请移步更
使用selenium自动爬取斗鱼直播平台的所有房间信息
使用selenium自动爬取斗鱼直播平台的所有房间信息文章目录使用selenium自动爬取斗鱼直播平台的所有房间信息使用selenium实现动态页面模拟点击什么是selenium? selen ...
实时爬取斗鱼直播时的弹幕消息
最近想爬取实时消息,上网查了下,所以爬取斗鱼直播的弹幕消息做了下练习,这个开源的代码有很多,但是具体是怎么爬取到的还是要仔细地研究下.想爬取斗鱼的弹幕消息,按照常用的做法是打开网页用抓包工具抓包,但是 ...
Python爬取斗鱼直播网站信息
一.需求爬取斗鱼直播网站信息,如直播名字.主播名字.热度.图片和房间网址,将这些数据保存到csv文件中,并单独创建文件夹保存图片. 斗鱼直播网址:https://www.douyu.com/g_LO ...

爬取斗鱼所有房间及直播源

爬取斗鱼所有房间及直播源相关推荐

最新文章

热门文章