python刷直播人气_python3爬取斗鱼某些版块的主播人气
python 3爬取斗鱼某些版块的主播人气
1.爬虫版块
import Test3
import urllib.request
from bs4 import BeautifulSoup
import json
def Reptilian(url):
#添加头部,伪装浏览器
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.103 Safari/537.36'}
resquest = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(resquest)
if response.code == 200:
print("服务器连接成功")
#读取数据
data = response.read()
html = data.decode('utf-8')
#解析器
soup = BeautifulSoup(
html,
'html.parser',
from_encoding='utf-8'
)
links1 = soup.find_all('span', class_="dy-name ellipsis fl") #主播的名字
links2 = soup.find_all('span', class_="dy-num fr") # 主播的人气
#数据插入到数据库
for i in range(0,120):#暂时只爬取了第一个,一页有120条数据
Test3.mysqldb(links1[i].get_text(),links2[i].get_text())
if __name__=="__main__":
url = "https://www.douyu.com/directory/game/LOL"#爬取地址,这里爬取的是斗鱼DNF版块的
Reptilian(url)
2.插入数据库版块
import pymysql
#插入数据到数据库
def mysqldb(name,renqi):
db = pymysql.connect(host='localhost',
port=3306,
user='root',
passwd='root',
db='testinfo',
charset='utf8')
cursor = db.cursor()
name1="'"+name+"'"
renqi1="'"+renqi+"'"
sql="INSERT into renqiinfo(id,name,renqi) VALUES(1,%s,%s)"%(name1,renqi1)
print(sql)
cursor.execute(sql)
db.commit()
运行代码截图如下
3.查询数据库版块
import pymysql
#查询入库的数据
def mysqldb():
db = pymysql.connect(host='localhost',
port=3306,
user='root',
passwd='root',
db='testinfo',
charset='utf8')
cursor = db.cursor()
sql = """select * from renqiinfo"""
cursor.execute(sql)
results = cursor.fetchall();
return results
if __name__=="__main__":
results=mysqldb()
for row in results:
print("id:"+str(row[0]))
print("name:" + row[1])
print("renqi:" + row[2])
print()
运行代码截图如下
3.总结
后续还会添加新的功能:
1.例如分页爬取,把版块所有的主播信息都爬取下来.
2.代理爬虫,绕开网站的反爬虫
3.多线程,同时爬取多个网站
4.定时爬虫,间隔多长时间爬取网站
python刷直播人气_python3爬取斗鱼某些版块的主播人气相关推荐
- python斗鱼抽奖_python3爬取斗鱼某些版块的主播人气
python 3爬取斗鱼某些版块的主播人气 1.爬虫版块 import Test3 import urllib.request from bs4 import BeautifulSoup import ...
- python爬取斗鱼当前英雄联盟主播排名
python爬取斗鱼当前英雄联盟主播排名 代码 # 目的:爬取斗鱼英雄联盟当前主播的排名 # 找到对应网页 # 分析排名和名称相对的位置# 模拟HTTP请求,获取HTML数据 # 用正则表达式获取对应 ...
- python selenium加bs4批量爬取斗鱼直播信息
from selenium import webdriver from bs4 import BeautifulSoup import time # 返回Phantomjs对象 driver = we ...
- python协程gevent案例 爬取斗鱼图片过程解析 - python
文章来源: 敏而好学论坛 嗨学网www.piaodoo.com 欢迎大家相互学习 分析 分析网站寻找需要的网址 用谷歌浏览器摁F12打开开发者工具,然后打开斗鱼颜值分类的页面,如图: 在里面的请求中, ...
- python爬虫百度图片_python3爬取百度图片(2018年11月3日有效)
最终目的:能通过输入关键字进行搜索,爬取相应的图片存储到本地或者数据库 首先打开百度图片的网站,搜索任意一个关键字,比如说:水果,得到如下的界面 分析: 1.百度图片搜索结果的页面源代码不包含需要提取 ...
- 自从学会:用Python爬取虎牙颜值区美女主播照片后,身体一天不如一天
本次干货内容给大家呈现的利用爬虫获取海量美女图片.不知道大家有没有上过斗鱼直播.虎牙直播,直播室里面美女姐姐可是比比皆是. 有很多美女姐姐的图片做桌面,即使加班也是高兴的! 好啦!先唠叨一下爬虫的步骤 ...
- python爬取直播_python selenium爬取斗鱼所有直播房间信息过程详解
还是分析一下大体的流程: 发现所有房间的信息都是保存在一个无序列表中的li中,所以我们可以先获取一个装有li的element对象的列表,然后在对每个element逐一操作 分析斗鱼的翻页,有一个下一页 ...
- python爬斗鱼直播_python selenium爬取斗鱼所有直播房间信息过程详解
还是分析一下大体的流程: 发现所有房间的信息都是保存在一个无序列表中的li中,所以我们可以先获取一个装有li的element对象的列表,然后在对每个element逐一操作 分析斗鱼的翻页,有一个下一页 ...
- python面向对象爬取某鱼颜值区主播图片
通过对目标网站的分析,通过查看源码没有看到相关信息,怀疑是动态加载的. 按下F12定位到network xhr,通过查找发现这个包含主播信息. 但是我一开始没找到,就切换成移动端看的. 这个是我们查找 ...
最新文章
- OpenCV均值漂移meanshift algorithm算法的实例(附完整代码)
- linux nohup命令
- 《C++ Primer》2.1.3节练习
- Android listview item中使用TextWatcher
- C++之函数模板探究
- CentOS 7上快速安装saltstack
- 【SVN】解决SVN安装语言包后无法选择中文的问题
- stm32f405rgt6芯片手册
- labview编程小技巧
- VBox虚拟机安装Ubuntu
- 2020年中国半导体划片机行业现状分析,国产替代+需求扩张,行业前景广阔「图」
- Representation Learning 表示学习(简单笔记)
- Dreamweaver 8 时间轴及创建时间轴动画(转)
- 一些好听的纯音乐及下载
- Macbook做Wifi热点,用蓝牙分享
- 邮储社招Java笔试题_2019年及历年中国邮政储蓄银行社招笔试题和参考答案6套
- FTDI(FT220XQ)(一)——USB转SPI芯片的使用之驱动安装及设备信息配置
- 考研资料视频每日更新 3-16
- 模电中NPN和PNP导通条件
- 中国石油大学《机械设计课程设计》在线考试