爬虫抓取暗黑3国服天梯榜数据及分析

从一月末入坑，到今天19号，20多天的时间，托春节三天双倍的福，我成功的成为了900级的萌新不过买完198，就打折98，这对本萌也太不友好了吧怀着愤怒的心情......

我就又买了一份、、、

和老爸一起刷刷刷

这两天一直关注凯恩之角，不得不说，D3的数据帝是真滴多、、、就像这两天才知道，攻速还有档位一说？？？我擦嘞，贴一下大佬的帖子：暗黑3公开课：暗黑3“档位”的由来与发展

好了，步入正题，凯恩之角有一栏是是英雄榜，有亚服、国服、美服和欧服高玩们的冲（zhuang）榜（bi）数（zheng）据（ju），今天就来抓一下国服七大职业天梯榜各前50的数据，包含玩家BattleTag，大米最高层数及用时，最佳记录完成日期。并给出各职业前50名平均层数、平均用时。

先说一下，代码中arr里的1为蛮子，2为51，3是和尚，4是法师，5是DH，6是豆角，中间空着的7,8,9为双人、三人和四人模式，死灵因为资料片刚出所以为10

代码如下：

# -*- coding: utf-8 -*-
"""
Created on Mon Feb 19 16:16:07 2018@author: Administrator
"""import urllib2
import rep=r'<td class=num>\s+(.+?)\s+</td>\s+<td> <a href="(.+?)"> (.+?) </a> </td>\s+<td class="u-tlc">\s+<span class="class-portrait hero-(.+?)"/>\s+</td>\s+<td> (.+?)</td>\s+<td> (.+?)分(.+?)秒</td>\s+<td> (.+?)</td>'arr=(1,2,3,4,5,6,10)count=[0]*11
average_ceng=[0]*11
average_time_min=[0]*11
average_time_sec=[0]*11for i in arr:url="http://hero.d.163.com/mystic/cn/121/0/"+str(i)print urlrequest=urllib2.Request(url)response=urllib2.urlopen(request)data=response.read()q=re.compile(p)list=re.findall(q,data)sum_ceng=0sum_time_min=0sum_time_sec=0for row in list:print ("%s\t%s\t%s\t%s分%s秒\t%s")%(row[0],row[2],row[4],row[5],row[6],row[7])count[i]+=1sum_ceng+=int(row[4])sum_time_min+=int(row[5])sum_time_sec+=float(row[6]) average_ceng[i]=float(sum_ceng)/count[i]average_time_min[i]=float(sum_time_min)/count[i]average_time_sec[i]=sum_time_sec/count[i]average_time_sec[i]=average_time_sec[i]+(average_time_min[i]-int(average_time_min[i]))*60average_time_min[i]=int(average_time_min[i])if average_time_sec[i]>=60:average_time_sec[i]-=60average_time_min[i]+=1print '\n\n***********************************************************'
print '依次为野蛮人、巫医、武僧、魔法师、猎魔人、圣教军和死灵'
for i in arr:print ("人数:%d\t平均层数:%.3f\t平均用时:%d分%.3f秒")%(count[i],average_ceng[i],average_time_min[i],average_time_sec[i])

点进每位玩家的标签，是可以看到他们人物属性的，包括爆率、爆伤、元素抗、攻速和cdr等等这些平时游戏里看天梯榜看不到的数据，这些我明后天会更新，毕竟这些才是最主要的，从这些数据能看出和大佬们的差距在哪里~~~

暂时贴一下运行结果吧：

举一下蛮子的：

各职业总结

怎么巫医平均层数那么低？？？

我猜是丑。。。

爬虫抓取暗黑3国服天梯榜数据及分析相关推荐

xpath爬虫-抓取全国行政区划和城乡区划数据
数据来源地址:2020年度全国行政区划和城乡划代码示例:以安徽省合肥市为例 import requests from lxml import etree import pandas as pddef ...
Python爬虫抓取B站热榜
Python爬虫抓取B站热榜环境 Python 3.7.4 bs4==0.0.1 pandas==1.0.1 urllib3==1.24.2 re 实现代码 # -*- coding:utf-8 - ...
python爬虫网易云音乐最热评论并分析_Python3实现爬虫抓取网易云音乐的热门评论分析（图）...
这篇文章主要给大家介绍了关于Python3实战之爬虫抓取网易云音乐热评的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧. ...
Python3爬虫抓取网易云音乐热评实战
前一段时间刚刚入门python爬虫,有大概半个月时间没有写python了,都快遗忘了.于是准备写个简单的爬虫练练手,我觉得网易云音乐最优特色的就是其精准的歌曲推荐和独具特色的用户评论,于是写了这个抓取 ...
python爬取百度贴吧中的所有邮箱_使用 Python 编写多线程爬虫抓取百度贴吧邮箱与手机号...
原标题:使用 Python 编写多线程爬虫抓取百度贴吧邮箱与手机号不知道大家过年都是怎么过的,反正栏主是在家睡了一天,醒来的时候登QQ发现有人找我要一份贴吧爬虫的源代码,想起之前练手的时候写过一个抓 ...
爬虫抓取页面数据原理（php爬虫框架有很多）
爬虫抓取页面数据原理(php爬虫框架有很多 ) 一.总结 1.php爬虫框架有很多,包括很多傻瓜式的软件 2.照以前写过java爬虫的例子来看,真的非常简单,就是一个获取网页数据的类或者方法(这里的话 ...
python爬取大众点评评论_python爬虫抓取数据小试Python——爬虫抓取大众点评上的数据 - 电脑常识 - 服务器之家...
python爬虫抓取数据小试Python--爬虫抓取大众点评上的数据发布时间:2017-04-07
python爬虫招聘-Python爬虫抓取智联招聘（基础版）
原标题:Python爬虫抓取智联招聘(基础版) 作者:C与Python实战「若你有原创文章想与大家分享,欢迎投稿.」对于每个上班族来说,总要经历几次换工作,如何在网上挑到心仪的工作?如何提前为心仪 ...
python爬取慕课视频-Python爬虫抓取技术的门道
web是一个开放的平台,这也奠定了web从90年代初诞生直至今日将近30年来蓬勃的发展.然而,正所谓成也萧何败也萧何,开放的特性.搜索引擎以及简单易学的html.css技术使得web成为了互联网领域里 ...
Python学习教程：Python爬虫抓取技术的门道
Python学习教程:Python爬虫抓取技术的门道 web是一个开放的平台,这也奠定了web从90年代初诞生直至今日将近30年来蓬勃的发展.然而,正所谓成也萧何败也萧何,开放的特性.搜索引擎以及简单 ...

爬虫抓取暗黑3国服天梯榜数据及分析

爬虫抓取暗黑3国服天梯榜数据及分析相关推荐

最新文章

热门文章