python爬虫难度排行榜_无聊写了一个python爬虫程序,用来爬夕阳试炼场排行榜的...
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
import requests
import json
import os
#请求头部
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36',
'Accept':'application/json, text/javascript, */*; q=0.01',
'Accept-Encoding':'gzip, deflate',
'Accept-Language':'zh-CN,zh;q=0.9',
'Proxy-Connection':'keep-alive',
'Referer':'http://act2.dn.sdo.com/Project/202004ranking/'
}
#46职业代码
job_code={
'剑皇':23,'月之领主':24,'狂战士':25,'毁灭者':26,'黑暗复仇者':76,
'狙翎': 29,'魔羽': 30,'影舞者': 31,'风行者': 32,'银色猎人':81,
'火舞': 35,'冰灵': 36,'时空领主': 37,'黑暗女王': 38,'黑暗死神':85,
'圣骑士': 41,'十字军': 42,'圣徒': 43,'雷神': 44,'黑暗教主':83,
'重炮手': 47,'机械大师': 48,'炼金圣士': 50,'药剂师': 51,'银色机甲师':87,
'烈': 63,'影': 64,'曜': 68,'暗': 69,'黑暗修罗':91,
'皇家骑士': 73,'魔枪骑士': 74,'冰魂术士': 93,'火灵术士': 94,'黑暗破魔师':99,
'御灵': 78,'破风': 79,'碎夜': 96,'驭光': 97,
'斩魄':102,'逐月':103
}
#POST请求参数
request_data={
'PageIndex':1, #此参数代表请求第几页
'Pagesize':100, #此参数代表一页请求多少数据,默认为5
'JobCode':73, #此参数是职业代码,见上方
'SeaAreaId':0, #此参数为区服,1为华东电信一服 7为全国网通大区
'PassNum':17 #此参数为通关夕阳层数,这里以通关17层为例
}
#夕阳排行榜请求URL地址
request_url="http://act2.dn.sdo.com/Project/202004ranking/handler/GetStageRank.ashx?0.7486968842188584"
response=requests.post(url=request_url,data=request_data,headers=headers).json()
#先dump一下json
dump_result=json.dumps(response)
#载入json字符串
data=json.loads(dump_result)
#拿到ReturnObject里的数据,这才是我们想要获取的
sunset_ranking_data=data.get("ReturnObject")
print(sunset_ranking_data)
#下面开始写入HTML
html_path="C:/Sunset_Ranking_Data/" #新建一个保存HTML的文件夹
#判断文件夹是否存在,如果不存在创建一个新文件夹
if not os.path.exists(os.path.split(html_path)[0]):
os.mkdir(html_path)
html_file="
夕阳排行榜——皇家骑士17层"
try:
with open(html_path+"夕阳排行榜——皇家骑士17层.html","wb") as f:
f.write(html_file.encode("UTF-8"))
print("保存成功")
except IOError as e:
print("保存失败",e)
######################分隔线###########################
其实如果不算上jobcode代码的话,50行不到就能搞定。
想要查询其他职业,只需要修改request_data里的参数就可以了,代码有详细注释。
最后还打包了一个查询17C皇家骑士排行榜的exe文件,我上传到百度网盘了
地址:https://pan.baidu.com/s/1GAUSeMKnhEBuww5Yq9ycLw 提取码:ts6v
祝大家玩得开心,have fun!
python爬虫难度排行榜_无聊写了一个python爬虫程序,用来爬夕阳试炼场排行榜的...相关推荐
- python怎么开始编程_如何开始第一个 Python 编程实践项目?
导语:上期我们谈了谈如何高效的入门 Python 编程,了解了 Python 的编程环境以及常用的包,如 Pandas.Matplotlib.Numpy 等.这次我们将以实践项目的形式,帮助大家快速的 ...
- python中datetime库_一天掌握一个Python库--datetime库
#一天掌握一个Python库--datetime库 **datatime** 模块题共用一些处理日期,时间和时间间隔的函数.这个模块使用面向对象的交互取代了**time**模块中整形/元组类型的时间函 ...
- python定制框架知识点_我的第一个python web开发框架(25)——定制ORM(一)
在开始编写ORM模块之前,我们需要先对db_helper进行重构,因为ORM最终生成的sql是需要转给db_helper来执行的,所以拥有一个功能完善.健壮的数据库操作类是非常必要的. 这是项目原db ...
- python如何调用文件_如何调用另一个python文件中的代码
原博文 2017-07-10 15:56 − 无论我们选择用何种语言进行程序设计时,都不可能只有一个文件(除了"hello world"),通常情况下,我们都需要在一个文件中调用另 ...
- python开发企业管理平台_我的第一个python web开发框架(34)——后台管理系统权限设计...
框架底层和接口终于改造完成了,小白再次找到老菜. 小白:老大,上次你对后台权限系统简单的讲了一下,我一点头绪都没有,现在有空完整的说一说吗? 老菜:说到权限系统,要讲明白真不容易,权限系统并不是越复杂 ...
- python函数的组成要素_写好一个Python函数的六要素
Python 虽然好用,但用好真的很难.尤其是函数部分,只要写不好,后面的一连串人都会遭殃.看又看不懂,测试起来也麻烦,维护又维护不动,真是让人头疼. 那怎么写好一个 Python 函数呢?<W ...
- python新手入门教程思路-Python新手入门教程_教你怎么用Python做数据分析
Python新手入门教程_教你怎么用Python做数据分析 跟大家讲了这么多期的Python教程,有小伙伴在学Python新手教程的时候说学Python比较复杂的地方就是资料太多了,比较复杂.很多网上 ...
- [CentOS Python系列] 一.阿里云服务器安装部署及第一个Python爬虫代码实现
从2014年开始,作者主要写了三个Python系列文章,分别是基础知识.网络爬虫和数据分析. Python基础知识系列:Pythonj基础知识学习与提升 Python网络爬虫系列:Python爬虫之S ...
- 自己写的python软件可以在哪发布-如何发布一个Python命令行工具
本文简介 上次写的一个终端里面斗鱼TV弹幕Python版本和Ruby版本,并且发布到PIP和RubyGems上面.在发布PIP包的时候,居然Google不到一篇可以非常好的讲解这个流程的文章.于是整理 ...
- 无聊写的一个PHP Socket类
无聊写的一个PHP Socket类,功能还比较简单,不完善. <?php /** *//*** * @project:socket类 * @license:GPL ...
最新文章
- Swift进阶学习笔记
- CIC滤波器的参数详细方法与应用
- python调用zabbix api接口实时展示数据
- 数据科学家最常用的10种算法
- AAAI 2019 Oral | 把Cross Entropy梯度分布拉‘平’,就能轻松超越Focal Loss
- sshd_config 中文手册
- python post 远程主机强迫关闭了一个现有的连接_ConnectionResetError:[WinError10054远程主机强迫关闭一个现有连接...
- 途牛java面试题_途牛java面试题.docx
- Google官方 详解 Android 性能优化【史诗巨著之内存篇】
- 用c语言库函数进行排序
- 你不知道的分布式锁+分布式事务面试题
- Matconvnet完全安装及踩坑实录
- 威胁猎人|改机工具在黑灰产中的应用
- PostgreSQL数据库备份还原全攻略
- Docker【部署 02】可视化工具DockerUI和Shipyard安装使用实例
- 新手必看学习JAVA的N个理由,看阿…
- jpg转bmpbmp转jpg
- c++录屏、FFmpeg录屏、录屏格式转换
- 外企面试,哪有你想象的那么难!(已收埃森哲、NTTDATA等8家外企offer)
- 2019年DigitalOcean最新优惠券赠送100美元
热门文章
- Redis五大数据类型以及操作---散列表
- 文件和目录权限/更改所有者和所属组/umask/隐藏权限lsattr/chattr
- [转]winform控件webbrowser和js脚本互调
- [OT]“蓝帽”会议
- 死锁的产生原因和解决办法
- Java To CSharp源代码转换
- Linux中利用NFS实现飞鸽传书
- 【PHP面向对象(OOP)编程入门教程】20.PHP5接口技术(interface)
- 从2013年下半年始计算机等级考试大纲有重要调整
- 【嵌入式Linux学习七步曲之第五篇 Linux内核及驱动编程】Linux内核抢占实现机制分析...