learn python app v3_Python3 采集APP数据及相关配置
第一次搞APP,咱就找个简单的先入个门,这里我就以追书神器为例吧
我采用的工具,如下:
夜神模拟器(安装APP)、Fiddler(抓包)、Pycharm(敲代码)
前期配置方面我是以这几位前辈的经验来进行的,贴它:
这仨可以综合借鉴下,完成配置不成问题
如果不想看上面的,那配置这一块儿咱就简单说下,我这给分为三步
第一步、电脑上下载安装 Fiddler,安装完成后打开修改如下设置:
Capture HTTPS CONNECTs(捕获 HTTPS 连接)
Decrypt HTTPS traffic (HTTPS 请求解密)
安装证书(首次使用无证书,会弹出是否信任fiddler证书和安全提示,直接点击yes就行)
Allow remote computers to connect(允许其他设备连接)
Fiddler listens on port:8888(端口号,默认:8888)
上述两处都设置好后重启 Fiddler 生效!
第二步、电脑上下载安装 夜神模拟器,安装完成后打开修改如下设置:
可以先通过Fiddler 的 Online 查看IP地址,也可以 cmd -> ipconfig 查看
然后就是配置桥接,实现网络互通(在同一个IP段上)
我这里用的是台式机,笔记本的也一样,最终网络互通即可
配置完网络后,接下来安装证书,在夜神模拟器上通过浏览器访问电脑的IP+端口(默认8888),结果如下图:
第三步、安装证书,设置代理
点击下载证书
下载完成后,双击安装
保存重启模拟器
在模拟器上安装APP,模拟器上的请求都会被Fiddler抓取到!!!
到这里已经配置完了,其实APP的具体采集代码与web端采集并无明显区别
咱们先看看Fiddler上的响应连接,如下图:
贴代码,瞅瞅是不是挺简单的
1 #!/usr/bin/python
2 #-*-coding:utf-8 -*-
3 importjson, requests4
5
6 definfo_get(url):7 head ={8 'X-Device-Id': '863254010188612',9 'X-User-Agent': 'ZhuiShuShenQi/4.55.1 (Android 5.1.1; Xiaomi Sagit / Xiaomi MI 6; CHINA MOBILE)[preload=false;locale=zh_CN;clientidbase=]',10 'x-android-id': 'bc3d85bb2fa34378',11 'User-Agent': 'ZhuiShuShenQi/4.55.1 (Android 5.1.1; Xiaomi Sagit / Xiaomi MI 6; CHINA MOBILE)[preload=false;locale=zh_CN;clientidbase=]',12 'Host': 'b01.zhuishushenqi.com',13 'Connection': 'Keep-Alive',14 'Accept-Encoding': 'gzip',15 }16 res = requests.get(url=url, headers=head, timeout=3, verify=False)17 returnres18
19
20 if __name__ == '__main__':21 item ={}22 url = "http://b01.zhuishushenqi.com/category/fuzzy-search?alias=ns_xuanhuan&packageName=com.ushaqi.zhuishushenqi&sort=1&cat=东方玄幻&start=0&limit=30"
23 res =info_get(url).json()24 print(json.dumps(res, ensure_ascii=False))
learn python app v3_Python3 采集APP数据及相关配置相关推荐
- 【Python】实时采集疫情数据,打造可视化地图,防疫从你我做起
文章目录 一.写在前面 二.准备工作 2.1.开发环境 2.2.知识点 三.爬虫部分 3.1.爬虫流程 3.2.数据采集 四.数据可视化部分 五.视频教程 六.写在最后 一.写在前面 兄弟们,最近又是 ...
- 基于python获取雅虎金融股票数据及相关可视化操作
@TOC 基于python3实现 1.获取数据 1.1单只股票 (1)加载所需的包 import pandas as pd import pandas_datareader.data as web i ...
- 《火车头采集器采集网页数据》火车头配置规则采集信息文章数据。
此为火车头采集器的页面 *左边建立分组,建议结构都和所需要采集的数据结构一致,不然数据多了起来,很容易混乱. 1, 创建任务 起始网址是指你需要抓取的网址,例如:http://www.day.gov. ...
- Python安装selenium及驱动IE的相关配置
一.安装Selenium 安装命令 pip install -U selenium 上述命令执行完成后即安装成功.记录安装的版本号. 二.驱动IE浏览器 Selenium 调用IEDriverServ ...
- 无法访问请求的页面,因为该页的数据的相关配置数据无效
对于出现上面的错误是应为第一你的页面的地址输入错误了,第二是你的页面不存在,第三就是你的页面启用IIS的服务而你的本本上面没有开启IIS的服务 转载于:https://www.cnblogs.com/ ...
- python软件下载手机版-Learn Python中文版app
Learn Python中文版app是一个用手机学习Python编程的apk,软件经过本人亲自安装,可以用,自带夜间模式.语音模式以及编写代码的功能.可以用邮箱注册登录,很方便.每天利用零碎的时间学习 ...
- learn python app v3_App Store 上的“Learn Python and Scratch”
Learn "Python and Scratch Programming" from AI driven coach and satisfy your thirst for kn ...
- 如何最有效的采集APP数据
PC端采集基本上没什么难度,但是如果要采集APP端的数据就得下足功夫了 移动App实际上还是通过HTTP协议与服务器进行交互的,我们只要分析出接口地址及参数的含义,就能像采集普通网站那样采集App的数 ...
- python爬取今日头条手机app广告_今日头条App广告采集器的实现
应客户需求,要对今日头条App内出现的广告商品进行提取,获取商品名称.价格区间.当前销量.卖家数据等信息.之前他们都是通过人工手动去提取的,效率很低,而且容易遗漏.现在需要通过程序来自动化采集以提高效 ...
最新文章
- BZOJ 4025 二分图
- servlet的的生命周期和使用
- solaris下使用USB 海量存储设备
- 问题总结:判断MS SQLSERVER临时表是否存在 drop table #tempcitys
- 川菜为什么会成为食者最多的地方菜系?
- 注意,Dubbo 存在高危反序列化漏洞!
- php+flash实现转盘抽奖(加源代码)
- HDU 5067 Harry And Dig Machine:TSP(旅行商)
- Arduino教程 RFID-RC522读IC卡门禁原理及破解防御
- 汽车域控制器(上):动力域控制器、底盘域控制器、智能座舱域控制器
- Ubuntu查询MAC地址,硬盘个数和类型,序列号,CPU数量,命令行查询网卡速率
- 一个不错的下载年限网站
- 服务器网络群搭建(以华为云为例)
- 存储单位bit、byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB、CB、XB
- 洛谷P1551 亲戚(并查集)
- React Native 应用深度链接是如何通过 URL打开到指定页面
- 学习上溯造型和下溯造型 【转载一篇】
- 北京交通大学计算机保研~
- Lattice SII9293CNUC 接收器 集成电路IC
- Android投屏到Windows电脑
热门文章
- 50-10-010-配置-整体配置
- 【ES】分布式调度系统之 Elastic-Job-Lite
- 【Kafka】kafka NotLeaderForPartitionException thisserver is not the leader for topic-partition
- 【正则表达式】正则表达式匹配SQL中的函数名
- Spring : @Value注解
- SpringBoot基础篇日志管理之logback配置文件
- scala学习-12-scala读取java项目下Src目录下的properties文件
- 【flume】flume读取web应用某个文件夹下日志到hdfs
- RabbitMQ和Kafka的显著差异(2)
- mysql 浮点类型和定点_mysql 中的浮点和定点类型