毒（得物）APP历史购买数据抓取

最近朋友炒鞋子，要抓取毒上的历史购买数据做参考。H5的页面跟app不一样，正好少了历史购买数据这块，只好通过APP来想办法了。下面是基于app操作的思路。

毒的2个主要页面，通过adb命令可获取。

usb连接手机后，打开毒app相关的页面，在电脑上执行：

adb shell "dumpsys window | grep mCurrentFocus"

获取2个主要activity界面：

产品详细页： com.shizhuang.duapp/com.shizhuang.duapp.modules.product.ui.activity.ProductDetailActivity

历史售价页：com.shizhuang.duapp/com.shizhuang.duapp.modules.product.ui.activity.SoldListActivity

先用fiddler截获的了试试，得到了获取历史购买数据的API，如下：

https://app.poizon.com/api/v1/app/product/ice/lastSoldList?X-Auth-Token=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

直接用这个api带参数试了试，结果显示提示“签名认证出错”。通过jadx反编译了apk文件，涉及太多token和sign，太复杂，改用识别截图方式进行。

首先把app打开到商品列表页面，如下：

采用“adb shell /system/bin/screencap -p /sdcard/screenshot.png“和”adb pull /sdcard/screenshot.png e:\temp“把上图截屏到电脑上，然后通过windows的图画打开，确定商品点击区域的像素坐标，比如（350，420）是第一列第一排的商品坐标。

采用“adb shell input tap 350 420”，模拟点击，打开商品详情页，历史价格不在第一屏。

采用“adb shell input swipe 250 900 300 200”往上滑动，再截屏如下，看到了最近购买：

采用“adb shell input tap 1000 1200”，模拟点击“最近购买”后“全部”所在区域，进入历史购买列表页。

再进行截屏保存到电脑指定目录，然后通过

“tesseract screenshot.png scre -l chi_sim“进行ocr处理，把图片上的文字识别出来，保存到sre文本文件中

内容如下：

Air Jordan 1 Mid 丝绸伯爵

回

,dx8 42.5 码 #1099 2 分钟前

导肖 *9 43 码 #1099 2 分钟前

刑买 *J 40.5 码 #1219 7 分钟前

勇大 *g 43 码 #1099 20 分钟前

雷文 <z 43 码 #1089 23 分钟前

惧蔚 * 一 41 码 #1199 24 分钟前

象 a:5 42.5 码 #1099 25 分钟前

凶绅 *a 40.5 码 #1219 27 分钟前

回年 * 酒 44 码 #989 31 分钟前

弗国 * 霖 41 码 #1199 32 分钟前

回年 * 酒 44 码 #989 38 分钟前

园 dxc 40.5 码 #1249 46 分钟前

畹爱 *P 42.5 码 #1099 51 分钟前

霁 n*xz 42 码 #1149 58 分钟前

主要的历史价格内容都识别出来，文本内容就比较好处理了。

毒（得物）APP历史购买数据抓取相关推荐

企查查app新增企业数据抓取
企查查每日新增企业数据抓取尚未完成的工作: 需要自行抓包获取设备id,appid,sign等等 sign和时间戳保持一致即可把所有的数据库.redis配置无法自动登录,账号需要独立 redis数 ...
Python3网络爬虫：腾讯新闻App的广告数据抓取
废话就不说了,咱们直接上代码 def startGetData(self):index = 0while index < 3:index = index + 1self.url = " ...
Python3网络爬虫：今日头条新闻App的广告数据抓取
咱们就不说废话了,直接上完整的源码 def startGetData(self):ret = random.randint(2, 10)index = 0 url = "" whi ...
Python3网络爬虫：网易新闻App的广告数据抓取
咱们就不说废话了,直接上完整的源码 def startGetData(self):self.url = "https://nex.163.com/q" body = self.ge ...
python爬取app播放的视频,Python爬虫工程师必学——App数据抓取实战视频教程
爬虫分为几大方向,WEB网页数据抓取.APP数据抓取.软件系统数据抓取.本课程主要为同学讲解如何用python实现App数据抓取,课程从开发环境搭建,App爬虫必备利器详解,项目实战,到最后的多App ...
Python爬虫实战：手机APP数据抓取分析！谁说不能爬取app数据的？
大多数手机APP里面返回的是json格式数据,或者一堆加密过的数据 .这里以超级课程表APP为例,使用python抓取超级课程表里用户发的话题.主要是练习python爬取app的一些方式和技巧. 1. ...
爬虫_app 4 app数据抓取入门
一.python实现app数据抓取需求 1.分析豆果美食数据包 2.通过python多线程-线程池抓取数据 3.通过使用代理ip隐藏爬虫 4.将数据保存到 mongodb 中 handle_mongo ...
「docker实战篇」python的docker-打造多任务端app应用数据抓取系统（下）（35）
上次已经把python文件挂载到虚拟机上了,这次主要设置下虚拟机通过docker容器的方式. 运行 python 代码运行 >启动一个crt的会话 docker run -it -v /root ...
22.网络爬虫—APP数据抓取详讲
网络爬虫-APP数据抓取详讲 Fiddler 工作原理安装完成Fiddler后的配置前提条件工具配置手机数据抓取 Fiddler手机端配置手机端操作实战演示后记前言:
抖音的数据抓取与数据背后的淘宝
分析的背景截至今年7月,抖音日活已突破3.2亿.抖音总裁张楠预测,到2020年,国内短视频行业的总日活用户数,将达到10亿.抖音推出多元变现方式,要让1000万创作者赚到钱 ,抖音说要让这1000万 ...

毒（得物）APP历史购买数据抓取

毒（得物）APP历史购买数据抓取相关推荐

最新文章

热门文章