APP爬虫--appium提取数据
利用appium自动控制移动设备并提取数据
学习目标
- 了解 appium-python-client模块定位元素以及提取其文本内容的方法
- 了解 appium-python-client模块控制滑动动作的方法
以控制抖音app滑动并获取抖音短视频发布者昵称和点赞数等信息为例
2.1 安装appium-python-client模块并启动已安装好的环境
2.1.1 安装appium-python-client模块
在window的虚拟环境下执行pip install appium-python-client
2.1.2 启动夜神模拟器,进入夜神模拟器所在的安装路径的bin目录下,进入cmd终端,使用adb命令建立adb server和模拟器的连接
adb devices
C:\Program Files (x86)\Nox\bin>adb devices
List of devices attached
* daemon not running; starting now at tcp:5037
* daemon started successfully
nox_adb.exe connect 127.0.0.1:62001
C:\Program Files (x86)\Nox\bin>nox_adb.exe connect 127.0.0.1:62001
already connected to 127.0.0.1:62001
adb devices
C:\Program Files (x86)\Nox\bin>adb devices
List of devices attached
127.0.0.1:62001 device
2.1.3 启动appium-desktop,点击start server启动appium服务
[Appium] Welcome to Appium v1.10.0
[Appium] Appium REST http interface listener started on 0.0.0.0:4723
2.1.4 利用上一小节所学习的内容获取Desired Capabilities参数
- 获取模拟设备的型号
- 打开设置——关于平板电脑
- 查看型号,获取模拟设备的型号
- 获取app包名称 以及 app进程名
- 打开模拟器中的抖音短视频app
- 在adb连接正确的情况下,在夜神模拟器安装目录的bin目录下的cmd中输入
adb shell
- 进入adb shell后输入
dumpsys activity | grep mFocusedActivity
- ``com.ss.android.ugc.aweme`就是app包名
.main.MainActivity
就是进程名 注意前边有个点.
2.2 初始化以及获取移动设备分辨率
完成代码如下,并运行代码查看效果:如果模拟器中抖音app被启动,并打印出模拟设备的分辨率则成功
from appium import webdriver# 初始化配置,设置Desired Capabilities参数
desired_caps = {'platformName': 'Android','deviceName': 'SM-G955F','appPackage': 'com.ss.android.ugc.aweme','appActivity': '.main.MainActivity'
}
# 指定Appium Server
server = 'http://localhost:4723/wd/hub'
# 新建一个driver
driver = webdriver.Remote(server, desired_caps)
# 获取模拟器/手机的分辨率(px)
width = driver.get_window_size()['width']
height = driver.get_window_size()['height']
print(width, height)
移动设备分辨率
driver.get_window_size()[‘width’]
driver.get_window_size()[‘height’]
2.3 定位元素以及提取文本的方法
2.3.1 点击appium desktop右上角的放大镜图标
如图填写配置,并点击start session
2.3.2 定位界面的使用方法如下图所示
2.3.3 点击短视频的作者名字,查看并获取该元素的id
2.3.4 在python使用代码通过元素id获取该元素的文本内容
实例化appium driver对象后添加如下代码,运行并查看效果
# 获取视频的各种信息:使用appium desktop定位元素
print(driver.find_element_by_id('bc').text) # 发布者名字
print(driver.find_element_by_id('al9').text) # 点赞数
print(driver.find_element_by_id('al_').text) # 留言数
print(driver.find_element_by_id('a23').text) # 视频名字,可能不存在,报错
定位元素及获取其文本内容的方法
- driver.find_element_by_id(元素的id).text
- driver.find_element_by_xpath(定位元素的xpath规则).text
APP爬虫--appium提取数据相关推荐
- Python爬虫入门之爬虫解析提取数据的四种方法
本文主要介绍了Python爬虫入门之爬虫解析提取数据的四种方法,通过具体的内容向大家展现,希望对大家Python爬虫的学习有所帮助. 基础爬虫的固定模式 笔者这里所谈的基础爬虫,指的是不需要处理像异步 ...
- 爬虫解析提取数据的四种方法
一.分析网页 以经典的爬取豆瓣电影 Top250 信息为例.每条电影信息在 ol class 为 grid_view 下的 li 标签里,获取到所有 li 标签的内容,然后遍历,就可以从中提取出每一条 ...
- 爬虫之提取数据xpath/BeautifulSoup/css/正则(re)的基本使用
提取数据常用的三种方法: 1.xpath方法 与lxml的etree配合使用 2.BeautifulSoup 3.正则 备注:主要掌握BeautifulSoup和xpath即可 1.xpath基本使用 ...
- app爬虫appium获取借贷宝,无忧等等(控制文件)
上文介绍了部分配置,本文主要是写多线程开启cmd,连接appium server,联动模拟器上的app.讲解多app登录账户分配,多模拟器上不同app搜索数据分配问题.主要是采取redis管道监控 主 ...
- app爬虫appium获取借贷宝,无忧等等(配置文件)
首先了由于本文并不是走的api破解或是apk逆向的路子,所以各位勿喷.其次经过验证appium加上模拟器的路子不太好除非你用真机做的(这类需求做游戏项目之内可以试试),当然可能是我没get到正确的姿势 ...
- python爬虫xpath提取数据_python爬虫三大解析库之XPath解析库通俗易懂详讲
@(这里写自定义目录标题) 使用XPath解析库 1.简介 ??XPath(全称XML Path Languang),即XML路径语言,是一种在XML文档中查找信息的语言.适用于XML和HTML文档的 ...
- python爬虫xpath提取数据_python爬虫的页面数据解析和提取/xpath/bs4/jsonpath/正则(1)...
The Dormouse's story Once upon a time there were three little sisters; and their names were , Lacie ...
- JAVA+appium+夜神模拟器实现APP爬虫
JAVA+appium+夜神模拟器实现APP爬虫 爬虫需要 appium server: 一个APP自动化测试框架 C/S架构 服务端由node.js开发 客户端支持多种语言,底层使用netty通信. ...
- 全面超越Appium,使用Airtest超快速开发App爬虫,你会吗?
全面超越Appium,使用Airtest超快速开发App爬虫 想开发网页爬虫,发现被反爬了?想对 App 抓包,发现数据被加密了?不要担心,使用 Airtest 开发 App 爬虫,只要人眼能看到,你 ...
最新文章
- Rocksdb Iterator实现:从DBIter 到 TwoLevelIter 的漫长链路
- [iOS]图片高清度太高, 导致内存过大Crash
- android事件传递机制以及onInterceptTouchEvent()和onTouchEvent()详解二之小秘与领导的故事...
- 码农和程序员等的差别
- python问题汇总
- Java多线程学习三十二:Callable 和 Runnable 的不同?
- 【LeetCode 剑指offer刷题】树题19:8 二叉树中序遍历的下一个结点
- 嵌套点击事件只执行第一次
- idea 配置svn插件
- opencv火焰检测小项目
- 某大学校园网设计方案大学校园拓扑图 全解
- 罗振宇2021“时间的朋友”跨年演讲精华版全文
- BZOJ4134 : ljw和lzr的hack比赛
- java.jpi在线_JPI中常使用的类介绍:
- 在微信H5网页中获取用户基本信息
- 智能手环---设计与实现
- 持续交付之三——持续集成
- java计算机毕业设计翔隆生鲜超市进货管理系统源码+数据库+系统+lw文档+mybatis+运行部署
- 统计每天每个直播间的访客数、每天最大访客数的直播间
- 动态调试pr_debug