JAVA+appium+夜神模拟器实现APP爬虫

爬虫需要

appium server: 一个APP自动化测试框架 C/S架构服务端由node.js开发客户端支持多种语言，底层使用netty通信。

java写的自动化爬取程序：使用java_client包（ appium客户端的java支持包） maven下载最新的即可

测试机器：夜神模拟器或者真机都行，模拟器更稳定

具体操作原理

比如要操作手机对某个app实现点击按钮
1.adb连接上设备

2.appium客户端，这里使用Java来发起网络请求
报文实例：Creating session with W3C capabilities: {
[BaseDriver] “alwaysMatch”: {
[BaseDriver] “platformName”: “android”,
[BaseDriver] “appium:appActivity”: “********”,
[BaseDriver] “appium:appPackage”: “*******”,
[BaseDriver] “appium:automationName”: “UiAutomator2”,
[BaseDriver] “appium:deviceName”: “127.0.0.1:62001”,
[BaseDriver] “appium:fullReset”: false,
[BaseDriver] “appium:noReset”: true,
[BaseDriver] “appium:platformVersion”: “7”
[BaseDriver] },
[BaseDriver] “firstMatch”: [
[BaseDriver] {}
[BaseDriver] ]
[BaseDriver] }
[BaseDriver] Session created with session id: 9ff230ac-e1bc-4494-bee8-9187e8025cc6
此报文表示客户端请求appium服务端和设备建立一个会话，通过会话可以向设备发送命令

3.appiumServer接受请求处理转发到设备

数据流转流程
java程序（appiumClient） —》 appiumServer —》设备的UIAutomator2(谷歌sdk自带的测试框架执行一系列操作)

UIAutomator源码地址(需要翻墙,一些操作需要看源码比如滚动查找元素)
UIAutomator Api文档(需要翻墙)

具体实现流程

1.安装android sdk并设置环境变量我选择安装在D:/Android下面**

安卓sdk mananger下载地址

2.安装AndoridBuildTools 得到adb方便后续查看设备情况

打开D:\Android\SDK Manager.exe
安装前3个包即可(使用模拟器和真机不需要sdk 太大)

环境变量配置：ANDROID_HOME：D:\Android
%ANDROID_HOME%\tools
%ANDROID_HOME%\platform-tools
具体如何配置不懂的请百度

3.appium安装并启动

访问 appium官网选择Appium-windows-1.21.0.exe下载安装即可

4.建议替换夜神的adb 或者直接用夜神的nox_adb也行

替换方法删除夜神目录下的D:\Program Files\Nox\bin\nox_adb.exe
先D:\Android\platform-tools下的3个文件复制到任一目录下，将其中adb.exe改名为nox_adb.exe 再复制到夜神bin目录下

5.启动夜神模拟器 cmd窗口下输入adb devices -l

显示如下：

List of devices attached
127.0.0.1:62001 device product:R11 Plus model:OPPO_R11_Plus device:R11 Plus transport_id:1

设备名：127.0.0.1:62001或者R11 Plus 建议使用前者

6.编写代码

import io.appium.java_client.android.AndroidDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.remote.DesiredCapabilities;import java.net.MalformedURLException;
import java.net.URL;public class Test {public static void main(String[] args) {AndroidDriver driver = initDriver();driver.get("具体的详情页url");System.out.println(driver.getPageSource());// 具体定位元素使用请百度WebElement element =driver.findElementById("........")System.out.println(element.getText());}public static AndroidDriver initDriver() {DesiredCapabilities desiredCapabilities = new DesiredCapabilities();desiredCapabilities.setCapability("platformName", "Android");// 需要控制的app包名和mainActivity路径 获取方法:百度：adb命令获取app包名desiredCapabilities.setCapability("appPackage", "。。。。。。");desiredCapabilities.setCapability("appActivity", "。。。。。。");// adb连接的设备地址desiredCapabilities.setCapability("deviceName", "127.0.0.1:62001");desiredCapabilities.setCapability("platformVersion", "7");// 开启Session时不重置登录状态desiredCapabilities.setCapability("noReset", true);desiredCapabilities.setCapability("fullReset", false);// 控制模式 默认UiAutomator2desiredCapabilities.setCapability("automationName", "UiAutomator2");try {return new AndroidDriver(new URL("http://127.0.0.1:4723/wd/hub"), desiredCapabilities);} catch (MalformedURLException e) {e.printStackTrace();}return null;}
}

maven依赖：

<dependency>
<groupId>io.appium</groupId>
<artifactId>java-client</artifactId>
<version>7.5.1</version>
</dependency>

7.总结

app爬虫
优点：反爬机制少，稳定
缺点：速度慢定位元素困难

一些知识点

滑动查找元素的办法 scrollIntoView
其中会先scrollToBeginning 上移到app页面顶部会触发一些app下拉操作影响抓取数据
临时办法：手动scrollForward() 再获取元素
源码：

public boolean scrollIntoView(UiSelector selector) {// if we happen to be on top of the text we want then return hereif (exists(getSelector().childSelector(selector))) {return (true);} else {// we will need to reset the search from the beginning to start searchscrollToBeginning(mMaxSearchSwipes);if (exists(getSelector().childSelector(selector))) {return (true);}for (int x = 0; x < mMaxSearchSwipes; x++) {if(!scrollForward()) {return false;}if(exists(getSelector().childSelector(selector))) {return true;}}}return false;}

driver.getPageSource() 只能获取当前页面的数据已加载或未加载的数据都没有
platformVersion设置没啥意义
多开需要启动多个不同端口的appium server端创建andoroid driver驱动的时候使用不同的端口即可