Java开发Twitter爬虫抓取图片和视频并保存到本地

零、目标

使用Java开发爬虫，爬取Twitter状态下评论中的图片和视频，并将其保存到本地。

一、调研爬虫框架

Twitter4J: https://github.com/Twitter4J/Twitter4J

这是一个基于Java开发的框架，使用Twitter官方API接口。在使用之前，需要使用自己的账号申请秘钥。

WebMagic: https://github.com/code4craft/webmagic

这是一个由国人开发的Java爬虫框架，拥有很好的中文文档：http://webmagic.io/docs/zh/

此外，还有一些使用WebMagic开发的项目，地址为：https://github.com/topics/webmagic

在这里，有一个使用WebMagic编写的Twitter爬虫TwitterCrawler，其地址为：https://github.com/casolxia/TwitterCrawler。因此，我选择基于这个爬虫进行二次开发。

二、爬虫使用方法与问题记录

接下来，将TwitterCrawler Fork到我的Github仓库：https://github.com/wayss000/TwitterCrawler，然后将其clone到本地并进行启动调试。

启动遇到的问题记录：

问题1：无法访问org.apache.http.annotation.ThreadSafe。

原因：参考博客https://blog.csdn.net/lvyuan1234/article/details/103774766，是因为ThreadSafe这个类在httpcore-4.4.4.jar以后就被去掉了，而这里引用的是httpcore-4.4.14.jar。

解决方法：将httpcore版本改为4.4.4。

问题2：报错：javax.net.ssl.SSLException: Received fatal alert: protocol_version。

原因：参考https://stackoverflow.com/questions/16541627/javax-net-ssl-sslexception-received-fatal-alert-protocol-version，是因为在Java 1.8中，默认的TLS协议是v1.2。在Java 1.6和1.7中，默认的协议是已过时的TLS1.0。我在Java 1.8上遇到了这个错误，因为URL使用了旧的TLS1.0（如你所见 ClientHello, TLSv1）。为了解决这个错误，你需要重写Java 1.8的默认设置。

解决方法：将WebMagic克隆到本地，运行mvn install webmagic，然后在TwitterCrawler中引用本地编译的WebMagic版本，而不是pom.xml中的0.7.3版本。

问题3：Unable to start ServletWebServerApplicationContext due to missing ServletWebServerFactory bean.

原因：@SpringBootApplication annotation missing in your spring boot starter class.

解法：在启动类上，增加@SpringBootApplication注解

问题4：Error creating bean with name ‘dataSource’ defined in class path resource

原因：springboot缺少数据源的配置。

解法：之前TwitterCrawler的项目用了数据库保存爬取的数据，但我这里不需要，因此删除与数据源相关的配置。

三、开发爬取Twitter图片、视频的代码

这里遇到了阻塞性问题：”Twitter使用JavaScript来生成其内容或者进行重定向，那么爬虫程序会收到“不支持JavaScript”的错误信息。这是因为爬虫程序默认情况下不会执行JavaScript代码，而是只会读取HTML文档中的静态内容。如果网站的内容是由JavaScript生成的，那么爬虫程序将无法正确解析这些内容。解决这个问题的方法是使用一个支持JavaScript执行的爬虫框架，比如Selenium或Puppeteer。这些框架可以模拟一个真实的浏览器环境，执行JavaScript代码并获取生成的内容。不过，使用这些框架会增加程序的复杂性和运行时间。”

暂时放弃自己开发的想法。

四、整理一些知识

写web自动化测试代码，一般用的技术框架？

测试HTTP接口的话：Jenkins+testng+httpclinet
测试UI的话：selenium
测试APPUI的话：appium

另外发现tampermonkey脚本也有下载Twitter视频的：

https://greasyfork.org/en/scripts/404515-twitter-download-video/code
https://greasyfork.org/en/scripts/423001-twitter-media-downloader