WebMagic 爬虫框架问题描述

问题描述

❌Multiple bindings were found on the class path
❌Could not get a resource from the pool
✔️更换为HttpComponents

❌Multiple bindings were found on the class path

pom.xml

<dependency><groupId>us.codecraft</groupId><artifactId>webmagic-core</artifactId><version>0.7.3</version>
</dependency>

最近新项目需要使用 WebMagic 爬虫框架时，发现该包里面有两个日志，导致出现 SLF4J: Class path contains multiple SLF4J bindings. 问题说严重也不严重，毕竟不影响程序的运行。

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/C:/Users/19095/.m2/repository/org/slf4j/slf4j-log4j12/1.7.32/slf4j-log4j12-1.7.32.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/C:/Users/19095/.m2/repository/ch/qos/logback/logback-classic/1.2.6/logback-classic-1.2.6.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

但是红色的信息还是比较难受的，因此需要在引用依赖项里面排除某个日志，可以使用 exclusions.exclusion 标签里面来排除日志。

<dependency><groupId>us.codecraft</groupId><artifactId>webmagic-core</artifactId><version>0.7.3</version><!-- 排 除 日 志 --><exclusions><exclusion><groupId>org.slf4j</groupId><artifactId>slf4j-log4j12</artifactId></exclusion><exclusion><groupId>log4j</groupId><artifactId>log4j</artifactId></exclusion></exclusions>
</dependency>

multiple_bindings | SLF4J Error Codes

❌Could not get a resource from the pool

public class crawlerProcessTest {@Testpublic void firstSpider() {Spider.create(new GithubRepoPageProcessor()).addUrl("https://www.baidu.com").setScheduler(new RedisScheduler("localhost")).addPipeline(new JsonFilePipeline("")).thread(5).run();}
}

通过 webmagic-extension 默认例子 GithubRepoPageProcessor 去获取页面数据时，却没有正确运行起来。

redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool...
Caused by: redis.clients.jedis.exceptions.JedisConnectionException: Failed to create socket....
Caused by: java.net.SocketTimeoutException: connect timed out...

这个就是因为没有安装和配置 redis ，导致连接不上 redis。

这里有二种方法：

安装 redis 数据库

docker pull redis
docker run -itd --name webmagic -p 6379:6379 redis

不设置 RedisScheduler 数据源
setScheduler 不设置 RedisScheduler 数据源改为 QueueScheduler ，这样数据都会在打印到控制台里面。

public class crawlerProcessTest {@Testpublic void firstSpider() {Spider.create(new GithubRepoPageProcessor()).addUrl("https://www.baidu.com")// .setScheduler(new RedisScheduler("localhost")).setScheduler(new QueueScheduler()).addPipeline(new JsonFilePipeline("")).thread(5).run();}
}

✔️更换为HttpComponents

众所周知 WebMagic 是基于 HttpClient 开发的，HttpClient 在老早以前就被 Apache 弃用了，单独开发出 HttpComponents 来代替 HttpClient，似乎是为了解决授权的问题。

Apache HttpComponents：依赖项

排除日志模块

为什么排除 httpclient5 里面的日志，当然是因为项目已经拥有了其他日志文件，并且已经配置好了。

<properties><httpClient-components.version>5.1.3</httpClient-components.version>
</properties>
<dependencies><dependency><groupId>org.apache.httpcomponents.client5</groupId><artifactId>httpclient5</artifactId><version>${httpClient-components.version}</version><exclusions><exclusion><groupId>org.slf4j</groupId><artifactId>slf4j-api</artifactId></exclusion></exclusions></dependency>
</dependencies>

如果你是无意刷到这篇文章并看到这里，希望你给我的文章来一个赞赞