JAVA爬虫https_java爬虫问题一：解决使用htmlunit 时候ssl认证失败问题

java爬虫问题一：解决使用htmlunit 时候ssl认证失败问题

凯哥Java 凯哥java

前言：

在使用htmlunit 爬取其他网站信息的时候，提示错误信息：unable to find valid certification path to requested target

意思：

说明证书问题。各种检索，使用了很多方法，以下记录解决思路：

解决方案一：

一种解决方案是： webClient.getOptions().setUseInsecureSSL(true);

这么设置之后，确实没有在提示unable to find valid certification path to requested target错误了。但是引发了其他的问题。所以该方案不成立。

继续排查：

解决方案二：

设置setUseInsecureSSL(false);

重要代码：

WebClient webClient = new WebClient(BrowserVersion.CHROME);

/*** htmlunit unable to find valid certification path to requested target

**/

webClient.getOptions().setThrowExceptionOnScriptError(false);//当JS执行出错的时候是否抛出异常, 这里选择不需要

webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);//当HTTP的状态非200时是否抛出异常, 这里选择不需要

webClient.getOptions().setActiveXNative(false);

// webClient.getOptions().setCssEnabled(false);//是否启用CSS, 因为不需要展现页面, 所以不需要启用

webClient.getOptions().setJavaScriptEnabled(true); //很重要，启用JS

webClient.setAjaxController(new NicelyResynchronizingAjaxController());//很重要，设置支持AJAX

添加上面代码问题完美解决。

JAVA爬虫https_java爬虫问题一：解决使用htmlunit 时候ssl认证失败问题相关推荐

【ssl认证、证书】java中的ssl语法API说明(SSLContext)、与keytool 工具的联系
文章目录 1. 前言 java中的ssl语法与keytool 工具的联系 2. SSLContext的体系 2.1 KeyStore 2.1.1 通过证书库文件创建: 2.1.2 随机生成自签名证书库 ...
linux ubuntu 切换到超级用户失败的解决办法（su 认证失败）
如图错误: yg@ubuntu:~$ su 密码: su:认证失败 yg@ubuntu:~$ su passwd root 没有用户"passwd"的密码项 yg@ubuntu:~ ...
java爬虫面试题_使用Java实现网络爬虫
网络爬虫网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本. 另外一些不常使用的名字还有蚂蚁.自动索引.模 ...
Jsoup：用Java也可以爬虫，怎么使用Java进行爬虫，用Java爬取网页数据，使用Jsoup爬取数据，爬虫举例：京东搜索
Jsoup:用Java也可以爬虫,怎么使用Java进行爬虫,用Java爬取网页数据,使用Jsoup爬取数据,爬虫举例:京东搜索一.资源为什么接下来的代码中要使用el.getElementsByTa ...
已解决（Python爬虫requests库报错请求异常SSL错误，证书认证失败问题）requests.exceptions.SSLError: HTTPSConnectionPool
成功解决(Python爬虫requests库报错请求异常,SSL错误,证书认证失败问题)requests.exceptions.SSLError: HTTPSConnectionPool(host= ...
【技术应用】java通过url爬虫获取公众号文章内容
[技术应用]java通过url爬虫获取公众号文章内容一.前言二.解决思路三.爬虫工具四.代码实现 1.爬取公众号文章 2.爬取CSDN文章五.总结一.前言平时在微信或者钉钉发送消息时,会 ...
Java实现网络爬虫：爬取京东商品案例
Java实现网络爬虫爬取京东商品案例需求分析代码实现爬取京东商品案例需求分析一.需求抓取京东商城的数据,把商品数据保存到数据库. 二.功能分析使用HttpClient发送一个get请求 ...
java 使用webmagic 爬虫框架爬取博客园数据
java 使用webmagic 爬虫框架爬取博客园数据存入数据库学习记录 webmagic简介: WebMagic是一个简单灵活的Java爬虫框架.你可以快速开发出一个高效.易维护的爬虫. ht ...
玩C一定用得到的19款Java开源Web爬虫
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模拟程序或者蠕 ...

JAVA爬虫https_java爬虫问题一：解决使用htmlunit 时候ssl认证失败问题

JAVA爬虫https_java爬虫问题一：解决使用htmlunit 时候ssl认证失败问题相关推荐

最新文章

热门文章