java使用maven引入jsoup，爬取网页内容

１．简单的maven项目

２．引入jsoup访问网站

３．pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>com.pshdhx</groupId><artifactId>pshdhx</artifactId><version>0.0.1-SNAPSHOT</version><dependencies><dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.11.3</version></dependency></dependencies>
</project>

4.主程序

package com.pshdhx;
/*** 增加csdn点击数* @author pshdhx**/import java.awt.Desktop;
import java.io.IOException;
import java.net.URI;
import java.util.ArrayList;
import java.util.HashSet;
import java.util.List;
import java.util.Set;import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Node;
import org.jsoup.select.Elements;
public class AddCount {private static Desktop desktop;//定义私有静态成员变量public static   ArrayList<String> strList = new ArrayList<String>();//定义String类型的泛型集合public static List<String> get(){Document doc;Document doc2;Document doc3;Document doc4;Document doc5;try {doc = Jsoup.connect("https://blog.csdn.net/pshdhx").get();Elements elementsByTag = doc.getElementsByTag("h4");for(int i=0;i<elementsByTag.size();i++) {Node childNode = elementsByTag.get(i);Node childNode2 = childNode.childNode(1);strList.add(childNode2.attr("href"));}doc2 = Jsoup.connect("https://blog.csdn.net/pshdhx/article/list/2").get();Elements elementsByTag2 = doc2.getElementsByTag("h4");for(int i=0;i<elementsByTag2.size();i++) {Node childNode = elementsByTag2.get(i);Node childNode2 = childNode.childNode(1);strList.add(childNode2.attr("href"));}doc3 = Jsoup.connect("https://blog.csdn.net/pshdhx/article/list/3").get();Elements elementsByTag3 = doc3.getElementsByTag("h4");for(int i=0;i<elementsByTag3.size();i++) {Node childNode = elementsByTag3.get(i);Node childNode2 = childNode.childNode(1);strList.add(childNode2.attr("href"));}doc4 = Jsoup.connect("https://blog.csdn.net/pshdhx/article/list/4").get();Elements elementsByTag4 = doc4.getElementsByTag("h4");for(int i=0;i<elementsByTag4.size();i++) {Node childNode = elementsByTag4.get(i);Node childNode2 = childNode.childNode(1);strList.add(childNode2.attr("href"));}doc5 = Jsoup.connect("https://blog.csdn.net/pshdhx/article/list/5").get();Elements elementsByTag5 = doc5.getElementsByTag("h4");for(int i=0;i<elementsByTag5.size();i++) {Node childNode = elementsByTag5.get(i);Node childNode2 = childNode.childNode(1);strList.add(childNode2.attr("href"));}}catch(Exception e) {e.printStackTrace();}return strList;}public static void browse(String uri){if(Desktop.isDesktopSupported()){//判断是否支持DeskTopdesktop = Desktop.getDesktop();try{desktop.browse(new URI(uri));}catch(Exception e){e.printStackTrace();}}}public static void main(String[] args) throws IOException, InterruptedException {int i =0;List<String> list = AddCount.get();
//      while(true){    //一直循环
//          try{
//              if(i<40) //判断是否小于博文数量，不然可能会出现越界错误
//              {
//                  browse((String)strList.get(i));
//                  Thread.sleep(3000); //这里的单位为毫秒 我这里设置每个 网址之间间隔30s 这里可以根据情况改
//              }else{
//                  i=-1; //将i重置为-1 因为后面会进行i++ 加1后就变成了0
//                   // 启用cmd运行chrome的方式来退出
//                   Runtime.getRuntime().exec("taskkill /F /IM chrome.exe"); //我默认浏览器是 chrome
//                              //如果你的事firefox 将chrome改为firefox即可
//                  Thread.sleep(36);   //这里的单位为毫秒 我这里设置每个访问所有博文后 休眠1小时 这里可以根据情况改
//              }
//          }catch(Exception e){
//              e.printStackTrace();
//          }
//          i++;
//      }Document doc;
//      for(String j:list) {
//          doc = Jsoup.connect(j).get();
//          System.out.println(doc.baseUri()+"一秒");
//      }Set<String> set = new HashSet<>();for(String j :list){set.add(j);}for(String a:set){doc = Jsoup.connect(a).get();System.out.println("==="+doc.baseUri()+"===一秒");}}
}

4、它的网页的访问量会增长的很慢，和本地程序运行速度有关，如果本地硬件性能较好，可以使用java的多线程的方式进行高并发，这样会明显增快爬取速度。

java使用maven引入jsoup，爬取网页内容相关推荐

几十行代码实现Java爬虫，结合jsoup爬取网名昵称
原文链接:点击打开链接 crawler4j是一个开源爬虫框架(https://github.com/yasserg/crawler4j), 我们可以使用它进行爬虫.以爬取 http://www.nib ...
利用Jsoup爬取网页内容
jsoup的强大之处在这里就不多说,最近在写项目,需要爬取网页上的内容,自然想到的是利用Jsoup来处理,项目中是利用Jsoup爬取学校信息门户的新闻消息,然后放进客户端网页的html代码如下 &l ...
java爬虫入门--用jsoup爬取汽车之家的新闻
概述使用jsoup来进行网页数据爬取.jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址.HTML文本内容.它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuer ...
Java爬虫学习一一Jsoup爬取彼岸桌面分类下的图片
最近在找工作,在这个过程中我感到很迷茫,投了很多简历,被查看的却很少,其中也有到现场去面试,结果也很不理想(╥╯^╰╥). 哈哈,跑题了,我在看之前所做的项目时,在我的收藏夹中看到了以前收藏的有关爬虫 ...
java爬取网页内容简单例子（2）——附jsoup的select用法详解
[背景] 在上一篇博文 java爬取网页内容简单例子(1)--使用正则表达式里面,介绍了如何使用正则表达式去解析网页的内容,虽然该正则表达式比较通用,但繁琐,代码量多,现实中想要想出一条简单的正则 ...
java jsoup爬取动态网页_java通过Jsoup爬取网页(入门教程)
一,导入依赖 org.jsoup jsoup 1.10.3 org.apache.httpcomponents httpclient 二,编写demo类注意不要导错包了,是org.jsoup.nod ...
java爬虫案例——SpringBoot使用HttpClient、Jsoup爬取京东手机数据
文章目录前言一.准备工作二.项目文件 1.项目依赖 2.项目配置文件 3.pojo 4.dao接口 5.service接口及其实现类 6.HttpClient封装工具类 7.爬取任务实现 8.启 ...
Jsoup：用Java也可以爬虫，怎么使用Java进行爬虫，用Java爬取网页数据，使用Jsoup爬取数据，爬虫举例：京东搜索
Jsoup:用Java也可以爬虫,怎么使用Java进行爬虫,用Java爬取网页数据,使用Jsoup爬取数据,爬虫举例:京东搜索一.资源为什么接下来的代码中要使用el.getElementsByTa ...
【java爬虫】jsoup爬取网页数据-搜索算法评测/竞品评测
百度抽奖概率改4个小时频繁黑屏频繁弹出源码的前端FE T8李森:请云端高level的同学参加会议...对,我级别到了... 666666 业务背景:如何保证搜索算法的好坏?所以有了竞品评测,自己的AP ...

java使用maven引入jsoup，爬取网页内容

java使用maven引入jsoup，爬取网页内容相关推荐

最新文章

热门文章