Jsoup爬虫之Java爬虫工具类

正文

1.导入依赖

<!--        jsoup爬虫依赖--><dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.10.2</version></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><version>1.18.22</version></dependency>

2.编写工具类


import com.example.entry.Comments;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;public class JsoupUtil {//    爬虫工具类public List<Comments> spaderJD(String keyWords)throws Exception{String url="https://search.jd.com/Search?keyword="+keyWords+"&pvid=9045b0472b9f4c17bdf98ec6037a8afc";Document document = Jsoup.parse(new URL(url),30000);Element list = document.getElementById("J_goodsList");Elements li = list.getElementsByTag("li");ArrayList<Comments> commentsArrayList = new ArrayList<>();for (Element element:li){String src = element.getElementsByTag("img").attr("src");String price = element.getElementsByClass("p-price").eq(0).text();String name = element.getElementsByClass("p-name").eq(0).text();Comments comments = new Comments();comments.setImg(src);comments.setPrice(price);comments.setName(name);commentsArrayList.add(comments);}return commentsArrayList;}
}

3.编写工具类对应实体类

import lombok.Data;
@Data
public class Comments {private String img;private String price;private String name;
}

4.测试类进行测试

import com.example.Util.JsoupUtil;
public class text {public static void main(String[] args) throws Exception{JsoupUtil jsoupUtil = new JsoupUtil();jsoupUtil.spaderJD("java").forEach(System.out::println);}
}

Jsoup爬虫之Java爬虫工具类相关推荐

UrlUtils工具类，Java URL工具类，Java URL链接工具类
UrlUtils工具类,Java URL工具类,Java URL链接工具类 >>>>>>>>>>>>>>>&g ...
Java并发工具类（闭锁CountDownLatch）
并发工具类系列: Java并发工具类(闭锁CountDownLatch) Java并发工具类(栅栏CyclicBarrier) Java并发工具类(信号量Semaphore) 闭锁是一种同步工具类,可 ...
java日期工具类DateUtil
前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到教程. DateUtil类 [java] view plain copy package com.util; ...
Java常用工具类StringUtils的常用方法
Java常用工具类StringUtils的常用方法 1.该工具类是用于操作Java.lang.String类的. 2.StringUtils类在操作字符串是安全的,不会报空指针异常,也正因此,在操作字 ...
组织机构代码和统一社会信用代码校验规则以及java校验工具类
组织机构代码编码规则编辑 1.全国组织机构代码由八位数字(或大写拉丁字母)本体代码和一位数字(或大写拉丁字母)校验码组成. 本体代码采用系列(即分区段)顺序编码方法. 校验码按照以下公式计算: C9 ...
Hutool Java常用工具类汇总
简介 Hutool是一个小而全的Java工具类库,通过静态方法封装,降低相关API的学习成本,提高工作效率,使Java拥有函数式语言般的优雅,让Java语言也可以"甜甜的". Hu ...
彻底理解Java并发：Java并发工具类
本篇内容包括:Java 并发工具类的介绍.使用方式与 Demo,包括了 CountDownLatch(线程计数器).CyclicBarrier(回环栅栏).Semaphore(信号量) 以及 Exch ...
java 系统工具类查询内存 CPU 系统基本信息 SysInfoUtils
java 系统工具类查询内存 CPU 系统基本信息 SysInfoUtils maven依赖 <dependency><groupId>com.github.oshi< ...
Java并发工具类（三）Exchanger
Java并发工具类(三)Exchanger 在J.U.C并发包中提供了一些工具类,可以供我们在日常的开发中,根据不同的情况去进行一些相关的并发控制,具体的类有: CountDownLatch Sema ...
java pdf工具类_Java PDF工具类（一）| 使用 itextpdf 根据PDF模板生成PDF（文字和图片）...
Java PDF工具类(一)| 使用 itextpdf 根据设置好的PDF模板填充PDF(文字和图片) 相关文章: Java PDF工具类(二)| 使用 wkhtmltox 实现 HTML转PDF(文 ...

Jsoup爬虫之Java爬虫工具类

Jsoup爬虫之Java爬虫工具类

正文

Jsoup爬虫之Java爬虫工具类相关推荐

最新文章

热门文章