Java网络爬虫实操(3)
上一篇:Java网络爬虫实操(2)
本篇文章主要介绍NetDiscovery框架中pipeline模式的一些实际使用方法。
1) 什么是pipeline
pipeline是一种常见的算法模式,针对不断循环的耗时任务,如果要等一个循环结束后再轮到处理下一个任务的话,时间上有点浪费。
所以,把耗时任务拆分为几个环节,只要一个环节完成了,就可以轮到下一个任务的那个环节就马上开始处理。不用等到这个耗时任务全部结束了才开始。
我认为应用在处理爬虫程序获取的数据上,非常合适。
2) pipeline在框架中的角色
从框架提供的原理图上可以了解到,pipeline对象扮演的角色是什么:
- downloader对象访问url
- 访问成功后的page对象交给parser对象,进行页面的解析工作
- 把解析成果交给pipleline对象去按顺序逐一处理,例如:去重、封装、存储、发消息等等
3) 目标任务
任务步骤:
- 访问拉勾网站
- 找出网页里的图片链接
- 下载链接上的图片到本地
- 保存图片信息到mysql数据库
4) 创建pipeline对象
pipeline类:DownloadImage
package com.sinkinka.pipeline;import com.cv4j.netdiscovery.core.domain.ResultItems;
import com.cv4j.netdiscovery.core.pipeline.Pipeline;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URL;
import java.net.URLConnection;
import java.util.Map;public class DownloadImage implements Pipeline {@Overridepublic void process(ResultItems resultItems) {Map<String, Object> map = resultItems.getAll();for(String key : map.keySet()) {String filePath = "./temp/" + key + ".png";saveRemoteImage(map.get(key).toString(), filePath);}}private boolean saveRemoteImage(String imgUrl, String filePath) {InputStream in = null;OutputStream out = null;try {URL url = new URL(imgUrl);URLConnection connection = url.openConnection();connection.setConnectTimeout(5000);in = connection.getInputStream();byte[] bs = new byte[1024];int len;out = new FileOutputStream(filePath);while ((len = in.read(bs)) != -1) {out.write(bs, 0, len);}} catch(Exception e) {return false;} finally {try {out.flush();out.close();in.close();} catch(IOException e) {return false;}}return true;}
}
复制代码
pipeline类:SaveImage
package com.sinkinka.pipeline;import com.cv4j.netdiscovery.core.domain.ResultItems;
import com.cv4j.netdiscovery.core.pipeline.Pipeline;
import com.safframework.tony.common.utils.Preconditions;import java.sql.*;
import java.util.Map;public class SaveImage implements Pipeline {@Overridepublic void process(ResultItems resultItems) {Map<String, Object> map = resultItems.getAll();for(String key : map.keySet()) {System.out.println("2"+key);saveCompanyInfo(key, map.get(key).toString());}}private boolean saveCompanyInfo(String shortName, String logoUrl) {int insertCount = 0;Connection conn = getMySqlConnection();Statement statement = null;if(Preconditions.isNotBlank(conn)) {try {statement = conn.createStatement();String insertSQL = "INSERT INTO company(shortname, logourl) VALUES('"+shortName+"', '"+logoUrl+"')";insertCount = statement.executeUpdate(insertSQL);statement.close();conn.close();} catch(SQLException e) {return false;} finally {try{if(statement!=null) statement.close();}catch(SQLException e){}try{if(conn!=null) conn.close();}catch(SQLException e){}}}return insertCount > 0;}//演示代码,不建议用于生产环境private Connection getMySqlConnection() {//使用的是mysql connector 5//数据库:test 账号/密码: root/123456final String JDBC_DRIVER = "com.mysql.jdbc.Driver";final String DB_URL = "jdbc:mysql://localhost:3306/test";final String USER = "root";final String PASS = "123456";Connection conn = null;try {Class.forName(JDBC_DRIVER);conn = DriverManager.getConnection(DB_URL,USER,PASS);} catch(SQLException e) {return null;} catch(Exception e) {return null;}return conn;}}复制代码
5) 运行程序
Main类
package com.sinkinka;import com.cv4j.netdiscovery.core.Spider;
import com.sinkinka.parser.LagouParser;
import com.sinkinka.pipeline.DownloadImage;
import com.sinkinka.pipeline.SaveImage;public class PipelineSpider {public static void main(String[] args) {String url = "https://xiaoyuan.lagou.com/";Spider.create().name("lagou").url(url).parser(new LagouParser()).pipeline(new DownloadImage()) //1. 首先,下载图片到本地目录.pipeline(new SaveImage()) //2. 然后,把图片信息存储到数据库.run();}
}复制代码
Parser类
package com.sinkinka.parser;import com.cv4j.netdiscovery.core.domain.Page;
import com.cv4j.netdiscovery.core.domain.ResultItems;
import com.cv4j.netdiscovery.core.parser.Parser;
import com.cv4j.netdiscovery.core.parser.selector.Selectable;
import java.util.List;public class LagouParser implements Parser {@Overridepublic void process(Page page) {ResultItems resultItems = page.getResultItems();List<Selectable> liList = page.getHtml().xpath("//li[@class='nav-logo']").nodes();for(Selectable li : liList) {String logoUrl = li.xpath("//img/@src").get();String companyShortName = li.xpath("//div[@class='company-short-name']/text()").get();resultItems.put(companyShortName, logoUrl);}}
}复制代码
通过DownloadImage,保存到本地的图片数据:
通过SaveImage,存储到数据库里的数据:
6) 总结
以上代码简单演示了pipeline模式的用法,记住一点,pipeline是有执行顺序的。在大量数据、高频次的生产环境中再去体会pipeline模式的优点吧。
下一篇:Java网络爬虫实操(4)
Java网络爬虫实操(3)相关推荐
- Java网络爬虫实操(5)
上一篇:Java网络爬虫实操(4) 大家好,前几篇文章介绍的URL都是返回HTML内容的,然后再从HTML字符串里解析出我们想要的数据. 但是,随着前端编程技术的发展,至少十多年前开始ajax.jso ...
- Java网络爬虫实操(8)
上一篇:Java网络爬虫实操(7) 大家好,本篇文章介绍一下NetDiscovery爬虫框架里的downloader对象 1) 前言 面向对象设计仍然是目前编程的核心思想,从下面截图可以了解爬虫框架的 ...
- java网络爬虫实验报告,Java网络爬虫实操(8)
大家好,本篇文章介绍一下NetDiscovery爬虫框架里的downloader对象 1) 前言 面向对象设计仍然是目前编程的核心思想,从下面截图可以了解爬虫框架的主要对象: 程序在本地组织好一个re ...
- java spider爬虫_Java网络爬虫实操(2)
本篇文章继续介绍爬虫框架NetDiscovery的使用:如何发重复请求.如何用爬虫容器引擎驱动爬虫程序 1 )重复请求的场景举例 从2017年下半年开始,比特币.数字货币.虚拟币.区块链技术.去中心化 ...
- java 网络爬虫 正则表达式_【干货】Java网络爬虫基础知识
原标题:[干货]Java网络爬虫基础知识 引言 Java 网络爬虫具有很好的扩展性可伸缩性,其是目前搜索引擎开发的重要组成部分.例如,著名的网络爬虫工具 Nutch 便是采用 Java 开发,该工具以 ...
- 第三十六期:学 Java 网络爬虫,需要哪些基础知识?
说起网络爬虫,大家想起的估计都是 Python ,诚然爬虫已经是 Python 的代名词之一,相比 Java 来说就要逊色不少.有不少人都不知道 Java 可以做网络爬虫,其实 Java 也能做网络爬 ...
- Java网络爬虫该如何学习
文章目录 引言 怎么入门网络爬虫 课程特色 学完本课程能收获什么 引言 互联网以及移动技术的飞速发展,使得全球数据量呈现前所未有的爆炸式增长态势.例如,用户在互联网上的搜索数据.交易数据.评论数据.社 ...
- java网络爬虫,乱码问题终于完美解决
java网络爬虫,乱码问题终于完美解决 参考文章: (1)java网络爬虫,乱码问题终于完美解决 (2)https://www.cnblogs.com/-LilyBlog-/p/7593841.htm ...
- 在不同领域,大家用爬虫怎么盈利的-Java网络爬虫系统性学习与实战系列(4)
在不同领域,大家用爬虫怎么盈利的-Java网络爬虫系统性学习与实战系列(4) 文章目录 概述 出行抢票软件 微博上的僵尸粉 电商比价/返利平台 社区抓取数据和内容 联系方式 系列文章地址: Java网 ...
最新文章
- promise学习记录
- 9.2 协同过滤-机器学习笔记-斯坦福吴恩达教授
- matlab列优先与高维矩阵重构 及 CNN 逐层可视化 on Matlab
- # 保持最外层获取焦点_大事件!沈阳爱尔白内障焕晶诊疗中心正式启用,两位PanOptix三焦点人工晶体植入患者清晰见证!...
- 计算机win10开机音乐,大师传授win10系统电脑开机总是自动播放音乐的方案
- 计算机的80端口被占用 - 思路篇
- ruby on rails连接mysql_ruby on rails 连接mysql数据库
- console线驱动安装_文通证件识别SDK和驱动安装使用说明
- DOTNET零碎要点---字符串截取操作
- web怎么在圆圈里画半html,在WEB里绘制爱心
- paip.最省内存的浏览器评测 cah
- 学成在线项目学习前端bug npm run dev运行报错 error in ./src/App.vue error in ./src/components/HelloWorld.vue问题
- 数据结构(C++版)- 教学视频+配套资源
- FasterRCNN理解
- Air Keyboard
- pygame游戏教程目录
- “郭德纲”挤兑死人不带脏字,经典…
- Flink电商指标分析项目(1)_项目整体工程搭建
- 设计占空比为50%的三分频电路
- leetcode刷题第21天——1763,117,572
热门文章
- Permission denied error: unable to index file .vs/Trip2015/v15/Server/sqlite3/db.lock fatal: adding
- Day4-springmvc中文乱码处理和客户端跳转
- Spring的AOP思想和实现AOP思想的框架AspectJ
- 安装lynis_lynis安装和扫描Linux的安全漏洞
- 一周一论文(翻译)——[VLDB 19] Minimizing Cost by Reducing Scaling Operators in Distributed Stream Processing
- 深入理解JVM虚拟机(三):虚拟机性能监控工具
- 进程间的通信方式:简介
- linux标准c和c编译器6,linux内核中GNU C和标准C的区别
- adadelta算法_神经网络中常用的优化算法
- Mac 下Eclipse无法连接手机