推荐一个智能的 Java 爬虫框架

介绍

平台以流程图的方式定义爬虫,是一个高度灵活可配置的爬虫平台

特性

支持Xpath/JsonPath/css选择器/正则提取/混搭提取
支持JSON/XML/二进制格式
支持多数据源、SQL select/selectInt/selectOne/insert/update/delete
支持爬取JS动态渲染(或ajax)的页面
支持代理
支持自动保存至数据库/文件
常用字符串、日期、文件、加解密等函数
支持插件扩展(自定义执行器，自定义方法）
任务监控,任务日志
支持HTTP接口
支持Cookie自动管理
支持自定义函数

插件

Selenium插件
Redis插件
OSS插件
Mongodb插件
IP代理池插件
OCR识别插件
电子邮箱插件

项目部分截图

爬虫列表

爬虫测试

Debug

日志

免责声明

请勿将spider-flow应用到任何可能会违反法律规定和道德约束的工作中,请友善使用spider-flow，遵守蜘蛛协议，不要将spider-flow用于任何非法用途。

如您选择使用spider-flow即代表您遵守此协议，作者不承担任何由于您违反此协议带来任何的法律风险和损失，一切后果由您承担。

开源地址：

https://gitee.com/ssssssss-team/spider-flow

推荐一个智能的 Java 爬虫框架相关推荐

java爬虫框架—WebMagic
什么是网络爬虫从功能上来讲,爬虫一般分为数据采集,处理,储存三个部分.爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满 ...
java 爬虫框架 j_一个分布式java爬虫框架JLiteSpider
A lite distributed Java spider framework. 这是一个轻量级的分布式java爬虫框架特点这是一个强大,但又轻量级的分布式爬虫框架.jlitespider天生具 ...
Java爬虫框架wemgic_Java爬虫框架-WebMagic挖坑补坑指南
以前总是用的Python下的Scrapy和crawley和PHP的小众爬虫框架,最近突然想到了何不用下Java下的框架试试? 查了下Java下的爬虫框架自然也不在少数,Nutch,WebMagic,W ...
java爬虫框架之webMagic
webMagic框架前言介绍案例控制类: 解析类: 持久化类: 用到的工具类以及配置类: 注意事项后语前言文章仅供安全领域的朋友学习使用!! 严禁做违法违纪的事情,责任自负介绍 Web ...
java爬虫框架哪个好_java爬虫框架的使用
原标题:java爬虫框架的使用随着互联网的发展,编程程序语言也开始被越来越多的人所掌握,但是自始至终,java语言一直是被使用范围最广的编程语言.今天,武汉中软国际主要给大家讲解的是java语言中的 ...
什么是爬虫，常见的java爬虫框架有哪些？-蛙课网
随着互联网的发展,编程程序语言也开始被越来越多的人所掌握,与此同时,java语言是使用范围最广的编程语言.今天我们一起了解一下什么是爬虫,java爬虫框架有哪些. 网络爬虫(又称为网页蜘蛛,网络机器人 ...
JAVA 爬虫框架webmagic 初步使用Demo
一想到做爬虫大家第一个想到的语言一定是python,毕竟python比方便,而且最近也非常的火爆,但是python有一个全局锁的概念新能有瓶颈,所以用java还是比较牛逼的, webmagic 官网 ...
Java爬虫框架之WebMagic的学习总结
Java爬虫框架之WebMagic WebMagic 概述特性架构四大组件数据流转对象控制爬虫运转的引擎Spider WebMagic的基本使用添加WebMagic的核心与扩展依赖爬虫实 ...
从零开始实现一个简易的Java MVC框架(六)--加强AOP功能
前言在前面从零开始实现一个简易的Java MVC框架(四)--实现AOP和从零开始实现一个简易的Java MVC框架(五)--引入aspectj实现AOP切点这两节文章中已经实现了AOP功能并且引用 ...