点击关注公众号,回复“2T”获取2TB学习资源!

互联网架构师后台回复 2T 有特别礼包

上一篇:突发!传阿里和腾讯即将大裁员最高30%

介绍

平台以流程图的方式定义爬虫,是一个高度灵活可配置的爬虫平台

特性

  • 支持Xpath/JsonPath/css选择器/正则提取/混搭提取

  • 支持JSON/XML/二进制格式

  • 支持多数据源、SQL select/selectInt/selectOne/insert/update/delete

  • 支持爬取JS动态渲染(或ajax)的页面

  • 支持代理

  • 支持自动保存至数据库/文件

  • 常用字符串、日期、文件、加解密等函数

  • 支持插件扩展(自定义执行器,自定义方法)

  • 任务监控,任务日志

  • 支持HTTP接口

  • 支持Cookie自动管理

  • 支持自定义函数

插件

  • Selenium插件

  • Redis插件

  • OSS插件

  • Mongodb插件

  • IP代理池插件

  • OCR识别插件

  • 电子邮箱插件

项目部分截图

爬虫列表

爬虫测试

Debug

日志

免责声明

请勿将spider-flow应用到任何可能会违反法律规定和道德约束的工作中,请友善使用spider-flow,遵守蜘蛛协议,不要将spider-flow用于任何非法用途。

如您选择使用spider-flow即代表您遵守此协议,作者不承担任何由于您违反此协议带来任何的法律风险和损失,一切后果由您承担。

开源地址:

https://gitee.com/ssssssss-team/spider-flow

-End-

最后,关注公众号互联网架构师,在后台回复:2T,可以获取我整理的 Java 系列面试题和答案,非常齐全。

正文结束

推荐阅读 ↓↓↓

1.心态崩了!税前2万4,到手1万4,年终奖扣税方式1月1日起施行~

2.深圳一普通中学老师工资单曝光,秒杀程序员,网友:敢问是哪个学校毕业的?

3.从零开始搭建创业公司后台技术栈

4.程序员一般可以从什么平台接私活?

5.清华大学:2021 元宇宙研究报告!

6.为什么国内 996 干不过国外的 955呢?

7.这封“领导痛批95后下属”的邮件,句句扎心!

8.15张图看懂瞎忙和高效的区别!

一款非常牛逼的 Java 爬虫框架!(请低调使用)相关推荐

  1. 一款非常牛逼的Java爬虫框架(高度灵活可配置)

    点击关注公众号,利用碎片时间学习 介绍 平台以流程图的方式定义爬虫,是一个高度灵活可配置的爬虫平台 特性 支持Xpath/JsonPath/css选择器/正则提取/混搭提取 支持JSON/XML/二进 ...

  2. 最牛逼的 Java 日志框架,还不学习。。。

    最牛逼的 Java 日志框架,性能无敌,横扫所有对手- Logback 算是JAVA 里一个老牌的日志框架,从06年开始第一个版本,迭代至今也十几年了.不过logback最近一个稳定版本还停留在 20 ...

  3. 最牛逼的 Java 日志框架,性能无敌,横扫所有对手.....

    欢迎关注方志朋的博客,回复"666"获面试宝典 来源:juejin.cn/post/6945753017878577165 Logback 算是JAVA 里一个老牌的日志框架,从0 ...

  4. 最牛逼的 Java 日志框架

    Logback 算是JAVA 里一个老牌的日志框架,从06年开始第一个版本,迭代至今也十几年了.不过logback最近一个稳定版本还停留在 2017 年,好几年都没有更新:logback的兄弟 slf ...

  5. 最牛逼的 Java 日志框架,性能无敌,横扫所有对手。。

    点击关注公众号,Java干货及时送达 作者:空无 链接:https://juejin.cn/post/6945753017878577165 Logback 算是JAVA 里一个老牌的日志框架,从06 ...

  6. 最牛逼的 Java 日志框架,性能无敌!

    点击上方☝码猿技术专栏 轻松关注,设为星标! 及时获取有趣有料的技术 Logback 算是JAVA 里一个老牌的日志框架,从06年开始第一个版本,迭代至今也十几年了.不过logback最近一个稳定版本 ...

  7. 最牛逼的 Java 日志框架,性能无敌,横扫所有对手

    Logback 算是JAVA 里一个老牌的日志框架,从06年开始第一个版本,迭代至今也十几年了.不过logback最近一个稳定版本还停留在 2017 年,好几年都没有更新:logback的兄弟 slf ...

  8. java 核心技术pad_弃用 Notepad++,还有 5 款更牛逼的选择!

    原标题:弃用 Notepad++,还有 5 款更牛逼的选择! 作为文本编辑工具,有比 Notepad++ 更好的替代工具: Sublime Text (非开源) Sublime Text 是一个轻量. ...

  9. python七大神级插件_IntelliJ IDEA 15款超级牛逼插件推荐(自用,超级牛逼)

    满满的都是干货  所有插件都是在 ctrl+alt+s   里的plugins 里进行搜索安装 1.CodeGlance 代码迷你缩放图插件 2. Codota 代码提示工具,扫描你的代码后,根据你的 ...

  10. 还在付费使用 XShell?我选择这款超牛逼的 SSH 客户端,完全免费!

    点击关注公众号,回复"1024"获取2TB学习资源! 分享过 FinallShell 这款 SSH 客户端,也是我目前常用的 SSH 客户端工具,FinalShell 使用起来方便 ...

最新文章

  1. 从零学React Native之13 持久化存储
  2. IPSEC ×××主模式的九个包交换
  3. pymongo连接mongodb的replset
  4. NEFU84——五指山(Exgcd)
  5. python 爬取直播弹幕视频_python爬取斗鱼B总直播弹幕
  6. 001.Amoeba读写分离部署
  7. Go 语言:我那么值钱,我骄傲了吗?
  8. 牛客练习赛84F-牛客推荐系统开发之下班【莫比乌斯反演,杜教筛】
  9. 使用print写文件
  10. 如何设置电脑减少服务器响应时间,电脑反应慢,软件响应时间长原因分析和解决办法...
  11. 常用电感封装与电流关系
  12. 计算机图形图像项目教程素材,计算机图形图像应用教程
  13. php扩展 ioncube组件的安装方法_安装IonCube Loader扩展方法
  14. PHP常用正则表达式,如验证网址,邮箱等
  15. 小Q得到一个神奇的数列: 1, 12, 123,...12345678910,1234567891011...。
  16. 半年卖20亿,妙可蓝多是怎么将“奶酪”了吃进嘴里?
  17. MySQL数据库基础——数据库基础
  18. CSDN的markdown的KaTex数学公式
  19. 机器学习:最大熵模型
  20. python xarray选中一年并删除其时间维度,返回所选年份数据

热门文章

  1. $(document).ready()方法和window.onload()方法
  2. 数据资产管理:大数据时代的新风口
  3. 【转】为什么要用GIT而不是SVN
  4. 和发光的人在一起,慢慢地你也会发光
  5. 如何让自己的email地址永久有效
  6. 雅虎宣布支持谷歌OpenSocial标准
  7. Presentation Prompter for Mac(屏幕提词器)
  8. CAD迷你看图 for Mac
  9. kotlin版本组件化+mvvm项目架构
  10. 如何修改PDF文档,怎么编辑PDF背景