gecco 1.1.0稳定版发布，易用的轻量化爬虫

gecco 1.1.0稳定版发布了。

1.1.0版本主要做了如下修改：

1.优化代理设置，运行时计算代理下载成功率，自动发现无效代理，支持运行时添加代理
2.HttpClientDownloader支持类似12306网站非信任ssl证书
3.JsonBean支持嵌套解析
4.修复部分网站302无法跳转的bug
5.优化debug日志输出

gecco是一款易用的轻量化网络爬虫。十分的容易上手。

主要特征：

简单易用，使用jquery风格的选择器抽取元素
2.支持页面中的异步ajax请求
3.支持页面中的javascript变量抽取
4.利用Redis实现分布式抓取,参考gecco-redis
5.支持结合Spring开发业务逻辑,参考gecco-spring
6.支持htmlunit扩展,参考gecco-htmlunit
7.支持插件扩展机制
8.支持下载时UserAgent随机选取
9.支持下载代理服务器随机选取

转载于:https://blog.51cto.com/11518835/1767751

gecco 1.1.0稳定版发布，易用的轻量化爬虫相关推荐

.NET Core 3.0 稳定版发布
一年一度的 .NET 开发者盛会 .NET Conf 2019 在昨日(举办时间为 9.23-9.25)正式开始了.大会第一天最重磅也是最激动人心的消息莫过于 .NET Core 3.0 稳定版的发布 ...
重磅消息：Redis 6.0.0 稳定版发布
点击上方蓝色"程序猿DD",选择"设为星标" 回复"资源"获取独家整理的学习资料! 来源 | https://www.sohu.com/a/ ...
python3最新稳定版本-Python 3.9.0 稳定版发布
新酷产品第一时间免费试玩,还有众多优质达人分享独到生活经验,快来新浪众测,体验各领域最前沿.最有趣.最好玩的产品吧~!下载客户端还能获得专享福利哦! 原标题:Python 3.9.0 稳定版发布 IT ...
.NET Core 3.0稳定版发布
一年一度的 .NET 开发者盛会 .NET Conf 2019 已正式开始了(举办时间为 9.23-9.25).大会第一天最重磅也是最激动人心的消息莫过于 .NET Core 3.0 稳定版的发布.. ...
python 3.9 发布_Python 3.9.0 稳定版发布
新酷产品第一时间免费试玩,还有众多优质达人分享独到生活经验,快来新浪众测,体验各领域最前沿.最有趣.最好玩的产品吧~!下载客户端还能获得专享福利哦! 原标题:Python 3.9.0 稳定版发布 IT ...
微软董事会：比尔·盖茨应当离开；字节跳动回应“实习生遭遇职场 PUA”事件；TensorFlow 2.5.0稳定版发布|极客头条...
「极客头条」-- 技术人员的新闻圈! CSDN 的读者朋友们早上好哇,「极客头条」来啦,快来看今天都有哪些值得我们技术人关注的重要新闻吧. 整理 | 梦依丹出品 | CSDN(ID:CSDNnews ...
极客日报第125期：微信将于 5 月 19 日之后停止小程序打开 App 技术服务；原装 AirTag 发货时间延长至 4-5 周；TensorFlow 2.5.0稳定版发布
一分钟速览新闻点! 微信将于 5 月 19 日之后停止小程序打开 App 技术服务腾讯音乐组织调整:减少内耗,推进业务合并小米互助正式关停,上线仅 11 个月腾讯电商 App"小鹅拼拼 ...
彻底退出，刘强东转让所持京东股份；芯片巨头高通宣布冻结招聘；Rust 1.65.0 稳定版发布|极客头条
「极客头条」-- 技术人员的新闻圈! CSDN 的读者朋友们早上好哇,「极客头条」来啦,快来看今天都有哪些值得我们技术人关注的重要新闻吧. 整理 | 梦依丹出品 | CSDN(ID:CSDNnews ...
python 3.9.0a0_Python 3.9.0 稳定版发布
IT之家10月6日消息据网友投递,Python 3.9.0 稳定版(Python 3.9.0 final)昨日正式发布,它包含许多新功能和优化,禁止在Windows 7上安装,且默认提供64位安装程序 ...

gecco 1.1.0稳定版发布，易用的轻量化爬虫

gecco 1.1.0稳定版发布，易用的轻量化爬虫相关推荐

最新文章

热门文章