发现一款.NET Core开源爬虫神器:DotnetSpider
没有爬虫就没有互联网!
爬虫的意义在于采集大批量数据,然后基于此进行加工/分析,做更有意义的事情。谷歌,百度,今日头条,天眼查都离不开爬虫。
去开源中国和Github查询C#的爬虫项目,仅有几个非常简单或是几年没有更新的项目。
而单纯性能上.NET对比JAVA,PYTHON并没有处于弱势,反而有开发上的优势(得益于世界上最强大的IDE)。爬虫性能瓶颈大多是在并发下载(网速)、IP池,那么为什么.NET没有一个强大的爬虫框架呢?
说真的我不知道,可能爬虫框架核心上比较简单,也可能.NET的开发人员没有别的语言的开发人员勤奋,或是.NET的开源氛围没有别的语言高。
所以,今天推荐一个.NET 爬虫的开源项目:DotnetSpider
开源项目地址:
https://github.com/dotnetcore/DotnetSpider
免责申明:本框架如同 Python 下著名的 Scrapy 一样只是为了帮助开发人员简化开发流程、提高开发效率,请勿使用此框架做任何违法国家法律的事情。使用者所做任何事情也与本框架的作者无关。
设计图
框架设计
参考的webmagic,所以整体架构上没有什么大的变化,设计图如下(图片是直接从webmagic上拿的)
Scheduler:负责URL的调度、去重,可以实现如Queue, PriorityQueueScheduler, RedisScheduler(可用于分布式)等等
Downloader: 负责下载HTML,可以实现如HttpDownloader, 浏览器的Downloader(WebDriver), FiddlerDownloader,本地文件Downloader等等
PageProcesser: 负责HTML解析、目标URL的选择
Pipeline: 负责数据的存储, 已实现文件存储, MySql存储, MySqlFile存储(脚本),MSSQL存储,MongoDb存储, 更多存储期待您的贡献
优点
可以使用Json定义爬虫
可以使用实体类+Attrbiute定义爬虫
自动创建数据库、数据表
支持 .NET CORE,可以跨平台
支持ADSL拨号换IP:如果所有爬虫统一部署, 可以实现单台机器同时运行多个任务拨号互不影响、或者一个路由下面多个电脑下多个任务拨号互不影响
支持自定义代理池
有管理平台
如果你也有好的开源项目,欢迎推荐!
微信号联系:westbrook12000(ps:加好友请备注“开源”)
回复 【小程序】获取15套小程序源码【学习+实战+赚钱】
回复 【关闭】学关闭微信朋友圈广告
回复 【实战】获取20套实战源码
回复 【福利】获取最新微信支付有奖励
回复 【被删】学查看你哪个好友删除了你巧
回复 【访客】学微信查看朋友圈访客记录
回复 【python】学微获取全套0基础Python知识手册
还需要Pandownload?阿里云网盘来了(附注册教程)
副业刚需,个人开发者如何通过小程序变现?已经有朋友变现月入4k了!
发现一款.NET Core开源爬虫神器:DotnetSpider相关推荐
- 推荐一款.NET Core开源爬虫神器:DotnetSpider
没有爬虫就没有互联网! 爬虫的意义在于采集大批量数据,然后基于此进行加工/分析,做更有意义的事情.谷歌,百度,今日头条,天眼查都离不开爬虫. 去开源中国和Github查询C#的爬虫项目,仅有几个非常简 ...
- 开源爬虫神器,Playwright vs Puppeteer 对比,你应该选择哪个?
Playwright是一个用于浏览器自动化的 Node.js库. Puppeteer也是一个用于浏览器自动化的 Node.js 库.让我们看看它们的历史由来,并考虑在实际使用应该如何选择.Angula ...
- 发现一款自学Java可视化工具神器,非常牛逼,太爱了!
最近发现一款Java自学神器,超级牛逼,今天分享给大家. 介绍 Codegym 是一个以 Java 为中心的平台,它比其他平台上都要更加深入的介绍 Java,这个网站将理论和实践知识相结合,你可以在上 ...
- 又发现一款纯js开源电子表格Luckysheet
据官网介绍这个电子表格插件,是一款纯前端类似excel的在线表格,功能强大.配置简单.完全开源. 官网链接: Luckysheet官网 在线DEMO 特性包含: 表格设置,包括冻结行列.合并单元格.筛 ...
- 发现一款容器逃逸漏洞利用神器!
有在关注容器逃逸漏洞,最近在github上发现了一款零依赖Docker/K8s渗透工具包,集成了多个漏洞PoC/EXP,可轻松逃脱容器并接管K8s集群. CDK- 零依赖Docker/K8s渗透工具包 ...
- 发现一款数据可视化手绘神器!
来源: https://github.com/chenjiandongx/cutecharts 今天,给大家介绍一个很酷的 Python 手绘风格可视化神包:cutecharts. 和 Matplot ...
- 重磅推荐:5款强大的开源报表工具!
作者:JEECG开源社区 來源:简书 最近发现几款不错的开源报表,还提供源码,现在给大家分享一下,希望能带来帮助! 1.项目名称:积木报表 项目简介:积木报表,免费的企业级WEB报表工具.专注于&qu ...
- Git重磅推荐!5 款强大的开源报表工具
点击上方"民工哥技术之路",选择"设为星标" 回复"1024"获取独家整理的学习资料! 小编最近发现几款不错的开源报表,还提供源码,现在给大 ...
- Git重磅推荐:5款强大的开源报表工具!
点击上方的终端研发部,右上角选择"设为星标" 作者:JEECG开源社区 链接:https://www.jianshu.com/p/7710c6288601 前言 最近发现几款不错的 ...
最新文章
- python scrapy 入门,10分钟完成一个爬虫
- 关于Mybaits,我总结了10种通用的写法
- CtStatement
- 提高工作效率必备神器
- SAP UI5 web Component里的条件渲染机制
- LeetCode Hot100 ---- 二分查找专题
- bzoj3224 Tyvj 1728 普通平衡树题解--Treap
- mfc程序转化为qt_10年程序员:我都学过这些语言,2019年开始我再也不是程序员......
- c语言中规定的标准文件,标准C语言
- 企业软件开发商 Atlassian 紧急修复不慎泄露的0day,IBM Aspera 软件或受影响
- JDK集合框架结构分析(二)
- 高级运维工程师证书_华为认证云运维高级工程师(HCIP-CDCO)
- C-Cheating and Stealing_2021牛客暑期多校训练营5
- 微软 android启动器,微软启动器Mirosoft Launcher
- DSC和HD医学图像分割评价指标
- 仿企查查、天眼查 d3关联关系图 力项导图
- 五种3DMAX使用版本区别比较(一)
- sklearn机器学习:岭回归Ridge
- 2019阿里巴巴技术面试题集锦!(附答案)
- GIS大数据可视化分析工具