网络采集库NCrawler

NCrawler是一款国外的开源网络爬虫软件，遵循LGPL许可协议。其HTML处理使用的是htmlagilitypack开源库，采用xpath的方式处理定位网页元素，十分方便。同时其采用HttpWebRequest异步的方式获取网页，采集效率较高。台湾微软MSDN有一篇如何使用NCrawler参考文章。

官方地址：http://ncrawler.codeplex.com/

转载于:https://www.cnblogs.com/shanyou/archive/2012/07/31/2617485.html

网络采集库NCrawler相关推荐

android post请求添加公共参数_XHttp2 一个功能强悍的网络请求库
XHttp2 一个功能强悍的网络请求库,使用RxJava2 + Retrofit2 + OKHttp组合进行封装.还不赶紧点击使用说明文档,体验一下吧! 项目地址关于我 https://github ...
利用epoll写一个迷你的网络事件库
epoll是linux下高性能的IO复用技术,是Linux下多路复用IO接口select/poll的增强版本,它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率.另一点原因就是获取 ...
python 访问网页重定向_Python数据网络采集5--处理Javascript和重定向
Python数据网络采集5--处理Javascript和重定向到目前为止,我们和网站服务器通信的唯一方式,就是发出HTTP请求获取页面.有些网页,我们不需要单独请求,就可以和网络服务器交互(收发信息 ...
最好用的嵌入式网络C库、Lua库
为什么80%的码农都做不了架构师?>>> 最好用的嵌入式网络C库.Lua库 Evmongoose是一个异步的.基于事件框架(libev)的集成多种协议的嵌入式网络库,包括:TC ...
兼容微信小程序的流式网络请求库
本项目从属于笔者的Web开发入门与最佳实践之前端开源项目系列.如果对于HTTP协议与规范尚不掌握的建议阅读HTTP 基础与变迁一文.如果对于REST尚不掌握的推荐阅读来自微软的接口设计指南以及来自于P ...
Python网络请求库Requests，妈妈再也不会担心我的网络请求了(二)
本文同步发表于我的微信公众号,扫一扫文章底部的二维码或在微信搜索极客导航即可关注,每个工作日都有文章更新. 一.概况接着上篇说,如果你真以为Requests网络请求库只有Get请求和Post请求 ...
「Python 编程」编码实现网络请求库中的 URL 解析器
相信各位 Python 开发者都用过 Requests 库,有些朋友还用过 WebSockets 库.这里回顾一下它们的基本用法,例如使用 Requests 库向目标网站发出 GET 请求: impo ...
吕文翰 php,自己动手写一个 iOS 网络请求库（三）——降低耦合
自己动手写一个 iOS 网络请求库(三)--降低耦合 2015-5-22 / 阅读数:16112 / 分类: iOS & Swift 本文中,我们将一起降低之前代码的耦合度,并使用适配器模式实 ...
WinCap网络开发库入门（转）
Winpcap是一个强大的网络开发库,可以实现许多功能:获取可用的网络适配器:获取指定适配器信息(比如名称和描述信息):捕获指定网卡的数据封包:发送数据封包:过滤捕获的包以获取特定包等. 文章源地址: ...

网络采集库NCrawler

网络采集库NCrawler相关推荐

最新文章

热门文章