php的内核引擎,爬山虎内核引擎

爬山虎内核引擎

爬山虎是什么

爬山虎PHPCreeper是一款基于Workerman的全新一代多进程异步驱动爬虫引擎。

爬山虎的特点

0x01、拥有workerman全部特性

由于爬山虎是基于workerman开发的，所以天然继承了workerman的一切特性，

比如：多进程、异步驱动、常驻内存、高性能等等，具体特性见其官方手册：

http://doc.workerman.net/getting-started/feature.html

0x02、有丰富人性化的开发手册

我们提供有人性化的中英文开发手册，白话文引导，极其通俗易懂，英文版手册很快开放。

0x03、支持自由定制各种插件

希望扩展额外的功能？随你喜欢自由定制各种Plugin。

0x04、支持自由定制各种回调

希望改变程序的行为? 随你喜欢自由定制各种Callback。

0x05、支持自由定制下载器

对内置的资源下载器不满意？随你喜欢自由定制第三方资源下载器。

0x06、支持自由定制消息中间件

对内置的消息中间件不满意？随你喜欢自由定制第三方消息中间件。

0x07、支持自由定制分布式锁

对内置的分布式锁不满意？随你喜欢自由定制第三方分布式锁。

0x08、支持网络限流

担心网络发生了拥挤堵塞？引擎内置网络限流功能。

0x09、支持分布式部署

由于爬山虎基于socket模式实现，所以天然支持分布式部署。

0x10、支持分离式部署

爬山虎不仅支持分布式部署，同时也支持分离式部署，即基于worker的分离部署。

0x11、拥有彪悍性能

异步通信 + 多进程 + 分布/离式部署 + 事件驱动架构理念，保证了爬山虎彪悍的性能。

0x12、拥有强扩展性

微内核引擎 + 插件 + 分布/离式部署设计理念，保证了爬山虎强扩展性。

0x13、拥有人性化运行时控制面板

爬山虎以debug模式启动时，提供有人性化的运行时控制面板，直观展示了爬虫运行生命周期内的详细数据日志。

当然以dameon模式启动时，我们一样可以通过预先配置好的日志文件来查看详细的数据日志。

0x14、采用优雅的内容解析器

爬山虎采用PHPQuery作为内置的内容解析器，PHPQuery的语法和JQuery如出一撤，语法优雅简洁，

使用起来得心应手，最大化的帮助我们摆脱了编写枯燥正则表达式的烦恼。

0x15、支持socket编程

前面提及到爬山虎继承了workerman的一切特性，所以完美支持socket编程，

比如我们因业务需要新开个端口提供某种额外服务，那么只需启动对应协议的监听端口的业务实例就可以了，

而且支持自定义应用层协议，这也是workerman最原生的玩法。

0x16、支持多国语言环境

爬山虎支持多国语言环境，目前暂支持中文和英文运行环境。

0x17、支持敏捷开发

通过使用官方提供的配套应用框架，最终落地到开发者身上只有四件事：

进行应用业务配置

设定业务抓取规则

编写应用业务回调

启动各个业务实例

php的内核引擎,爬山虎内核引擎相关推荐

MySQL内核：InnoDB存储引擎卷1
MySQL内核:InnoDB存储引擎卷1(MySQL领域Oracle ACE专家力作,众多MySQL Oracle ACE力捧,深入MySQL数据库内核源码分析,InnoDB内核开发与优化必备宝典) ...
操作系统与存储：解析Linux内核全新异步IO引擎io_uring设计与实现
作者:draculaqian,腾讯后台开发工程师引言存储场景中,我们对性能的要求非常高.在存储引擎底层的IO技术选型时,可能会有如下讨论关于IO的讨论. http://davmac.org/dav ...
【ShoppingWebCrawler】-C#开发的基于Webkit内核开源爬虫蜘蛛引擎
概述在各个电商平台发展日渐成熟的今天.很多时候,我们需要一些平台上的基础数据.比如:商品分类,分类下的商品详细,甚至业务订单数据.电商平台大多数提供了相应的业务接口.允许ISV接入,用来扩展自身平台 ...
http协议与https协议+UDP协议和TCP协议+WebSocket协议下服务端主动去发送信息+对称加密与非对称加密+get和post请求方式区别详解+浏览器内核以及jsj解析引擎
TCP和UDP协议是TCP/IP协议的核心. 在TCP/IP网络体系结构中,TCP(传输控制协议,Transport Control Protocol).UDP(用户数据报协议,User Data P ...
浏览器内核、排版引擎、js引擎
[定义] 浏览器最重要或者说核心的部分是"Rendering Engine",可大概译为"渲染引擎",不过我们一般习惯将之称为"浏览器内核" ...
Yarn 源码 | 分布式资源调度引擎 Yarn 内核源码剖析
曾有人调侃:HBase 没有资源什么事情也做不了,Spark 占用了资源却没有事情可做? 那 YARN了解一下? 01 YARN! 伴随着Hadoop生态的发展,不断涌现了多种多样的技术组件 Hive ...
浏览器内核-渲染引擎、js引擎
一个完整的浏览器包含浏览器内核和浏览器的外壳(shell).浏览器核心--内核分成两部分:渲染引擎和js引擎.由于js引擎越来越独立,内核就倾向于只指渲染引擎. 1 浏览器组成结构浏览器一般由七个模 ...
【前端】浅谈浏览器内核：渲染引擎、JS引擎
浏览器内核是什么? 简而言之,浏览器内核就是把我们编写的代码转换为页面的中控件. 虽然现在大家谈起浏览器内核时,多指代渲染引擎(Rendering engine 或 layout engineer). ...
决策引擎的内核及基于Drools开源引擎讲解
互联网时代,极速放贷.无需面签.10秒可取等词语成了招揽客户的关键词.此外,网购时平台一般都会提供分期付款.在这背后,风控平台每天收到无数笔申请贷款或分期支付的请求,是批准还是拒绝?金融借贷/支付与科 ...

php的内核引擎,爬山虎内核引擎

php的内核引擎,爬山虎内核引擎相关推荐

最新文章

热门文章