现有的CEP产品介绍
CEP(Complex Event Processing,复杂事件处理)是近年来在互联网中不断升温一个词汇。在CEP的领域,国外已经有了很多研究成果和相当成熟的产品,而中国的这个市场才刚刚打开。流式数据处理是CEP的一个核心技术,流计算来自于一个信念:数据的价值随着时间的流逝而降低,所以事件出现后必须尽快地对它们进行处理,最好数据出现时便立刻对其进行处理,发生一个事件进行一次处理,而不是缓存成一批再处理。
本文旨在对目前市场上已有的CEP产品和开源项目进行简单介绍,普及前沿科技。
首先是几个商业化产品。
- StreamBase 所属公司:StreamBase Systems
StreamBase使用Java开发,IDE是基于Eclipse进行二次开发,功能非常强大。目前此产品在业界处于领先地位,其前身是Borealis。
网站首页:http://www.streambase.com/
- StreamInsight 所属公司:Microsoft
StreamInsight是SQL Server 2008 R2的新模块。它是一个基于.NET的平台,用于复杂事件处理(CEP,Complex Event Processing),即对于来自多数据源的无限事件序列提供近乎零延时的连续处理。StreamInsight是一个临时查询处理引擎,它可以支持应用程序对时间窗口内的事件进行查询处理。它对流数据的处理范围包括简单聚合、多数据源事件相关性、事件模式检测、甚至建立复杂事件序列和分析模型。StreamInsight的程序模型可以让用户通过LINQ定义这些查询,同时支持将查询结果无缝整合到C#的代码中。
微软的MSDN文档:
http://msdn.microsoft.com/en-us/library/ee229547(v=SQL.10).aspx
相关文章:
http://www.cnblogs.com/stbchina/archive/2011/04/18/StreamInsight-on-SQL-Server-2008-R2.html
http://tech.ddvip.com/2010-09/1285567813160528.html
- Aleri 所属公司:Sybase
Aleri原本是由Aleri公司开发的一款CEP产品。2009年,Aleri被列为CEP领域杰出的领军企业,同时,Aleri还是首家获准作为安全技术评估中心基准的CEP厂商。后来Sybase收购了Aleri,成功跻身成为CEP领头羊并强化其实时分析平台。
产品主页:
http://www.sybase.com/products/financialservicessolutions/complex-event-processing
- Apama 所属公司:Progress
这个产品名气不大。几乎没有资料。
产品主页:http://www.progress.com/en/apama/
以下是开源项目。
- Borealis 开源项目
Borealis是Brandeis University、Brown University和MIT合作开发的一个分布式流式系统,由之前的流式系统Aurora、Medusa演化而来。目前Borealis系统已经停止维护,最新的Release版本停止在2008年。
Borealis具有丰富的论文、完整的用户/开发者文档,系统是C++实现的,运行于x86-based Linux平台。系统是开源的,同时使用了较多的第三方开源组件,包括用于查询语言翻译的ANTLR、C++的网络编程框架库NMSTL等。
项目首页:http://www.cs.brown.edu/research/borealis/public/
- S4 (Simple Scalable Streaming System) 所属公司:Yahoo!
目前最流行的大规模数据处理是MapReduce,不过MapReduce只是一个面向批处理的框架。其它情况则是流处理系统或针对特定问题的特殊解决方案(比如Pregel、GraphLab等等),当然还有“应用最广”的并行数据库。S4是Yahoo!发布的一个开源通用、分布式、可扩展、部分容错、具备可插拔功能的平台。这套平台主要是为了方便开发者开发处理流式数据(continuous unbounded streams of data)的应用。Yahoo!之所以开发S4系统,主要是为了解决它现实的问题:搜索广告的展现。搜索广告是当前各大搜索引擎的主要收入来源,用户发出查询请求,搜索引擎在返回正常结果的同时也会返回相关广告,而广告是按照点击付费。为了在最好的位置,放置最相关(也就是用户最有可能点击)的广告,各大搜索引擎使用了大量的数据挖掘和机器学习算法来进行相关性计算,以便提高收入,满足用户需求。其中很重要的一点就是要不断分析用户的点击反馈,以便捕获用户的行为。S4最初主要还只是用来处理用户的点击反馈。
项目主页:http://s4.io/
相关文章:
http://ld-hust.iteye.com/blog/988377
http://database.51cto.com/art/201110/297784.htm
http://blog.hesey.net/2011/04/yahoo-s4-distributed-stream-computing-platform.html
- Esper 开源项目
采用Java开发,支持复杂的EPL(Event Processiong Language),尤其是模式匹配(Pattern Match)。想深入研究模式匹配,可以从这个项目入手。
项目主页:http://esper.codehaus.org/
- Drools 开源项目
Drools具有一个易于访问企业策略、易于调整以及易于管理的开源业务规则引擎,符合业内标准,速度快、效率高。业务分析师或审核人员可以利用它轻松查看业务规则,从而检验是否已编码的规则执行了所需的业务规则。采用Java开发。
项目主页:http://www.jboss.org/drools/drools-fusion.html
- Storm 开源项目
Twitter在9月19日的Strange Loop大会上公布Storm的代码,是一个类似于Hadoop的即时数据处理工具,由BackType开发的,后来被Twitter收购用于Twitter进行实时数据处理分析。storm是一个分布式的、容错的实时计算系统,遵循Eclipse Public License 1.0,Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算,Storm之于实时处理,就好比Hadoop之于批处理。Storm保证每个消息都会得到处理,而且它很快——在一个小集群中,每秒可以处理数以百万计的消息。可以使用任意编程语言来做开发。
以下两个是国内项目。
- 银河流数据处理平台 所属公司:淘宝
- SuperMario 所属公司:淘宝
SuperMario,基于erlang语言和zookeeper模块开发的高性能数据流处理框架,使用订阅者模式构建流节点间的流关系,支持高性能的数据流式实时处理。
现有的CEP产品介绍相关推荐
- Windows下基于vue框架的UXP插件开发环境搭建及程序试运行
从PS2021(v22)开始,Adobe官方引入了新的插件平台:UXP,它的最终任务是取代现有的CEP,所以赶紧来提前做一下准备吧,我对这方面也一直很感兴趣,但是这方面的中文资料太少了,然后在网上查了 ...
- 网络安全公司奇安信集团是如何基于 Flink 构建 CEP 引擎实时检测网络攻击【未来不可忽视的网络安全】
摘要: 奇安信集团作为一家网络安全公司是如何基于 Flink 构建 CEP 引擎实时检测网络攻击?其中面临的挑战以及宝贵的实践经验有哪些?本文主要内容分为以下四个方面: 背景及现状 技术架构 产品及运 ...
- 阿里大数据云原生化实践,EMR Spark on ACK 产品介绍
开源大数据社区 & 阿里云 EMR 系列直播 第六期 主题:EMR spark on ACK 产品演示及最佳实践 讲师:石磊,阿里云 EMR 团队技术专家 内容框架: 云原生化挑战及阿里实践 ...
- 【产品介绍】“弹性裸金属服务器”到底有那些特性?
在这里我们定义的"弹性裸金属服务器"是一个"新物种",它强调的是"弹性",也就是通过技术创新,使得传统裸金属服务能够做到和虚拟机一致的使用体 ...
- 网络摄像机产品介绍以及学习
网络摄像机定义 网络摄像机,也叫IP摄像机,即IPCamera,简称IPC,近几年得益于网络带宽,芯片技术,算法技术,存储技术的进不而得到大力发展.IPC的特点主要体现在"IP"上 ...
- FusionCharts 完全的产品介绍
FusionCharts产品介绍 1.FusionCharts Suite http://www.fusioncharts.com/products/suite/ 名称:Fusioncharts: ...
- flink cep pattern动态加载
通常我们在提交一个flink cep任务,流程基本上是:开发,打包,部署:例如我们有一个任务:计算在60秒内,连续两次登陆失败的用户 begin("begin").where(_. ...
- Flink cep动态模板+cep规则动态修改实践
私信之前请一键三连,请给一点动力!谢谢 目录 Flink CEP 概念以及使用场景 1.什么是CEP? 2.Flink CEP 应用场景 3.Flink CEP 原理(只做简单了解) 规则条件遵循参考 ...
- 第七课 大数据技术之Fink1.13的实战学习-Fink CEP
第七课 大数据技术之Fink1.13的实战学习-Fink CEP 文章目录 第七课 大数据技术之Fink1.13的实战学习-Fink CEP 第一节 Fink CEP介绍 1.1 Flink CEP背 ...
最新文章
- Create C++ Windows Forms Application in Visual Studio 2017
- java银行利率_Java-银行计算利息
- 使用匿名函数动态设置前置或者后置操作(装饰器模式的)
- 前端2018年12月9日 前端开发路上的小白心得--励志当个领路人
- 云小课 | MRS基础入门之HDFS组件介绍
- MySQL常用函数,你真得看看!
- linux yum libsasl2,CentOS8 yum 凡是安装 安装mysql +需要:libsasl2.so.2()(64bit)
- 代码雨代码源复制_两步教你打造一个代码雨动态壁纸效果,代码可以设置为名字...
- SEP(标准必要专利)
- 多传感器融合标定方法汇总
- 诺丁汉大学计算机专业怎样,诺丁汉大学计算机科学专业怎么样 雅思成绩要求如何...
- 基于Javaweb的小项目(类似于qqzone)1——设计数据库
- 精准授时,GPS北斗卫星授时同步时钟系统的天花板
- 天池SQL训练营TASK2打卡
- 路由器里面的DHCP是什么功能?
- GA受众群体之再营销设置
- 博通(Broadcom)收购赛门铁克(Symantec)将一波三折,这是第一折
- 对话人工智能 |新时代AI如何“落地“
- 【零基础】看懂理解傅里叶变换后的频谱图-附例题
- 商业智能平台研究 (十) ETL 选型