开源大数据：Apache Pulsar

Apache Pulsar 是一款分布式发布/订阅消息平台，近两年非常火，被称为下一代的消息流平台

Message consumption(消息消费)：如何发送和消费消息
Message Acknowledgement(消息确认)：如何确认消息
Message Retention(消息保留)：消息要保留多久、出发消息删除的原因以及删除方式

典型的基于排队的消息传递系统包括RabbitMQ和RocketMQ

1、历史背景

Pulsar源自Yahoo，于2016年开源并捐献给Apache基金会，并在2018年9月升级成为Apache顶级项目。

Kafka最初由Linkedin开发，并于2010年贡献给了Apache基金会，之后成为Apache顶级项目

Pulsar	Kafka
Topic	Topic
Partition	Partition
Ledger(Segment)/Fragment	Fragment/Segment
Bookie	Broker
Broker	Client SDK
Ensemble Size	metadata.broker.list
Write Quorum Size (Qw)	Replica Number
Ack Quorum Size (Qa)	request.required.acks

2、Pulsar特性

对Pulsar实例中的多个群集的本机支持，跨群集的消息的无缝地理复制。
极低的发布和端到端延迟。
无缝扩展到超过一百万个主题。
一个简单的客户端API，包含Java，Go，Python和C ++的绑定。
主题的多种订阅模式（独占，共享和故障转移）。
Apache BookKeeper提供的持久消息存储保证消息传递。
无服务器轻量级计算框架Pulsar Functions提供流本地数据处理功能。
基于Pulsar函数构建的无服务器连接器框架Pulsar IO可以更轻松地将数据移入和移出Apache Pulsar。

3、参考

Apache Pulsar官网：http://pulsar.apache.org/

https://alexstocks.github.io/html/pulsar.html
https://juejin.im/post/5cb3e7b16fb9a068b2297484

开源大数据：Apache Pulsar相关推荐

开源大数据周刊-第30期
阿里云E-MapReduce实践泰为在E-MapReduce上的考量与实践阿里云EMR是基于 Hadoop 的生态环境来搭建,同时可以跟阿里云的对象存储服务OSS等云服务进行无缝数据交换,方便用户 ...
开源大数据周刊-第49期
摘要: 开源大数据周刊-第49期资讯实时流数据分析--2017 年的 27 个预测概述:根据Markets & Markets的预测,流数据分析市场将从 2016 年的 30 8 亿美元 ...
开源大数据周刊-第76期
摘要: 本期周刊包括开源大数据核心组件Hadoop和Impala的最新消息,以及HBase.Kafka.TensorFlow等主流开源组件的实践分享和技术实现,还有来自京东推荐部门的推荐系统演进史,纯 ...
开源大数据周刊-第34期
阿里云E-MapReduce实践使用E-MapReduce服务处理阿里云文件存储(NAS)的数据文件存储是阿里云今年新推出的存储服务,因为它提供标准的文件访问协议,用户无需对现有应用做任何修改,即 ...
开源大数据查询分析引擎
引言大数据查询分析是云计算中核心问题之一,自从Google在2006年之前的几篇论文奠定云计算领域基础,尤其是GFS.Map-Reduce.Bigtable被称为云计算底层技术三大基石.GFS.Ma ...
时下最热开源大数据技术TOP10
文章讲的是时下最热开源大数据技术TOP10,眼下大数据成为最热技术,并且呈现爆炸式增长.全世界的新项目雨后春笋般的出现.对于这些新的公司.项目来说,利好就是所有可用的技术是开放源代码的,直接采用. 海 ...
大数据平台常用组件_这款大数据智能服务平台火了！全自动化配置30+款开源大数据组件...
在互联网市场的头部效应下,企业所面临的竞争压力越来越大,如何有效解决获客成本高.用户黏性低.变现能力弱等问题,正是越来越多的企业开始构建大数据平台的初衷.但由于大数据解决方案所涉及的组件错综复杂.技术 ...
开源大数据平台的安全实践
开源大数据平台的安全实践刘杰百度(中国)有限公司,北京 100085 摘要:开源大数据平台的安全机制目前并不特别完善,特别是用户认证.日志审计等方案还存在不少问题.分析了开源大数据平台存在的安全隐 ...
开源大数据平台HBase对接OBS操作指南
1 背景介绍华为云对象存储服务可以与HBase大数据生态进行对接,为用户提供计算存储分离的大数据解决方案.该方案具备高性能.低成本的优势,且无扩容问题. 本操作指导书旨在帮助华为云用户在开 ...
Bossie Awards 开源大数据工具最佳列表
在最佳开源大数据工具奖中,Google的TensorFlow和Beam无可置疑的入选,同时也有Spark,Elasticsearch,Impala,Kylin,Kafka,Zeppelin等市场热点, ...

开源大数据：Apache Pulsar

1、历史背景

2、Pulsar特性

3、参考

开源大数据：Apache Pulsar相关推荐

最新文章

热门文章