Kafka 孕育开源 KarelDB

点击上方“朱小厮的博客”，选择“设为星标”

回复”666“获取公众号专属资料

Apache Kafka及其配套的键值存储系统如今用于为越来越多的关系数据库提供持久性存储。大多数数据库使用键值存储系统作为基础。

最近冒出来的KarelDB是一种关系数据库，它几乎完全建立在开源组件的基础上，包括用于SQL引擎的Apache Calcite以及用于事务和控制功能的Apache Omid。到目前为止，该开源数据库仅支持单个节点，但是数据库行业观察人士认为它大有希望在将来扩大支持规模。

KaralDB及其他新兴数据库立足于Kafka嵌入式键值存储系统和名为KCache的内存中缓存。默认情况下，这个新的关系数据库使用配置成RocksDB缓存的KCache，而应用广泛的Kafka流处理软件支持RocksDB缓存。

基于Kafka的数据流平台供应商Confluent的Robert Yokota特别指出：“这让KarelDB得以支持更庞大的数据集和更快速的启动时间。”Yokota在最近介绍KarelDB的博文中补充道：“如果需要，还可以配置KCache，以便使用内存中缓存而不是使用RocksDB。”

与Confluent基于Kafka的平台不同，KarelDB不是一种数据流数据库。不过，Yokota之所以为该关系数据库摇旗呐喊，主要原因是它基于Kafka支持的开源组件。因此，他认为它有可能流行起来。

那些开源组件包括Calcite，这种SQL框架将关系查询推送到数据存储系统，该方法被认为可以提供更高效的处理。Yokota特别指出，KarelDB将从即将发布的Calcite优化机制中“自动受益”。

其他开源项目（比如Apache Flink流处理引擎）也充分利用了Calcite，包括SQL API。Calcite还包括一个SQL解析器。

与此同时，Apache Omid框架与KarelDB一起使用，以支持键值存储系统上的事务。Omid最初被设计为面向HBase NoSQL数据库的事务管理器，但由于它使用现有的键值存储系统来维护事务元数据，因此与KCache相辅相成、相得益彰。

Yokota特别指出，KarelDB将诸如此类的功能堆叠在KCache的上面以管理事务。Omid还使用一种名为多版本并发控制的技术，在其他关系数据库中实现“快照隔离”机制。

KarelDB还因能够作为嵌入式数据库或服务器运行而受到吹捧。在后一种情况下，它使用Apache Avatica支持远程过程调用（PRC）传输协议。

Yokota特别指出，使用Kafka运行诸如此类的开源组件有诸多优点，其中之一在于多台服务器能够“跟踪”（tail）同一主题集。他补充道：“这让多台KarelDB服务器可以作为一个集群运行，没有单一故障点。”

KarelDB以捷克科幻小说作家Karel Capek的名字命名，世人认为是他发明了“机器人”（robot）一词。一种编程语言也以他的名字命名。

Github：https://github.com/rayokota/kareldb

想知道更多？扫描下面的二维码关注我

怎么加群？：

怎么免费加入知识星球：

免费资料入口：后台回复“666”

掘金小册支付通道开启，有需要购买电子版的《深入理解Kafka》的同学可以在公众号后台回复：【电子版】或者【Kafka】获取海报购买。

朕已阅

Kafka 孕育开源 KarelDB相关推荐

阿里云正式推出消息队列Kafka：全面融合开源生态
摘要: 在全面兼容Apache Kafka生态的基础上,消息队列Kafka彻底解决Apache Kafka稳定性不足的长期痛点,并且支持消息无缝迁移到云上. 近日,阿里云宣布正式推出消息队列Kafka ...
kafka原理_Kafka动态配置实现原理解析
总第19篇 2019年第15篇一.问题导读Apache Kafka在全球各个领域各大公司获得广泛使用,得益于它强大的功能和不断完善的生态.其中Kafka动态配置是一个比较高频好用的功能,下面我们 ...
开源大数据周刊-第76期
摘要: 本期周刊包括开源大数据核心组件Hadoop和Impala的最新消息,以及HBase.Kafka.TensorFlow等主流开源组件的实践分享和技术实现,还有来自京东推荐部门的推荐系统演进史,纯 ...
这 9 个 Java 开源项目 yyds，你知道几个？
今日推荐扔掉 Postman,一个工具全部搞定,真香!为啥查询那么慢?还在直接用JWT做鉴权?JJWT真香推荐 15 款常用开发工具干掉 navicat:这款 DB 管理工具才是y(永)y(远)d( ...
kafka不使用自带zk_Kafka监控必备——Kafka-Eagle 2.0.2正式发布
对于经常使用Kafka的同学,拥有一个炫酷又实用的监控系统是非常有必要的.可以实时的监控数据流的情况,了解实时数据流的变化. Kafka Eagle Kafka Eagle是一个监控系统,监控Kafk ...
消息中间件ActiveMQ、RabbitMQ、RocketMQ、ZeroMQ、Kafka如何选型
转载自消息中间件ActiveMQ.RabbitMQ.RocketMQ.ZeroMQ.Kafka如何选型? 最近要为公司的消息队列中间件进行选型,市面上相关的开源技术又非常多,如ActiveMQ.Ra ...
kafka rabbitmq优劣对比_Kafka、RabbitMQ、RocketMQ等消息中间件的对比
原文链接:Kafka.RabbitMQ.RocketMQ等消息中间件的对比消息中间件现在有不少,网上很多文章都对其做过对比,在这我对其做进一步总结与整理. RocketMQ 淘宝内部的交易系统使用了 ...
最新性能测试:Kafka、Pulsar 和 Pravega 哪个最强?
本文会对 Pravega 进行性能评估,重点关注读写性能. 1 简介为了对比不同的设计选择,我们还额外展示了来自其它系统的性能结果:Apache Kafka 和 Apache Pulsar.Puls ...
【Kafka】使用confluent本地安装和使用kafka
1.概述 1.1 Confluent Kafka简介 2014年,Kafka的创始人Jay Kreps.NahaNarkhede和饶军离开LinkedIn创立Confluent公司,专注于提供基于Ka ...

Kafka 孕育开源 KarelDB

Kafka 孕育开源 KarelDB相关推荐

最新文章

热门文章