Apache Kudu架构

2024-05-15 19:24:30

与 HDFS和HBase相似，Kudu使用单个的Master节点，用来管理集群的元数据，并且使用任意量的Tablet Server（类似 HBase中的RegionServer角色）节点用来存储实际数据。可以部署多个Master节点来提高容错性。

1.1、 Table

表（Table）是数据库中用来存储的对象，是有结构的数据集合 。kudu 中的表具有schema（纲要）和全局有序的 primary key（主键）。 kudu中一个table会被水平分成多个被称之为tablet 的片段。

1.2、 Tablet

一个tablet是一张table连续的片段，tablet 是kudu 表的水平分区，类似于 HBase 的 region 。每个tablet 存储着一定连续range的数据（ key ），且 tablet 两两间的range不会重叠。一张表的所有tablet包含了这张表的所有key空间。
tablet会冗余存储。放置到多个tablet server上，并且在任何给定的时间点，其中一个副本被认为是leader tablet ,其余的被认之为follower tablet 。每个 tablet都可以进行数据的读请求 ，但只有Leader tablet负责写数据请求。

1.3、Tablet Server

集群中的小弟，负责数据存储，并提供读写服务
一个 tablet server存储了table表的tablet，向kudu client提供读取数据服务。对于给定的tablet ，一个tablet server充当leader ，其他tablet server充当该tablet 的follower副本。
只有leader服务写请求，然而leader或followers为每个服务提供读请求。一个tablet server可以服务多个tablets ，并且一个 tablet可以被多个tablet servers服务。

1.4、Master Server

集群中的老大，负责集群管理、元数据管理等功能。

Apache Kudu架构相关推荐

独家 | 一文读懂Apache Kudu
前言 Apache Kudu是由Cloudera开源的存储引擎,可以同时提供低延迟的随机读写和高效的数据分析能力.Kudu支持水平扩展,使用Raft协议进行一致性保证,并且与Cloudera Impa ...
使用Apache Kudu和Impala实现存储分层
为什么80%的码农都做不了架构师?>>> 当为应用程序的数据选择一个存储系统时,我们通常会选择一个最适合我们业务场景的存储系统.对于快速更新和实时分析工作较多的场景,我们可能希 ...
Apache Kudu 简介
Introducing Apache Kudu Kudu是cloudera开源的运行在hadoop平台上的列式存储系统,拥有Hadoop生态系统应用的常见技术特性,运行在一般的商用硬件上,支持水平扩展 ...
Apache Kudu的介绍
一.Apache Kudu的介绍 1.1.背景介绍在kudu之前,大数据主要以两种方式存储: (1)静态数据 : 以HDFS引擎作为存储,适用于高吞吐量的离线大数据分析场景. 这类存储的局限性是 ...
Apache Kudu 1.9.0 发布，支持位置感知
开发四年只会写业务代码,分布式高并发都不会还做程序员? Apache Kudu 1.9.0 发布了,Kudu 是一个支持结构化数据的开源存储引擎,具有低延迟随机读取与高效分析读取模式.它基于 Ap ...
未明确定义列存储过程没问题_使用Apache Kudu和Impala实现存储分层
当为应用程序的数据选择一个存储系统时,我们通常会选择一个最适合我们业务场景的存储系统.对于快速更新和实时分析工作较多的场景,我们可能希望使用 Apache Kudu ,但是对于低成本的大规模可伸缩性场 ...
GOTC 大会预告 | Apache Pulsar PMC 成员翟佳：Apache Pulsar 架构设计与原理
关于全球开源技术大会全球开源技术大会(the global opensource technology conference, GOTC),是由开放原子开源基金会与 Linux 基金会联合开源中国社 ...
Apache Kudu 1.15.0的分布式集群部署
目录 1. 部署规划 2. 部署要求 2.1 硬件要求 2.2 软件要求 2.3 安装依赖 3. 从源码编译(kudu1上操作) 3.1 安装Red Hat Developer Toolset 3.2 ...
大数据Kudu（二）：Kudu架构
文章目录 Kudu架构一.Kudu存储模型及概念

最新文章

热门文章