HBase 在滴滴出行的应用场景和最佳实践

2024-05-08 19:38:34

背景

对接业务类型

HBase 是建立在 Hadoop 生态之上的 Database，源生对离线任务支持友好，又因为 LSM 树是一个优秀的高吞吐数据库结构，所以同时也对接了很多线上业务。在线业务对访问延迟敏感，并且访问趋向于随机，如订单、客服轨迹查询。离线业务通常是数仓的定时大批量处理任务，对一段时间内的数据进行处理并产出结果，对任务完成的时间要求不是非常敏感，并且处理逻辑复杂，如天级别报表、安全和用户行为分析、模型训练等。

多语言支持

HBase 提供了多语言解决方案，并且由于滴滴各业务线 RD 所使用的开发语言各有偏好，所以多语言支持对于 HBase 在滴滴内部的发展是至关重要的一部分。我们对用户提供了多种语言的访问方式：HBase Java native API、Thrift Server（主要应用于C++、PHP、Python）、JAVA JDBC（Phoenix JDBC）、Phoenix QueryServer（Phoenix 对外提供的多语言解决方案）、MapReduce Job（Htable/Hfile Input）、Spark Job、Streaming 等。

数据类型

HBase 在滴滴主要存放了以下四种数据类型：

统计结果、报表类数据：主要是运营、运力情况、收入等结果，通常需要配合
Phoenix 进行 SQL 查询。数据量较小，对查询的灵活性要求高，延迟要求一般。
原始事实类数据：如订单、司机乘客的 GPS 轨迹、日志等，主要用作在线和离线的

HBase 在滴滴出行的应用场景和最佳实践相关推荐

HBase在滴滴出行的应用场景和最佳实践
来源:极客头条,作者:李扬,滴滴出行资深软件开发工程师.2015年加入滴滴出行基础平台部,主要负责HBase和Phoenix以及相关分布式存储技术.在滴滴之前,曾在新浪担任数据工程师,专注于分布式计算 ...
案例篇-HBase 在滴滴出行的应用场景和最佳实践
1.背景 ** 1.1 对接业务类型** HBase 是建立在 Hadoop 生态之上的 Database,源生对离线任务支持友好,又因为 LSM 树是一个优秀的高吞吐数据库结构,所以同时也对接了很多 ...
hbase 页面访问_HBase在滴滴出行的应用场景和最佳实践
背景对接业务类型 HBase是建立在Hadoop生态之上的Database,源生对离线任务支持友好,又因为LSM树是一个优秀的高吞吐数据库结构,所以同时也对接了很多线上业务.在线业务对访问延迟敏感, ...
【中台实践】滴滴大数据研发中台的最佳实践.pdf（附下载链接）
今天给大家分享滴滴高级技术专家曾文秋在2019中国大数据技术大会(BDTC)上做的分享<滴滴大数据研发中台的最佳实践.pdf>,分享包括四个方面:1.滴滴大数据发展史:2.一站式大数据研发 ...
聊聊 Kafka：Kafka 消息重复的场景以及最佳实践
一.前言上一篇我们讲了聊聊 Kafka:Kafka 消息丢失的场景以及最佳实践,这一篇我们来说一说 Kafka 消息重复的场景以及最佳实践. 我们下面会从以下两个方面来说一下 Kafka 消息重复 ...
阿里技术专家：数据一致性检测的应用场景与最佳实践
点击上方"朱小厮的博客",选择"设为星标" 后台回复"书",获取后台回复"k8s",可领取k8s资料来源:阿里巴巴中 ...
京东云分布式链路追踪在金融场景的最佳实践
微服务是近几年最流行的软件架构设计理念,和容器.devops一起构成了云原生的技术基础.微服务源于对产品快速交付的市场诉求,通过采取一系列的自动化测试.持续集成等敏捷开发实践,激活了组织效率,也增强了 ...
智能投放系统之场景分析最佳实践
美团点评作为业内最大的O2O的平台,以短信/push作为运营手段触达用户的量级巨大,每日数以千万计. 美团点评线上存在超过千万的POI,覆盖超过2000城市.2.5万个后台商圈.在海量数据存在的前提下 ...
webworker应用场景_典型应用场景 · OpenResty最佳实践-最新版 · 看云
# 典型应用场景可以这样说,任何一个开发语言.开发框架,都有它存在的明确目的,重心是为了解决什么问题.没有说我们学习一门语言或技术,就可以解决所有的问题.同样的,`OpenResty`的存在也有其自 ...

最新文章

热门文章