腾讯海量数据处理平台TDW

TDW是腾讯海量数据处理平台中最核心的模块，它有以下几个作用：

提供海量的离线计算和存储服务。TDW是腾讯内部规模最大的离线数据处理平台，公司内大多数业务的产品报表、运营分析、数据挖掘等的存储和计算都是在TDW中进行。这是TDW提供的最基础的服务。
数据集中于共享功能。腾讯产品线较长，数据丰富，为了挖掘数据价值，经常需要访问多个产品的数据。TDW是腾讯公司级的数据仓库，这里集中了大多数业务的数据，业务在这里可以方便的进行数据共享和管理。
TDW为其他大数据服提供基础和平台。这有两个含义，首先是TDW对腾讯内部开放各种API接口，很多业务的数应用、数据处理平台可以基于TDW之上，由TDW提供最基础的存储于计算，业务在 TDW之上定制个性化的数据产品。其次，TDW内存放了腾讯大量有价值的数据，对于这些数据，各个业务有可能有一些不同的需求，这些需求可以抽象出一些固定的数据服务，如海量数据点查询、快速多维分析、流式计算等，这些服务是TDW衍生出来的精细化的服务。

与其他商业数据库比，当然是成本优势。与社区的hive+hadoop比，TDW包含了大量功能，稳定性和性能优化，并且经过了腾讯生产环境的验证。

在架构上，TDW并没有对开源软件做大的修改。TDW的存储和计算，主要采用hadoop的HDFS和MapReduce，TDW的SQL查询引擎主要基于Hive。

腾讯海量数据处理平台TDW相关推荐

七牛海量数据处理平台自研容器调度框架实践
大家晚上好,我是七牛云的布道师陈爱珍,主要负责容器技术的落地研究和布道,很高兴今晚可以在这里跟大家分享七牛云容器技术实践的经验. 今晚分享的是七牛云基于容器技术的海量数据处理平台实践.分享的内容包括三 ...
腾讯公司数据平台高级架构师郭玮：TDW在Hadoop上的实践分享
腾讯是一个巨无霸公司,我们日常的生活中已与它产生了千丝万缕的联系,不可避免的也产生了海量的数据,如何正确而快速地处理这些海量数据,腾讯数据平台高级架构师郭玮通过发表主题为"TDW在Hadoo ...
小d课堂-海量数据处理商用短链平台大课-课程资料xiaoecf
海量数据大课+架构课程简介: 技术栈: 微服务技术:新版SpringCloudAlibaba全家桶+SpringBoot2.5+Nacos2.x+MybatisPlus 缓存+MQ中间件+调度:Red ...
专访腾讯蒋杰：深度揭秘腾讯大数据平台
大数据,这个词越来越热,很多人都在谈大数据,其实很多张口闭口大数据的人,或许都不知道数据是如何产生.传递.存储.运算到应用的.其实我一直感觉大数据这个东西有时候真的不是一般企业可以玩的溜的,特别是随着 ...
腾讯大数据之TDW计算引擎解析——Shuffle
转自 https://www.csdn.net/article/2014-05-19/2819831-TDW-Shuffle/1 摘要:腾讯分布式数据仓库基于开源软件Hadoop和Hive进行构建,T ...
腾讯大数据之 TDW 计算引擎解析——Shuffle
腾讯分布式数据仓库基于开源软件Hadoop和Hive进行构建,TDW计算引擎包括两部分:MapReduce和Spark,两者内部都包含了一个重要的过程-Shuffle.本文对Shuffle过程进行解析 ...
大规模Hadoop集群实践：腾讯分布式数据仓库（TDW）
TDW 是腾讯最大的离线数据处理平台.本文主要从需求.挑战.方案和未来计划等方面,介绍了TDW在建设单个大规模集群中采取的 JobTracker 分散化和 NameNode 高可用两个优化方案. TD ...
99%的海量数据处理面试题
结构之法算法之道面试 & 算法 & 机器学习在线课程:julyedu.com 目录视图摘要视图订阅 Markdown那么好,还不来试试中国云计算大会最新议题 ...
10道海量数据处理的面试题
说明:本文分为俩部分,第一部分为10道海量数据处理的面试题,第二部分为10个海量数据处理的方法总结. 出处:http://blog.csdn.net/v_JULY_v. 第一部分.十道海量数据处理面试 ...

腾讯海量数据处理平台TDW

腾讯海量数据处理平台TDW相关推荐

最新文章

热门文章