摘要：2019杭州云栖大会大数据企业级服务专场，由斗鱼大数据高级专家张龙带来以 “混合云模式下 MaxCompute+Hadoop 混搭大数据架构实践” 为题的演讲。本文讲述了从 Apache Hadoop 阶段到 Cloudera CDH 阶段斗鱼大数据架构的发展历程。提出了上云过程中斗鱼遇到的问题和跳战，包括数据安全、数据同步以及迁移任务。概括了混合云模式给斗鱼带来资源效率更高和资源成本更低的变化。

精彩视频回放 >>>
以下为精彩视频内容整理：

斗鱼大数据架构发展历程

在2014年中期，斗鱼就开始使用大数据，最开始使用的是简单的HBase和Hadoop。在2015年，开始使用CDH运维大数据集群，主要针对可视化运维。在2017年的下半年，斗鱼开始接触阿里云大数据的一些产品，并且与其他产品做了对比。最终选择了阿里云的MaxCompute。

Apache Hadoop阶段

由于业务场景比较简单，组件较少，并且使用的人也少，但可以灵活的操作，同时集群规模较小，运维要求低，可以自由的利用开源，培养了许多人才。但在发展过程中也遇到了一些阻碍，例如：组件增多，运维成本高，业务增长快，集群扩容操作繁琐，人员增加，数据安全要求高，物理机操作，环境安全难保障。

Cloudera CDH阶段

斗鱼为何选择Cloudera CDH？原因主要有：首先，它能满足业务发展需要，多组件运维成本低，集群扩容操作简单，数据安全及环境安全有保障。其次，CDH在国内被广泛使用。最主要的一点是斗鱼的团队内部有CDH人才。

Cloudera CDH给斗鱼带来了许多便利，包括支持丰富的组件，不用考虑兼容性，可以通过CM统一管理，进行Web化管理，同时支持中文。另外，支持安全管理，以及对Kerberos安全认证。

自建集群遇到了发展瓶颈，涉及到资源效率问题和资源成本问题。资源效率问题包括资源预算审批慢、机器采购周期长以及机房部署效率低。资源成本问题包括机器资源成本高、机房成本高还不稳定以及闲时资源空置较多。

大数据上云的挑战

上云面临的挑战主要是如何保证数据安全，因为数据是企业核心的资源，安全性是非常关键的。其次是如何保持数据同步，是因为云上云下存在着海量数据。最后，因为云下存在大量的历史业务，那该如何将业务安全迁移到云上也是一个问题。

如何保证数据安全？

对于数据丢失的问题，阿里使用原始数据进行备份，这是很关键的。对于核心数据泄露问题，几率是很小的，因为泄露数据之后所要承担的风险远大于打败竞争对手所提供的收益。对于云环境面向外网，如何保证安全访问的问题，可以增加账号访问IP白名单及审计，设置公司内部才可访问。

如何保持数据同步？

由于每天会产生PB级历史数据和TB级数据增量。如何快速准确同步数据问题，可以使用数据同步工具，主要是基于DataX的改造。同时提高网络专线能力，增加多根专线，自动地进行异常切换，与云上平台业务进行隔离。利用数据校验工具，校验数据同步任务以及数据量。

如何安全迁移业务？

业务的安全迁移需要做到三个要求：1.不能引起故障，保证迁移可行性验证。2.迁移成本不能太高，业务侧尽量少改动。3.能上云也要能下云，尽量保证云上云下操作一致性。

为了做到不引起故障，要做到三个需要：需要做业务场景测试，保证业务场景全部覆盖到，并且能够识别能够迁移的业务场景。需要数据质量检验，确保相同业务云上云下产出数据的一致性。需要数据效率验证，确保云上任务数据产出时间，同时不影响业务。

如何保证较低的迁移成本？

斗鱼在IDC中运行的任务主要分两部分，第一部分是Java任务，占比很小，特点是基于封装的HiveClient工具进行查询计算。第二部分是XML配置化任务，特点是基于自定义XML文件，支持HiveSQL统计后导入其他存储。针对这些任务的特点，斗鱼也做了相应的改造。针对封装OdpsClient，可以将HiveClient改成OdpsClient，并且改Hive URL为云环境。针对加模板改URL，可以引入MaxCompute参数模型，改Hive URL为云环境。

为了保证能上云也能下云，第一，需要数据能上能下，就是前面提到的数据同步中心。第二，需要完善的配套工具，云上云下环境尽量透明化使用。第三，多使用通用功能，通过SQL+UDF能覆盖大部分场景。

混合云模式带来的变化

混合云模式带来的变化主要针对资源效率低，难以跟上业务发展，以及资源成本高，企业财务压力大两方面。在资源效率方面，从自建集群到MaxCompute有一些变化，包括提前半年或一年提预算变成按量付费，采购耗时1到3个月变成资源可以无限使用，机房上架1周以上变为无机房概念。相比于IDC自建集群，MaxCompute每年大概节约1000w成本，保障集群零故障。同时也有一些附加的收益，包括阿里云的专业服务，当遇到技术问题时可以请教阿里的专家来帮助解决，以及计算资源可以量化，可以知道钱花在哪些业务了，以及与阿里专家交流，帮助解决业务难题。

在自建机房时，斗鱼也做了一些开发，下图所示为数据开发，包括基于Hue的查询计算和云上的DataStudio数据开发，然后将Hue的API和DataStudio的API集中起来形成斗鱼的大数据开放平台，作用是可以提供给数据部门的人使用，也可以提供给业务部门的分析人员使用。

此外，斗鱼也做了一些实践，称为多活数据中心，如下图所示。斗鱼通过确立自建机房的数据和阿里云数据在这两个数据中心的角色，保证可以在多活数据中心的状态下支撑更多的业务。

混合云带来的变化总结起来，资源成本和资源效率是最大的两个变化，还有可量化的成本、增值服务、额外的专业服务等，不仅可以给我们自己部门人员用，还可以给其他业务部门的人来用，并且他们对使用成本也是直接可见的。以上就是我今天的分享，谢谢大家。

阿里云双11亿元补贴提前领，进入抽取iPhone 11 Pro：https://www.aliyun.com/1111/2019/home?utm_content=g_1000083110

原文链接
本文为云栖社区原创内容，未经允许不得转载。

混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践相关推荐

混合云模式助力斗鱼搭建混搭大数据架构
云栖号案例库:[点击查看更多上云案例] 不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策! 案例背景 2019杭州云栖大会大数据企业级服务专场,由斗鱼大数据高级专家张 ...
基于阿里云数加MaxCompute的企业大数据仓库架构建设思路
摘要: 数加大数据直播系列课程主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主题分享阿里巴巴的大数据是怎么演变以及怎样利用大数据技术构建企业级大数据平台. 本次分享嘉宾是来自阿 ...
从入门到进阶！当下火爆的大数据技术及算法怎么还能不知道一起来学习互联网巨头的大数据架构实践！
大数据被称为新时代的黄金和石油,相关技术发展迅猛,所应用的行业也非常广泛,从传统行业如医疗.教育.金融.旅游,到新兴产业如电商.计算广告.可穿戴设备.机器人等.大数据技术更是国家科技发展和智慧城市建设 ...
度小满金融大数据架构实践
导读:大数据架构在金融场景下面临着诸多挑战,从架构上而言,业务对数据加工.存储和使用的全链路服务提出了更细致的管控需求:从使用上而言,用户并不想理解大数据架构的具体实现和管控的细节,用户只想以更低的门 ...
技术分享 | 混合云模式下SaaS端前端最佳实践
导读:集成开放平台采用的是混合云部署架构,包含两个大的组件,管理控制台和引擎.管理控制台是SaaS的,部署在公有云,按租户隔离.引擎部署在客户私有云.一套SaaS版的管理控制台如何适配不同客户的引擎, ...
大数据Hadoop等大数据架构学习
一:大数据存储和计算系统 1.hadoop用于分布式存储和map-reduce计算. 2.spark用于分布式机器学习,Spark 是在 Scala 语言中实现的,与 Hadoop 不同,Spark ...
多云和混合云场景下的 API 管理：挑战与选择
作者张超,API7 Cloud 产品负责人,Apache APISIX PMC 成员. 原文链接一.多云和混合云如今微服务已经成为最流行的一种软件架构,人们通过自己对业务的理解,和科学方法(比如领 ...
AI+混合云模式，如何最大化挖掘数据价值？
9月8日,IBM举行了"科技一席谈"线上媒体访谈会,此次访谈以"数据与AI"为主题,由IBM 大中华区科技事业部.客户成功管理部总经理朱辉,IBM 中国混合云与 ...
新华智云基于MaxCompute建设媒体大数据开放平台
摘要:随着自媒体的发展,传统媒体面临着巨大的压力和挑战,新华智云运用大数据和人工智能技术,致力于为媒体行业赋能.通过媒体大数据开放平台,将媒体行业全网数据汇总起来,借助平台数据处理能力和算法能力,将有 ...

混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践

斗鱼大数据架构发展历程

大数据上云的挑战

混合云模式带来的变化

混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践相关推荐

最新文章

热门文章