亚马逊云科技Serverless数据分析，助力猎豹移动构建更高性价比数据仓库
也许你也听过这样一句话：“21世纪什么最贵？人才！”当数字经济全面席卷而来，这个问题的答案不可置否地变为了“数据”。通过数据分析获取近乎实时的洞察，以驱动业务的全流程，是企业数字化转型的必经之路。借助亚马逊云科技Serverless数据分析服务构建的端到端实时数仓解决方案，猎豹移动旗下的App用户埋点分析负载上的成本节省相较于之前减少30%，成功构建实时数仓。
机会：从数据中攫取机会
各类企业所管理的数据正在经历爆炸式增长。IDC研究表明，2022年到2024年三年间创建的数据量将超过过去30年创建的所有数据量，随着生成式AI技术的出现，更将进一步促进数据分析领域的高速发展。拥有数据对于企业来说是“双刃剑”，在积累大量数据的同时，通过聚合数据进行深入挖掘分析，用数据来驱动业务，用数据来支撑决策、用数据来推动业务和商业模式创新、推动业务流程优化，进而实现降本增效，才是重中之重。而猎豹移动就是这条路上的先行者。
猎豹移动（NYSE:CMCM）成立于2010年11月，公司致力于“在人机共存的世界里，用科技让生活更美好”。当前，猎豹移动正在从移动互联网向以AI驱动的产业互联网进行战略升级，以安全工具+AI机器人场景为核心，构建覆盖工具应用、移动娱乐、人工智能、机器人等行业企业在内的猎豹生态。
猎豹移动与亚马逊云科技的合作由来已久，早在2012年，猎豹移动就将海外推出的移动应用App Clean Master运行在亚马逊云科技上。2023年初，猎豹移动在海外发布了全新应用程序，并将其相关数据发送到猎豹移动的分析系统中，该系统基于一家云服务提供商的自有数据库产品和分析工具搭建，猎豹移动的运营团队可通过直接查询原有数据库进行业务分析。
但随着用户数据量的不断增加、数据复杂度的不断上升，原有云供应商的数据分析架构暴露出了以下问题：
● 第一，原数据库的计价模式是基于猎豹移动的运营团队和BI人员直接对数仓进行操作，而由于原有数据库的计价模式，该数据库产品是基于实际计算量和扫描量进行计费，而客户团队本身撰写查询语句的水平参差不齐，难以避免会出现浪费计算量和扫描量的查询语句，因此会造成成本不可控的风险。
● 第二，原数据库不能保证所有日志在一天内都会被摄取到数据库中，也无法保证实时摄入，当数据规模较大时，仅可以保证T+3，也就是说当天的数据内容，只有在摄入3天之后才能保证当天数据都可以在数据库中查询到，无法实现T+0或近实时工作负载。此外，原数据库行数每日超过2亿行时，还可能会出现丢失日志的问题，这为猎豹移动应用的推进带来了很大的压力。
因此，基于与亚马逊云科技建立的长久友好合作关系，猎豹移动将用户行为数据分析工作负载的迁移任务交到了亚马逊云科技手中。
解决方案：利用Amazon Redshift流式摄取构建实时数仓
亚马逊云科技根据客户特点和需求，迅速构建了基于Amazon Redshift的无服务器数据分析解决方案，客户采用此解决方案进行PoC验证测试，测试结果显示，该解决方案可以解决猎豹移动的所有问题。自此，客户决定将他们的整个用户行为分析工作负载迁移到亚马逊云科技上。
保障数据完整性，实现海量数据量级的近实时分析能力
该解决方案通过将Nginx日志推送到Vector然后发送至Amazon Kinesis Data Streams中，并通过Amazon Lambda函数从Amazon Kinesis Data Streams中消化流式数据，运行ETL进程，并将处理后的数据存储在Amazon S3中，并通过Amazon S3再次触发第二个Amazon Lambda函数将数据复制到Amazon Redshift云数据仓库中。流式摄取可以帮助用户以极低延迟，在几秒钟内将数百MB数据摄取到Amazon Redshift云数据仓库集群，丢失数据的可能性大大降低。此外，该解决方案提供了新的近实时数据分析能力，这种流式数据使用方式，查询速度从原有的“T+3”级别的按天计算的数据查询，到现在的分钟级别，实现了指数级的性能提升。
从容应对动态负载且成本可控，尽在Serverless
Amazon Redshift Serverless是Amazon Redshift Serverless的无服务器版，作为一种快速、可扩展、安全且完全托管的云数据仓库，可从容应对动态工作负载。Amazon Redshift可以帮助用户通过标准SQL语言简单、经济地分析各类数据，实现高达3倍的性能价格比，它不仅可以基于自身内部表进行数据分析，还可以查询Amazon S3中的数据，Amazon Redshift与Amazon S3可以无缝结合，实现部分智能湖仓架构。针对于客户担心的成本问题，Amazon Redshift Serverless版只需为数据仓库在活动时消耗的计算容量付费，并且客户可以根据RPU（Redshift处理单元）设置Base和Max指标，去控制数据仓库的性能和成本，从而实现高度成本可控。
数据分析师和数据工程师友好的查询编辑器
Amazon Redshift Query Editor v2.0是一款基于Web的SQL客户端应用程序，可以使用它在Amazon Redshift数据仓库上创作和运行查询。客户可以选择使用图表直观显示查询结果，并通过与团队成员共享查询来进行协作。该编辑器支持一次运行多条SQL语句，并允许在结果窗格的单独选项卡中查看每条语句的结果。不管是数据分析师或数据工程师，猎豹移动的团队成员都可以在查询中使用会话变量和临时表，此外，Amazon Redshift Query Editor v2.0支持运行长时间运行的查询，而不必让浏览器窗口保持打开状态，稍后在24小时内检索结果。
成果：迁移后的全栈无服务器数据分析实现30%成本降低
更灵活、更易用的数据分析
通过亚马逊云科技Serverless无服务器数据分析解决方案，猎豹移动将批处理分析能力进一步拓展为近实时分析能力，并以低延迟高吞吐量的方式访问自己存储在数据仓库中的流式数据。
成本可控下的极致性价比
无服务器架构下的数据分析工作负载真正做到了极致性价比，Amazon Redshift无服务器自动扩展功能便于我们利用Amazon Redshift的速度从容应对甚至是最为动态的工作负载，并且仅需按实际使用量付费。在客户预期未来将处理的每天20TB新日志时，数据摄取部分的成本比原有云供应商的解决方案更成本友好。“迁移到基于亚马逊云科技Serverless产品构建的实时数仓后，该App团队在用户分析负载上的成本节省相较于之前减少30%。”猎豹移动技术总监韩峰说。
坚持客户拥有和控制数据的理念，提供数据全生命周期加密保护
亚马逊云科技严格遵循客户拥有和控制数据的理念，因而，猎豹移动对自己的数据拥有完整控制权，可以用任何想用的方式管理私有数据。亚马逊云科技提供了复杂的技术和物理措施来防止未经授权的访问，并以超高的数据隐私和安全标准构建数据相关服务。此外，亚马逊云科技还提供数据全生命周期的加密服务，涵盖了数据的存储、传输以及使用各个环节。
此次Serverless数据库迁移只是猎豹移动和亚马逊云科技在该领域的初次尝试。未来，猎豹移动将对之前的应用做逐步迁移，并计划将更多新的应用负载直接原生构建在亚马逊云科技上。
亚马逊云科技Serverless数据分析，助力猎豹移动构建更高性价比数据仓库相关推荐
- 亚马逊云科技Serverless构建的实时数仓解决方案，助力猎豹降低30%成本
也许你也听过这样一句话:"21世纪什么最贵?人才!"当数字经济全面席卷而来,这个问题的答案不可置否地变为了"数据".通过数据分析获取近乎实时的洞察,以驱动业务的 ...
- 对话西门子Mendix：低代码与亚马逊云科技Serverless的底层融合，助力企业提效降本...
数据智能产业创新服务媒体 --聚焦数智 · 改变商业 3月30日 亚马逊云科技举办了主题为"全面拥抱Serverless时代"的创新大会,分享了亚马逊云科技17年引领Server ...
- 亚马逊云科技赋能数据分析，完成最后一块拼图
Serverless时代已经到来!企业的技术架构,总是伴随着不断增长的数据与日趋复杂的业务持续演进.如何通过构建更易用的技术架构来聚焦在业务本身,而不必在底层基础设施的管理上投入过多的精力,是数据驱动 ...
- 基于亚马逊云科技 Serverless架构的实时数仓架构
近年来,各级政府和企业响应数字化转型的号召,都已开始或者即将开始数字化转型.各类企业通过前期的业务线上化.信息化,积累了大量数据,而数字化转型就是要聚合这些数据,进行深入挖掘分析,用数据来驱动业务,用 ...
- WirelessCar如何借助亚马逊云科技打造车联网平台的高弹性和高可用
WirelessCar成立于1999年,专注汽车行业,为全球100个国家和地区的客户提供数字服务,在汽车行业和电信技术领域之间搭建起关键数字桥梁,创建一站式的汽车移动电子服务平台. 作为最早洞见车联网 ...
- 【观察】亚马逊云科技：探索Serverless创新的“无人区”
毫无疑问,从2006年发展至今的公有云,堪称是云计算的黄金时代.在此过程中,云计算领域涌现出了很多改变传统IT架构和运维方式的新技术,特别是Serverless(无服务器计算)架构的出现,更带来了一次 ...
- 云原生之上，亚马逊云科技发布多项容器与Serverless服务，持续发力现代化应用
· 亚马逊云科技持续发力现代化应用领域,在中国区域新推多项容器与Serverless服务及功能 · 在中国区域推出Amazon ECS Anywhere.Amazon Lambda容器镜像功能以及Am ...
- 亚马逊云科技助力学习者轻松开启云计算知识学习之旅
近日,亚马逊云科技宣布推出两项全新的免费培训计划,以具有趣味性和互动性的形式,助力学习者轻松开启云计算知识学习之旅.其中,"亚马逊云科技CloudQuest:云从业者"可为学习者带 ...
- 让支付更简单，亚马逊云科技助力连连国际实现跨境无界支付
连连国际是连连数字旗下品牌,致力于为全球企业.机构与个人搭建数字化的支付与服务协作网络.开展全球跨境业务,助力企业提升全球竞争力. 作为跨境交易的最后一个关口,跨境支付在其中起着非常重要的作用.支付流 ...
最新文章
- 设计模式之中介者模式(Mediator)摘录
- 浅谈常用的Web安全技术手段
- dpdk 18 ixgbe驱动初始化分析
- 电脑硬件：磁盘、RAID知识，网卡概念与主流硬件产品知识介绍
- ambari mysql 密码_Ambari 切换 mysql 数据库
- 京东云无线宝AX6600新品发布 预售价799元
- Alien Skin Exposure X6 mac汉化免费插件包胶片滤镜新功能介绍
- Tensor for argument #2 ‘mat1‘ is on CPU, but expected it to be on GPU (while checking arguments for
- 大数据Spark框架概述
- cad化工设备绘图_化工CAD制图基础篇，管道布置图学起来
- 任天堂switch通过v2某yN实现网络访问
- python中geometry_python shapely.geometry.polygon任意两个四边形的IOU计算实例
- 关于 el-table-column type属性
- 重庆实时路况（基于百度MAP API）
- android中64位手机,我们需要64位Android手机吗？
- Tornado之模板
- 微信小程序 todolist
- c语言中int下小数求余大数,Sicily1020-大数求余算法及优化
- 排版设计之统一元素间隔
- 【74期】面试官：对多线程熟悉吗，来谈谈线程池的好处？