阿里巴巴大数据运维平台实践

作者介绍：矮鱼，2012年开始从事互联网，现负责阿里大数据计算服务保障和平台研发，在运维领域内有丰富经验积累。秉承 "Service unavailable? Our problem, whatever the reason"的理念，致力于保证线上稳定性和推进团队平台产品的迭代演进。

MaxCompute是阿里巴巴内部唯一的大数据处理平台，且在全球十几个地区提供公有云服务，并为上百家专有云输出计算能力。

作为支撑如此庞大系统的SRE团队，要面对的是EB级数据，TB级带宽，上百万块硬盘，还有上万的客户发工单。

我们在全流程的发布管理，全球的配置同步，高效的监控感知等基础运维领域都实现了高度的自动化。同时，从底层硬件到上层应用各个环节，我们掌握并分析使用了大量的数据来帮助我们突破传统思路的局限。

本次聚焦于近期在平台落地的几项成果，多地域的容量线性规划调优，硬件故障发现及自愈，运行作业的数据化诊断，分享我们在构建下一代运维平台的探索和思考。

幻灯片

更多交流咨询欢迎加入“MaxCompute开发者社区”钉钉群，群号： 11782920，或扫描二维码入群。

作者：矮鱼阅读原文

阿里巴巴大数据运维平台实践相关推荐

魅族大数据运维平台实践
一.大数据平台介绍 1.1大数据平台架构演变如图所示魅族大数据平台架构演变历程: 2013年底,我们开始实践大数据,并部署了测试集群.当时只有三个节点,因为我们起步比较晚,没有赶上Hadoop1.0 ...
从 OpenStack 到 Mesos 再到 Kubernetes, 携程容器云自动化运维平台实践\n
随着虚拟化技术和云计算技术的普及,IT互联网基础设施发生了很大的变化,底层的计算.存储.网络等资源也越来越复杂,需要有平台能管理好这些资源,尽量将工作流程自动化,将运维人员从繁重的手动工作中解救出来. ...
中通消息服务运维平台实践（已开源）
中通快递每天有数千万的运单在各个环节运转,每个环节都有对应的多套业务系统来支撑,业务系统之间上下游关系较为密切,从上游的客户订单到下游转运.结算.分析等每个环节都离不开消息中间件,它主要解决了系统之前 ...
爱奇艺CDN运维平台实践
CDN的全称是Content Delivery Network,即内容分发网络.它是构建在现有网络基础之上的智能虚拟网络,依靠部署在各地的边缘服务器,通过中心平台的负载均衡.内容分发.调度等功能模块, ...
GOPS 2021 上海站《钟炯恩大数据云原生运维平台实践》
https://github.com/alibaba/SREWorks
基于容器的全链路运维平台实践
经历过去 O.静态化.异地多活.全链路压测.双 11 等多个高可用项目之后呢,我就会去思考说我们能不能把这些高质量的架构通过产品化的方式,让阿里之外的公司也能够享受到这样优质的架构,而且不需要踩我们之 ...
大数据运维实战第一课大话 Hadoop 生态圈
你好,欢迎来到<大数据运维实战>专栏. 入行以来,我从事大数据运维也有十多年了,期间我做过系统运维.DBA,也做过大数据分析师,最后选择了大数据运维方向,曾设计并管理超过千台.PB 级的数 ...
阿里巴巴云原生大数据运维平台 SREWorks 正式开源
简介:阿里巴巴云原生大数据运维平台 SREWorks,沉淀了团队近10年经过内部业务锤炼的 SRE 工程实践,今天正式对外开源,秉承"数据化.智能化"运维思想,帮助运维行业更多的从 ...
SDCC 2016系列全回顾：数据库大数据运维架构（附PPT下载）
2016年9月22日-23日,SDCC2016大数据技术&架构实战峰会将在杭州举行,两场峰会大牛讲师来自阿里.京东.苏宁.唯品会.美团点评.游族.饿了么.有赞.Echo等知名互联网公司,共同探 ...

阿里巴巴大数据运维平台实践

阿里巴巴大数据运维平台实践相关推荐

最新文章

热门文章