MaxCompute存储力持续升级，每年节省不止一个亿

数据是开启全新洞察和机器智能创新的基础，拥有高性能、稳定、可扩展性强的存储能力和充沛的计算力，才能全面释放数据价值。

阿里巴巴大数据计算平台MaxCompute，作为阿里巴巴统一的计算平台，支持了整个阿里巴巴集团内部几乎99%的数据存储，数据规模已至EB级。同时，MaxCompute也在为数以万计的云上用户提供快速、完全托管的 GB到EB 级数据仓库解决方案，解决用户海量数据存储与计算问题。所以说，如何提高数据存储效率、稳定性、可用性，是MaxCompute存储团队不断努力的方向。

从MaxCompute整体存储架构来看，存储层处于MaxCompute Tasks和底层盘古分布式文件系统之间，提供统一的逻辑数据模型给各种各样的计算任务（包括SQL，XLib，Graph，PAI等），以保证数据在不同类型的Task之间可以互联互通，同时存储引擎提供逻辑数据模型到DFS的映射、数据编码压缩和文件存储格式、冷热数据分离与文件合并归档等方面的服务。

在本次存储升级中，MaxCompute利用新一代数据压缩算法提供更高压缩率，并且在不同数据集中都有极佳性能，持续提升MaxCompute存储和计算能力，带来存储费用的下降和计算性能的提升。

新压缩算法在10TB TPC-DS测试集下，压缩节省8.38%，计算节省4.35%。

从资源成本角度看，新压缩算法比原有算法快5.3%。

MaxCompute作为阿里巴巴的“水电煤”，数据规模巨大，数据的压缩率和压缩速度对整个平台的性能和成本都有着巨大的意义。MaxCompute存储团队采用新一代的压缩算法作为底层压缩的替代方案，为大规模数据存储和数据计算带来了巨大收益。

整体存储变化趋势

存储账单变化

经实践，在业务增长量不变的情况下，升级新一代数据压缩算法后，在阿里巴巴集团内部每年可节省存储费用可一个亿。

对于业务跑在MaxCompute上的公共云客户而言，本次存储升级无疑是阿里巴巴技术红利的又一次释放，为企业和开发者们提供具备更高存储效率、稳定性以及可用性的存储服务，降低存储成本的同时进一步提升计算性能。

一次升级，集团内外，每年节省不止一个亿。

接下来，MaxCompute会持续在存储加密、冷热数据分离与文件合并归档、文件格式支持AliOrc以及存储和计算的结合方面持续发力，用先进的技术不断打磨产品，为云上企业释放更多技术红利，帮助企业和开发者抓住更多市场机遇。

原文链接
本文为云栖社区原创内容，未经允许不得转载。

MaxCompute存储力持续升级，每年节省不止一个亿相关推荐

MaxCompute 存储设计
简介: 存储策略该怎么设计写这篇存储规划的文章主要是想告诉大家该如何给存储做一个规划,在关系数据库的时代存储昂贵且珍惜,掰手指头花钱是存储规划的常态.但是到了大数据时代大家又立即就都变成印美元的美国 ...
amazon rds 性能_Amazon S3 —云文件存储可提高性能并节省成本
amazon rds 性能 by Kangze Huang 黄康泽 Amazon S3 -云文件存储可提高性能并节省成本 (Amazon S3 - Cloud File Storage for Per ...
康卡斯特使持续升级，以有线电视
康卡斯特使持续升级,以有线电视有线电视已经有了比过去良好的声誉少,但也有一些事情,电缆做(并已完成),让有线电视值得研究了.已经做了最基本的一点是要拥抱数字电视技术.这看起来很初级,但它实际上有一些 ...
鲲鹏基础软硬件平台持续升级，赋能伙伴开发者用好鲲鹏
[中国,深圳,2022年6月16日]华为伙伴暨开发者大会期间,鲲鹏开发者峰会于6月16日在线上和线下同步举行.鲲鹏开发者峰会是面向鲲鹏计算产业全栈开发者的年度旗舰活动.本届峰会由华为主办,宝德.海量数 ...
4月第2周业务风控关注 | 持续升级的内容安全监管风暴
易盾业务风控周报每周呈报值得关注的安全技术和事件,包括但不限于内容安全.移动安全.业务安全和网络安全,帮助企业提高警惕,规避这些似小实大.影响业务健康发展的安全风险. 1. 内容安全监管持续升级自4 ...
百度智能云 x 小寻手表丨AI赋能，业务持续升级
能打电话能拍照,能视频辅导孩子学习,还可以远程定位.一键报警.如今,儿童手表正成为新一代的带娃神器,陪伴亿万小朋友们健康快乐成长. 其中,小寻手表作为高端儿童手表市场的佼佼者,一直以科技作为企业加速发 ...
27、HTML框架（同一个浏览器窗口中显示不止一个页面）
通过使用框架,你可以在同一个浏览器窗口中显示不止一个页面. <iframe src="https://www.17173.com/" width="500" ...
CPU高负载排查小技巧(2分钟速读版)，细心的优化可能为公司节省一个亿！
女主宣言服务优化是一个细心.漫长的过程,一个很小的优化不仅可以为用户带来更稳定更快速的互联网体验,也许还会为公司降低百万以上的成本.熟练掌握服务端排错技巧,已经是"匠心工程师"的 ...
Android 谷歌巨头,国际巨头强势助攻，谷歌新系统开始提速，华为的对手不止一个...
自从有移动电话开始,手机每年都在不断地发生变化,而智能机的雏形其实也是从诺基亚时代开始的.当年的诺基亚半智能手机搭载的是塞班系统,可以实现基本的软件安装.而随着苹果IOS和谷歌安卓的出现,塞班的辉煌时 ...

MaxCompute存储力持续升级，每年节省不止一个亿

MaxCompute存储力持续升级，每年节省不止一个亿相关推荐

最新文章

热门文章