比世界纪录快3倍阿里云377秒完成100TB数据排序

本文讲的是 比世界纪录快3倍阿里云377秒完成100TB数据排序，10月28日，Sort Benchmark在官方网站公布了2015年排序竞赛的最终成绩。阿里云用不到7分钟（377秒）就完成了100TB的数据排序，打破了Apache Spark的纪录23.4分钟。Sort Benchmark是全球科技公司的计算奥运会，更早之前Hadoop的记录是72分钟。

Sort Benchmark的排序竞赛包含4项比赛，其中GraySort和MinuteSort主要评测计算系统的规模和效率，是4项比赛中含金量最高的两项。每一项比赛又分通用目的排序（Daytona）和专用目的排序（Indy）两个类别。阿里云飞天分布式计算系统，在这两项重量级比赛中打破了全部4项世界纪录。

GraySort评测的是超大规模数据量排序的速度。飞天用了377秒对100TB数据完成排序，也就是说1分钟能够完成15.9TB的数据排序。去年Apache Spark成绩为4.35TB/分钟。MinuteSort评测的是系统在1分钟内能够完成排序的数据量。飞天用1分钟完成了对7.7TB数据的排序，去年冠军三星为3.7TB。

阿里云首席架构师唐洪表示，排序是最基础的计算问题。100TB排序，是把1万亿条无规律的100字节纪录，严格按照从小到大的顺序排序，考验分布式系统中存储、调度、通信等各个子系统的性能，能够反映出一个平台的整体计算能力。GraySort和MinuteSort这两项比赛，充分证明了阿里云在计算方面的核心能力。“未来视频、音频数据、生物数据等非结构化数据将爆发式增长，我们需要在最短的时间、用最小的资源计算准确。面对大数据，如何算得快、算得准、算得起？这是未来云计算的核心能力。”

Sort Benchmark是一个专门从事排序基准评估的非盈利机构，该机构每年都会举办一次国际顶级排序基准评估比赛，被认为是计算界的奥运会。全球顶尖公司和学术机构都会带着他们最新的研究成果来参加，以评估他们的研究成果。

原文发布时间为：十月 28, 2015
本文作者：aqniu
本文来自云栖社区合作伙伴安全牛，了解相关信息可以关注安全牛。
原文链接：http://www.aqniu.com/industry/11226.html

比世界纪录快3倍阿里云377秒完成100TB数据排序相关推荐

每日新闻：第四范式陈雨强：AI落地有两大瓶颈；日本拟研发新一代超算比世界第一快100倍...
点击关注中国软件网最新鲜的企业级干货聚集地趋势洞察 2018中国软件生态大会西安站就要与您见面啦! 点击文末[阅读原文]了解更多喔趋势洞察第四范式陈雨强:AI落地有两大瓶颈第四范式联合创始 ...
阿里云贾扬清：大数据+AI工程化，让数据从「成本」变为「资产」
简介:近年来,数字经济发展迅速,企业转型背后频频涌现「数字力量」的身影.云计算.大数据.人工智能的快速融合形成了数字经济的新基建,也为数字经济发展带来了新的机遇. 近年来,数字经济发展迅速,企业转型背 ...
2月28日云栖精选夜读 | 阿里云率先达成国家绿色数据中心标准，平均PUE低于1.3...
近日,工业和信息化部.国家机关事务管理局.国家能源局三部门联合印发了<关于加强绿色数据中心建设的指导意见>,提出到2022年全国新建大型.超大型数据中心PUE需达到1.4以下.记者了解到, ...
周博通 | 阿里语音AI入选MIT“全球十大突破技术”；阿里云率先达成国家绿色数据中心标准；iOS协程开发框架coobjc开源...
阿里妹导读:雪融化了,春天还会远吗? 天气渐暖,"惊蛰"将至,春雷渐来,冬眠的动物们也将陆续活动开,年后第一期的周博通也整装再发.重新上线啦,希望你会喜欢. 周博通中国唯一上 ...
互联网下半场的角逐，玩转轻资产的大数据服务 | 阿里云栖开发者沙龙大数据专场（北京站）干货集锦...
2019独角兽企业重金招聘Python工程师标准>>> 2019年1月18日下午,一个晴冷的冬日,由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的"阿里云栖 ...
互联网下半场的角逐，玩转轻资产的大数据服务 | 阿里云栖开发者沙龙大数据专场（北京站）干货集锦
2019年1月18日下午,一个晴冷的冬日,由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的"阿里云栖开发者沙龙大数据技术专场"走近北京联合大学.当日,近200名大数 ...
阿里云服务器如何简单的迁移数据？阿里云通过镜像实现在线数据复制克隆
阿里云服务器如何简单的迁移数据?阿里云通过镜像实现在线数据复制克隆 1.相同阿里云账号下 2.服务器没有到期 3.不改变现有数据(包含不局限于操作系统) 实现目的:阿里云服务器如何简单的迁移数据?阿里 ...
Python3树莓派连接阿里云物联网设备发送接收数据
Python3连接阿里云物联网设备发送接收数据(树莓派) 阿里云物联网IOT 代码部分库文件 Windows下安装环境树莓派安装环境可能遇到的错误代码效果展示阿里云物联网IOT 首先,准备 ...
阿里云EasyExcel读写excel表数据
阿里云EasyExcel读取excel表数据 1.待读取的excel表test.xls 2.导入Maven依赖 <dependency><groupId>com.alibaba ...

比世界纪录快3倍阿里云377秒完成100TB数据排序

比世界纪录快3倍阿里云377秒完成100TB数据排序相关推荐

最新文章

热门文章

比世界纪录快3倍 阿里云377秒完成100TB数据排序

比世界纪录快3倍 阿里云377秒完成100TB数据排序相关推荐

最新文章

热门文章

比世界纪录快3倍阿里云377秒完成100TB数据排序

比世界纪录快3倍阿里云377秒完成100TB数据排序相关推荐