为数据计算提供强力引擎，阿里云文件存储HDFS v1.0公测发布

2019独角兽企业重金招聘Python工程师标准>>>

在2019年3月的北京云栖峰会上，阿里云正式推出全球首个云原生HDFS存储服务—文件存储HDFS，为数据分析业务在云上提供可线性扩展的吞吐能力和免运维的快速弹性伸缩能力，降低用户TCO。阿里云文件存储HDFS的发布真正解决了HDFS文件系统不适应云上场景的缺陷问题，用户无须花费精力维护和优化底层存储。
云时代，通过借助虚拟化技术，大数据分析的计算框架在云上逐渐实现了快速部署和弹性伸缩。但是作为数据底座的HDFS文件系统，它在设计之初并没有考虑到上云场景。其数据的扩缩容、故障硬件排除都依赖大量手工运维，因此其服务质量难以保证。在随着其他计算引擎一起弹性部署时，HDFS会成为整个计算框架的短板，限制了业务的整体弹性伸缩能力，增加了规划和运维难度。

为响应用户在云上使用HDFS的诉求，文件存储HDFS应运而生。产品设计方面，得益于文件存储HDFS兼容标准Hadoop文件接口，基于HDFS进行开发的分析服务无须进行改造即可直接连接文件存储HDFS进行数据分析，可作为serverless计算架构的后端数据引擎。用户无须花费精力维护和优化底层存储，聚焦在计算和业务本身。
用户场景方面，文件存储HDFS的多租户和权限控制能力可以有效支撑企业内部多业务数据管理的场景。用户可以将生产集群的数据直接写入文件存储HDFS，也可以将存储在自建HDFS、阿里云OSS、文件存储NAS中的数据导入到文件存储HDFS，再利用Spark/Mapreduce/Flink/Hive/Tensoflow等不同的分析框架对文件存储HDFS上的数据进行处理，处理结果可以按需输出到不同的系统中。广泛用于实时统计与分析、离线用户画像、实时分析、机器学习等业务场景中。

技术能力方面，作为聚焦大数据分析场景的云存储产品，文件存储HDFS针对计算中最关注的吞吐性能进行了软硬一体的优化，提供远超自建HDFS的吞吐能力。在模拟离线分析场景的Terasort测试中，在使用同等数量的CPU和内存的情况下，用文件存储HDFS替代HDFS可以使整体的分析性能提升一倍。

原文链接

本文为云栖社区原创内容，未经允许不得转载。

转载于:https://my.oschina.net/u/3889140/blog/3031379

为数据计算提供强力引擎，阿里云文件存储HDFS v1.0公测发布相关推荐

阿里云文件存储和自我管理的云解决方案的TCO比较
阿里云文件存储是一种完全托管的文件存储服务. 很多客户也会使用第三方软件搭建自我管理的云解决方案. 本文重点从总体拥有成本(TCO)的角度,对这两种文件存储服务进行比较. 使用阿里云文件存储服务的总拥 ...
阿里云文件存储NAS使用教程
关于阿里云文件存储NAS的详细了解: 阿里云文件存储NAS使用教程 (阿里云文件存储(Network Attached Storage,简称NAS)是面向阿里云ECS实例.HPC和Docker的文件存 ...
阿里云文件存储的高性能架构演进之路
10月27日下午,2018中国计算机大会上举办了主题"数据中心计算"的技术论坛,一起探讨解决数据中心所面临的挑战.论坛上,阿里云分布式存储团队高级技术专家田磊磊进行了<阿里云 ...
阿里云文件存储NAS和对象存储OSS区别对比如何选择？
阿里云对象存储OSS和文件存储NAS有什么区别?文件存储NAS和对象存储OSS如何选择?NAS是传统的NFS挂载共享文件夹,OSS可以使用RESTful API,阿里云百科从技术.使用方式.容量.存储 ...
阿里云文件存储NAS简介和购买流程
阿里云文件存储NAS是一个可共享访问,弹性扩展,高可靠,高性能的分布式文件系统.兼容POSIX文件接口,可支持上千台弹性计算ECS.容器服务ACK等计算节点共享访问,您无需修改应用程序,即可无缝迁移业 ...
刚刚，阿里云知行动手实验室正式开放公测了
来源|阿里巴巴云原生公众号经常去 GitHub 看 trending 开源项目源码,明明都看得懂,为什么感觉对技术提升不明显? B 站热门教程都学了,极客时间也氪金了,听的时候觉得头头是道,到自己写 ...
modelsim 各版本网盘_阿里云盘官方下载-阿里云盘最新版本 v1.0.1
阿里云盘app下载分享,阿里云盘是一款非常实用的手机云存储服务软件,原名为"阿里云网盘",存储空间大,操作速度快,非常便捷好用,欢迎下载使用~ [软件简介] 阿里云网盘是阿里云团队 ...
阿里云文件存储NAS跨账号挂载
文件存储NAS跨账号挂载应用场景默认场景下,阿里云NAS只支持挂载到同账号下的ECS,但时常会有同一个企业用户下对应有多个UID账号,用户由于业务需要不同账号下的ECS和NAS间能进行数据互访.其实 ...
阿里云文件存储极速型NAS产品介绍

为数据计算提供强力引擎，阿里云文件存储HDFS v1.0公测发布

为数据计算提供强力引擎，阿里云文件存储HDFS v1.0公测发布相关推荐

最新文章

热门文章