alluxio2.0特性-预览
项目地址
https://github.com/Alluxio/alluxio/tree/branch-2.0-preview
2.0版本-构思和设计
支持超大规模数据工作负载
Alluxio作为计算和存储之间的数据编排层,使数据移动并且可以跨多个不同的存储系统访问:HDFS,对象存储,网络附加存储,随着时间的推移,Alluxio需要的元数据支持规模 提供可以轻松超过最大的Hadoop部署。 特别是元数据管理被认为是Hadoop的弱点,但Alluxio应该将元数据管理变成一种优势。
更友好的数据工程界面
Alluxio的创建重点是基于Hadoop的计算工作负载。 但是多年来,数据密集型计算工作负载的数量和类型已经爆炸式增长,并且在现有数据或新数据存储系统上实现这些工作负载的数据编排和工程设计非常重要。 特别是,在机器学习和深度学习培训之前,需要许多数据工程,包括手动数据移动。 Alluxio应该通过为数据科学家提供本地已知API同时减少所需的数据工程来大大简化这一过程。
使存储和计算更加分离
整个企业中的数据孤岛只会随着跨多个Hadoop集群的数据而增加,越来越多地存在于许多不同的对象存储中,并且在一些情况下存储在内部或公共云中。 这使得计算与数据分解变得更加困难,因为数据处理被移动到与存储数据的位置不同的位置时,数据位置和访问受到严重影响。 Alluxio应该通过抽象存储同时使数据更易于访问,继续实现计算和存储的分离。
2.0版本-进步和功能
Alluxio 2.0包含许多增强功能,以支持项目的设计目标,所有开源都将包含在Community Edition中!
支持超大规模数据工作负载
- 支持超过10亿个文件 - 2.0引入了分层元数据管理的新选项,以支持具有超过10亿个文件的单个群集部署。我们使用RocksDB进行非堆存储,现在是默认的。热数据的元数据继续存储在堆上的进程内存中,而其余元数据由进程内存外的Alluxio管理。 alluxio.master.metastore可以配置为仅更改为堆。
- 高度分布式数据服务 - 2.0引入了Alluxio作业服务,这是一种分布式集群服务,现在可以使用复制,持久性,交叉存储移动和分布式负载等数据操作,从而实现高性能和大规模扩展。看一下Alluxio支持的所有文件系统API。
- 增强数据局部性的自适应复制 - 为自动管理的Alluxio中存储的数据副本配置范围的新功能。 alluxio.user.file.replication.max和alluxio.user.file.replication.min可用于指定范围。可在此处找到所有用户配置的完整列表
- 嵌入式日志的高可用性 - 文件和对象元数据的新容错和高可用性模式称为嵌入式日志,它使用RAFT一致性算法,独立于任何其他外部存储系统。这对于抽象对象存储特别有用。了解如何在此配置嵌入式日记
在任何存储上启用机器学习和深度学习工作负载
机器学习和深度学习框架需要从Hadoop和对象存储中提取数据,这通常是一个非常手动且耗时的过程。
- Alluxio POSIX API Alluxio的FUSE功能支持POSIX兼容API,因此TensorFlow,Caffe和其他基于Python的模型等框架可以使用传统的文件系统访问通过Alluxio直接访问任何存储系统中的数据。了解有关POSIX API的更多信息。
更好的存储抽象,实现完全独立和弹性的计算
- 支持不同版本的HDFS集群 - 数据的爆炸性增长导致企业拥有许多数据孤岛,包括跨多个不同版本的多个Hadoop集群。目前,跨这些集群的统一访问非常困难。使用Alluxio 2.0,用户可以使用Alluxio的任何版本连接到多个HDFS集群,并统一数据访问。在此处查找支持的HDFS版本列表。
- 与Hadoop主动同步 - 新功能与HDFS iNotify集成,可更新存储在Hadoop中的文件所发生的任何数据和元数据更改,允许应用程序通过Alluxio访问数据,以主动接收最新更新。
原文地址:https://www.alluxio.com/blog/announcing-alluxio-20-preview-enabling-hyper-scale-data-workloads-in-the-cloud
转载于:https://www.cnblogs.com/victor2302/p/10519450.html
alluxio2.0特性-预览相关推荐
- TensorFlow 2.0开发者预览版发布
整理 | Jane 出品 | AI科技大本营 从去年 8 月 Google 公开发布消息正在研发 TensorFlow 2.0 ,让我们在 12 月 提前看到了一些 高级 API 的变化,今天我们终于 ...
- nacos配置ap_Nacos 1.0.0 功能预览
本文来自于我的个人主页:Nacos 1.0.0 功能预览,转载请保留链接 ;) Nacos 1.0.0 是正式 GA 的版本,在架构.功能和API设计上进行了全方位的重构和升级,1.0.0版本标志着N ...
- android beta项目官方页面,安卓7.0开发者预览版如何安装?Android Beta项目正式上线...
谷歌现在越来越不按常理出牌了,今天早些时候,他们已经提前秀出了Android 7.0.从最新亮相的Android N开发者预览版来看,谷歌进行了一些调整,但更重要的是,增加了一些新的功能,比如分屏.新 ...
- Flink 1.14 新特性预览
简介: 一文了解 Flink 1.14 版本新特性及最新进展 本文由社区志愿者陈政羽整理,内容源自阿里巴巴技术专家宋辛童 (五藏) 在 8 月 7 日线上 Flink Meetup 分享的<Fl ...
- 【Flink】Flink Flink 1.14 新特性预览
1.概述 转载:Flink 1.14 新特性预览 简介: 一文了解 Flink 1.14 版本新特性及最新进展 本文由社区志愿者陈政羽整理,内容源自阿里巴巴技术专家宋辛童 (五藏) 在 8 月 7 日 ...
- TensorFlow 2.0开发者预览版放出!上手尝鲜可以开始了
问耕 发自 凹非寺 量子位 出品 | 公众号 QbitAI 下一代TensorFlow终于可以尝鲜了. 今天凌晨,谷歌AI团队的Martin Wicke在TensorFlow官方社区发帖,兴奋地通知T ...
- 创业第9天,竞价助手3.0 测试预览版发布!
创业第9天,竞价助手3.0 测试预览版发布! 新增功能列表: 1. 可以根据质量度设置目标排名.最高出价
- Apache Flink Meetup 8.7 深圳站,企业实践 + 1.14 新特性预览
时隔 10 个月,Apache Flink Meetup 又来到了深圳这个与 Flink 契合度很高的城市.正如改革和创新是深圳的标签,Apache Flink 给技术开发者们带来的,也是摒弃旧的 & ...
- 老子学不动系列:Vue 3.0 新特性预览
尤大昨天在 Vue Toronto 的主题演讲中预览了 Vue 3 .通过利用现代浏览器支持的新功能,Vue 3 将成为我们已经了解和喜爱的Vue.js 的改进版本. 我们期待的 Vue 3 将会是: ...
最新文章
- UE5蓝图初学课程 Unreal Engine 5: Blueprints for Beginners
- 机器学习实践中的10个小秘诀!
- 享元模式 Flyweight Pattern
- 【学习笔记】多项式相关算法
- web服务器获取项目路径问题,读取web项目properties文件路径 解决tomcat服务器找不到properties路径问题...
- 循环训练_要想循环增肌,且不会伤害身体,你可以这样安排力量训练
- 更新pcb封装导入_PCB设计│网表导入的雷区,你还在踩?
- mysql审计插件安装_MySQL审计插件安装使用说明文档--升级版
- iOS开发——高级篇——线程同步、线程依赖、线程组
- 用iArduino app+以太网插板实现“iPhone,iPadiPod无线控制Arduino”!
- 《A.I.爱》王力宏与人工智能谈恋爱 邀李开复来客串
- POJ 2871 整数奇偶排序
- python-视频抽帧、数据集命名
- 云南昭通暴雨强度公式_昆明市暴雨强度公式推算与对比
- 数据库之SQL增删改查(UPDATE,DELETE,TOP,COMPUTE,WHERE子句)
- matlab 滤波器设计 coe_巴特沃斯滤波器
- java根据http url下载图片
- 战神引擎各类修改地址中文注释汇总
- 深入好文:数字经济技能:基于角色的数字技能培养方法、行业趋势、未来及未来的关键角色、这些角色的学习路径
- vmware开启虚拟机时虚拟机黑屏的解决办法
热门文章
- 【简报】超棒的免费Web字体服务:Adobe Edge Web字体
- Linux下DNS服务管理
- www.SQnote.cn
- Oracle 9i for RedHat Linux 的安装
- 行到水穷处,坐看云起时-我的2007!
- OpenCV中的内存泄露问题(cvLoadImage,cvCloneImage)【转】
- java 随机生成大写字母_java 生成随机大写字母,整数,小写字母
- 计算机工作在原理课件,滇人版七年级信息技术下册第一单元第一课第三课时计算机工作原理.ppt...
- Linux常用的几个监控系统性能的命令
- JSONObject put,accumulate,element的区别