认识一下MRS里的“中间人”Alluxio
摘要:Alluxio在mrs的数据处理生态中处于计算和存储之间,为上层spark、presto、mapredue、hive计算框架提供了数据抽象层,计算框架可以通过统一的客户端api和全局命名空间访问底层的存储系统,并切提供内存级的I/O吞吐率。
本文分享自华为云社区《MRS:Alluxio的使用介绍》,作者: 剑指南天。
1. Alluxio的简介
Alluxio在mrs的数据处理生态中处于计算和存储之间,为上层spark、presto、mapredue、hive计算框架提供了数据抽象层,计算框架可以通过统一的客户端api和全局命名空间访问底层的存储系统,并切提供内存级的I/O吞吐率。
2. Alluxio的架构
Alluxio Master主要负责管理元数据,执行分布式存储元数据操作,Secondary master用户checkpoint日志(journal)和容错
Alluxio Worker负责存储块数据,每个worker管理自己存储的块的元信息,执行底层基于数据的存储操作
Client是应用与Alluxio交互的工具
3. Alluxio的使用
3.1 统一的命名空间和统一的客户端API
Alluxio提供统一的命名空间,用作底层文件存储系统数据的缓存,在不同的UFS实现数据的有效管理。使用透明的挂载,将Alluxio的命名空间和UFS命名空间之间保持一致,通过Alluxio访问UFS中的数据和直接访问UFS的数据,结果是一致的。Alluxio提供了客户端API,可以通过Alluxio实现对不同UFS的访问
3.2 MRS Alluxio配置底层存储系统
3.2.1 根挂载点类型
配置HDFS作为Alluxio的底层文件系统(开启Kerberos认证的安全集群不支持该功能)。登录mrs manager页面,进入Alluxio的“全部配置”页面。修改参数“alluxio.master.mount.table.root.ufs”的值为“hdfs://hacluster/XXX/”。然后保存配置,然后重启配置过期的服务。
配置OBS作为Alluxio的底层文件系统。首先给集群配置有OBS OperateAccess权限的委托,用于访问obs。登录mrs manager页面,进入Alluxio的“全部配置”页面。修改参数“alluxio.master.mount.table.root.ufs”的值为“obs://<OBS_BUCKET>/<OBS_DIRECTORY>/”。然后保存配置,然后重启配置过期的服务。
根挂载只有一个,并且只能在启动服务前配置。
- 内嵌挂载点
内嵌挂载点可以在Alluxio根目录下的任何目录,可以在服务启动之后,通过客户端命令挂载,可以有多个挂载点。
MRS集群创建后,默认的底层存储地址是hdfs://hacluster/,即将HDFS的根目录映射到Alluxio。首先给集群配置有OBS OperateAccess权限的委托,用于访问obs。使用Alluxio客户端执行如下命令,将OBS容器内部的目录挂载到Alluxio的/obs目录。
alluxio fs mount /obs obs://<OBS_BUCKET>/<OBS_DIRECTORY>/
3.3 通过数据应用访问Alluxio(参考https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0760.html)
3.4 Alluxio web访问
Mrs Alluxio并没有在manager页面直接提供Alluxio的web访问链接。但是可以参照开源的方案,使用http://{alluxio_master_active_ip}:19999访问web页面。
3.4.1如何确定哪个master节点是active?
登录manager页面,打开Alluxio服务进入master实例查看或者使用客户端命令aluxio fs leader查看。
![](/assets/blank.gif)
3.4.2如何访问Alluxio web页面?
可以通过给该节点绑定弹性ip通过公网访问(注意:需要在安全组放开19999端口)。或者通过创建一个windows ECS,打通该节点到这台window ECS的网络,然后通过私有ip访问。
![](/assets/blank.gif)
![](/assets/blank.gif)
3.5 Alluxio元数据的备份
![](/assets/blank.gif)
3.6 Alluxio的常用文件操作和管理员命令
3.6.1 常用文件操作
![](/assets/blank.gif)
3.6.2 管理员命令
3.6.2.1 validateEnv工具命令
检查本地环境是否存在导致Alluxio部署的问题
alluxio validateEnv master
alluxio validateEnv worker
alluxio validateEnv all
配置设置完整性检查
alluxio validateConf
3.6.2.2 文件系统管理功能
![](/assets/blank.gif)
backup:备份Alluxio元数据,默认根挂载目录的/alluxio_backups路径,也可以指定存储路径。
doctor:检查master和worker配置不一致的地方,需要在服务运行时运行。
getBlockInfo:需要提供block的id,查询块的信息
report:生成一个Alluxio集群总体的健康状态
点击关注,第一时间了解华为云新鲜技术~
认识一下MRS里的“中间人”Alluxio相关推荐
- 基于Presto+Alluxio的adhoc查询方案在网易游戏的实践
编者按:本文是由网易游戏的大数据工程师撰写的基于Presto+Alluxio的adhoc查询方案在网易游戏的实践分享(作者详情见文末) 业务背景 作为全球领先的游戏开发与发行公司,网易游戏不仅自主研发 ...
- 数据分析入门项目之 :Titanic: Machine Learning from Disaster
1.摘要: 本文详述了新手如何通过数据预览,探索式数据分析,缺失数据填补,删除关联特征以及派生新特征等数据处理方法,完成Kaggle的Titanic幸存预测要求的内容和目标. 2.背景介绍: Tita ...
- Android界面特殊全汇总
(一)Activity 页面切换的效果 Android 2.0 之后有了 overridePendingTransition() ,其中里面两个参 数,一个是前一个 activity 的退出两一个 a ...
- 春愁(shunshu)—Mrs. Green Apple (歌词、汉译、罗马音)
春愁ーーMrs.GREEN APPLE 作曲 : Motoki Ohmori 作词 : Motoki Ohmori 分享Mrs. GREEN APPLE的单曲<春愁 (Shunshu)>: ...
- Alluxio 1.5集群搭建
一.依赖文件安装 1.1 JDK 参见博文:http://www.cnblogs.com/liugh/p/6623530.html 二.文件准备 2.1 文件名称 alluxio-1.5.0-hado ...
- 逆向工程、软件后门……原来美剧《硅谷》里藏着这么多知识点
作者:张庆山 编辑:鱼羊 量子位 报道 | 公众号 QbitAI 盆友,你听说过<硅谷>吗? △腾讯已购入1-5季版权 没错,就是那个讲述硅谷天才程序猿创业故事.连比尔盖茨本人都去客串了的 ...
- python编程工具p-这里有123个黑客必备的Python工具!
原标题:这里有123个黑客必备的Python工具! 来自: 地球的外星人君 链接:https://zhuanlan.zhihu.com/p/28452712 今天的文章来源于dloss/python- ...
- Alluxio 助力 Kubernetes,加速云端深度学习
作者 | 车漾 阿里云高级技术专家 范斌 Alluxio 创始成员,开源社区副总裁 来源 | 阿里巴巴云原生公众号 为什么要加速云端深度学习 人工智能是近几年非常火热的技术领域,而推动这个领域快 ...
- Spark Streaming 作者,Alluxio 的创始人李浩源:AI 潮流对做数据存储业务公司的挑战...
本文转载自 Robin.ly 社区,Robin.ly 和 TalentSeer 的创始人 Alex Ren 采访了知名大数据初创公司Alluxio的创始人及CEO,李浩源博士,采访中分享了李浩源博士对 ...
最新文章
- 五子棋c语言策划书活动内容,五子棋比赛策划书
- linux下crontab实现定时服务详解
- 以MATLAB的方式实现微积分问题的计算机求解问题及解决方案集锦(一)
- Kubernetes构建过程分析
- centos8服务器创建新用户并指定该用户只能打开某个目录文件
- CodeForces 615C
- nginx 1.9.9 Linux 环境安装
- Java—格式化日期/时间
- C语言和设计模式(装饰模式)
- java dao修改语句_一个通用的DAO模型实现增删改查
- java中typeof_深入剖析JavaScript中的数据类型判断(typeof instanceof prototype.constructor)...
- oracle 39083,oracle数据库导入导出时ORA-39083;ORA-00439错误解决思路
- java 象限分析_用四种象限分析你(未来的人生走向)
- mysql 索引优化分析
- dw1510_超低温种子储存柜
- Linux 内存管理:DAX(Direct Access)机制的作用及实现原理
- android四大基本布局,四大布局 使用详解
- 限制计算机用户使用指定软件,电脑使用时间限制软件(Time Boss)
- 搜狗浏览器怎么翻译英文网页
- 3dMax 导出材质球