Alluxio及其典型应用场景

一、简介

Alluxio号称是世界上第一个内存级虚拟分布式存储系统，是计算与存储间的桥梁。

二、典型应用场景

1. 计算层需要反复访问远程（比如在云端，或跨机房）的数据；

2. 计算层需要同时访问多个独立的持久化数据源（比如同时访问S3和HDFS中的数据）；

3. 多个独立的大数据应用（比如不同的Spark Job）需要高速有效的共享数据；

4. 当计算层有着较为严重的内存资源、以及JVM GC压力，或者较高的任务失败率时，Alluxio作为输入输出数据的Off heap存储可以极大缓解这一压力，并使计算消耗的时间和资源更可控可预测。

百度之所以应用Alluxio成功了，因为它符合第一个场景，百度查询的痛点是：

由于数据分散分布在多个数据中心，有很大的可能是：数据的查询需要到达远程数据中心以提取数据——这应该是在用户运行查询时遇到延迟的最大原因。

三、其他

Alluixo利用的是堆内内存，如果不符合典型场景，用起来就是鸡肋！

Ignite是堆外内存，真正加速任务

转载于:https://www.cnblogs.com/liugh/articles/7324488.html

Alluxio及其典型应用场景相关推荐

DaemonSet 典型应用场景 - 每天5分钟玩转 Docker 容器技术（129）
Deployment 部署的副本 Pod 会分布在各个 Node 上,每个 Node 都可能运行好几个副本.DaemonSet 的不同之处在于:每个 Node 上最多只能运行一个副本. DaemonS ...
ZooKeeper典型应用场景一览
原文地址:http://jm-blog.aliapp.com/?p=1232 ZooKeeper典型应用场景一览数据发布与订阅(配置中心) 发布与订阅模型,即所谓的配置中心,顾名思义就是发布者将数据 ...
【ZooKeeper Notes 28】ZooKeeper典型应用场景一览
ZooKeeper是一个高可用的分布式数据管理与系统协调框架.基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得ZooKeeper解决很多分布式问题.网上 ...
Zookeeper分布式一致性原理（八）：Zookeeper典型应用场景
1. 简介 Zookeeper是一个高可用的分布式数据管理和协调框架,并且能够很好的保证分布式环境中数据的一致性.在越来越多的分布式系统(Hadoop.HBase.Kafka)中,Zookeeper都 ...
BC：带你温习并解读《中国区块链技术和应用发展白皮书》—区块链典型应用场景
BC:带你温习并解读<中国区块链技术和应用发展白皮书>-区块链典型应用场景目录区块链典型应用场景 3.1 区块链与医疗健康 3.2 区块链与金融服务 3.3 区块链与供应链管理 3.4 ...
B树、B+树、LSM树以及其典型应用场景
前言动态查找树主要有:二叉查找树.平衡二叉树.红黑树.B树.B+树.前面三种是典型的二叉查找树,查找的时间复杂度是O(log2N)与树的深度有关系,那么降低树的深度也就可以提升查找效率.这时就提出了 ...
图谱实战 | 安全领域知识图谱建设与典型应用场景总结
转载公众号 | 老刘说NLP 安全知识图谱是网络安全领域专用知识图谱,也是知识图谱应用于安全业务的重要工业尝试.当前,安全领域中存在大量的业务数据,建模需求以及应用需求,了解安全领域知识图谱的建设方法 ...
人工智能技术在智能制造中的典型应用场景与标准体系研究
人工智能技术在智能制造中的典型应用场景与标准体系研究人工智能技术与咨询来源:<中国工程科学> ,作者李瑞琪等摘要: 针对人工智能在智能制造领域应用不断深入的趋势,本文基于企业关键绩效 ...
基于 Flink 的典型 ETL 场景实现
简介: 本文将从数仓诞生的背景.数仓架构.离线与实时数仓的对比着手,综述数仓发展演进,然后分享基于 Flink 实现典型 ETL 场景的几个方案. 作者:买蓉 · 美团点评高级技术专家整理:赵阳(F ...

Alluxio及其典型应用场景

Alluxio及其典型应用场景相关推荐

最新文章

热门文章