Apache Ignite与Apache Hive的个人理解与总结
首先，贴一下官网链接辟邪：官网链接
下面，就看我强行总结吧，如果理解有误，请大佬及时指正，感激不尽！
Apache Ignite是啥玩意，在上一篇已经讲过了，可能还比较易于理解：理解Ignite传送门
Apache Hive是啥玩意？说来挺复杂的，简而言之，大概就是建立在Hadoop之上的开源数据仓库框架或工具。为啥会有这框架呢，就比如说，你去往记几的mysql或者oracle数据库中使用SQL语句或脚本一次插几十GB的记录啊，甚至TB级别的啊，看看你电脑或者服务器挂不挂，不挂的话…（卧槽，真的不会挂吗？）就算…真不会挂，那也会超久超久了啊。这个框架就是基于Hadoop批处理系统的对海量数据进行处理的玩意儿。而且不需要写MapReduce了，写SQL不需要写Java了，对大多数人来说都是一个字：爽。
Hadoop这个小象呢，简单来说，就是一个管理节点，一堆存储数据的节点，一个管理节点的管家和一个处理命令的流水线，再加MapReduce和YARN
至于详细的Spark，Hadoop，Hive这些东东具体都是啥呢，请看：传送门
好了，进入正题：
1. Ignite提供了与spark和Hadoop的无缝集成。ignite-Hadoop的集成使用 ignite File System 作为主要缓存层来存储HDFS数据。而 ignite-spark 呢，使用spark RDD实现了跨越多个Spark共享内存中的状态。
2. Apache Ignite提供了Spark RDD抽象的实现，原生的Spark RDD和IgniteRDD主要的不同是，ignite RDD 使得应用程序和spark可以共享内存视图的数据，而原生的spark RDD的数据不能被别的任务或其他spark共享。就相当于是在原来的spark application中加了一个基于内存分享的层次。
3. 分布式的内存中的文件系统，叫做IGFS（ignite file system）。IGFS提供了与Hadoop HDFS类似的功能，不过仅仅局限于内存上。IGFS除了自己的API之外，还实现了Hadoop FileSystem API，并且可以透明地插入到Hadoop或spark程序部署中。
4. 减少内存映射。ignite的基于内存的MapReduce可以有效地并行处理存在任何Hadoop文件系统中的数据，消除了传统的Hadoop体系结构中的作业追踪和任务追踪的开销，同时提供低延迟，HPC（高性能计算机群）分布式处理。
5. 提供了Hadoop的加速器，提供了一组允许内存Hadoop作业执行和文件系统操作的组件。可以与ignite file system和in-memory MapReduce结合使用，并且可以随意插入任何Hadoop发行版。
总之，一句话，ignite不仅仅是一个十分NB的数据库，而且还提供了支持spark和Hadoop的优化，更加支持分布式的应用。
正如官网所说：Ignite是很强大的整体解决方案和开发平台。
Apache Ignite与Apache Hive的个人理解与总结相关推荐
- Apache Ignite剖析
1.概述 Apache Ignite和Apache Arrow很类似,属于大数据范畴中的内存分布式管理系统.在<Apache Arrow 内存数据>中介绍了Arrow的相关内容,它统一了大 ...
- storm apache java_Apache Ignite与Apache Storm（深入）
Apache Ignite和Apache Storm在很多方面都是两种截然不同的技术 - 特别是因为Storm有一个非常具体的用例,而Ignite在同一个屋檐下有相当多的工具 . 据我了解,Ignit ...
- apache ignite_通过示例获取Apache Ignite Baseline拓扑
apache ignite 点燃基准拓扑或BLT代表群集中的一组服务器节点,这些服务器节点将数据持久存储在磁盘上. 其中,N1-2和N5服务器节点是具有本机持久性的Ignite集群的成员,该集群使数据 ...
- 通过示例了解Apache Ignite Baseline拓扑
点燃基准拓扑或BLT表示群集中的一组服务器节点,这些服务器节点将数据持久存储在磁盘上. 其中,N1-2和N5服务器节点是具有本机持久性的Ignite集群的成员,这些集群使数据能够持久存储在磁盘上. N ...
- 用Apache Ignite实现可扩展的数据网格
在本文中,我们将先介绍数据网格(Data Grid)的基本概念.属性.以及能够提供的服务,然后讨论如何设计可扩展的数据网格,以满足实际场景的业务需求. 什么是数据网格? 数据网格是一组能够提供共享数据 ...
- Apache Ignite——集合分布式缓存、计算、存储的分布式框架
Apache Ignite内存数据组织平台是一个高性能.集成化.混合式的企业级分布式架构解决方案,核心价值在于可以帮助我们实现分布式架构透明化,开发人员根本不知道分布式技术的存在,可以使分布式缓存.计 ...
- Apache Ignite（五）：Ignite的集群部署
Ignite具有非常先进的集群能力,本文针对和集群有关的技术点做一个简短的介绍,然后针对实际应用的可能部署形式做了说明和对比,从中我们可以发现,Ignite平台在部署的灵活性上,具有很大的优势.\ 1 ...
- 基准测试：Apache Ignite仍然领先于Hazelcast
为什么80%的码农都做不了架构师?>>> 当在谷歌中搜索Apache Ignite时,发生了一个奇怪的事:Hazelcast的广告跑到了列表的顶部,建议说Hazelcast比I ...
- Apache Cassandra和Apache Ignite：关系并置和分布式SQL
为什么80%的码农都做不了架构师?>>> 在上一篇文章中,回顾和总结了Cassandra中使用的查询驱动数据模型(或者说非常规数据模型)方法论的缺陷.事实证明,如果不对查询有深 ...
最新文章
- 查看mysql的编码格式
- 用Leangoo敏捷开发工具如何管理用户故事？
- 网上教育能改变教育不公平的现状吗？
- 最终选型 Blazor.Server：又快又稳！
- 自从用了这几个网站后，linux下的开发(使用)更加简单化
- Protocol ‘https‘ not on whitelist ‘file,crypto‘ ——m3u8下载协议不在白名单，m3u8下载器推荐
- makefile 生成.o_要学好 C 语言 / C++ ，Makefile 可少不了
- 41. Understand implicit interfaces and compile-time polymorphism
- python批量添加水印_手把手教你用Python批量给图片添加水印！知了干货分享！
- VB 2010 （32）泛型方法
- 百度网盘高速下载资源
- 【数值计算之二】数值积分之牛顿——科斯特公式：梯形、辛普森、辛普森3/8和布尔 高斯积分公式：勒让德、切比雪夫、拉盖尔和埃尔米特
- 数字图像算术编码python_算术编码简介
- TortoiseGit配置SSH key
- IOl流的分类与使用
- Python程序员必备——手把手教你配置最漂亮的PyCharm界面
- STM32驱动_cc2420
- echart 多种覆盖物 显示优先级
- python import lap 出错
- BBTRZ柔性矿物质绝缘防火电缆的优势