CDH集群使用spark作为hive查询引擎（实时查询）

Hive我们用来搭建数仓，对于大量数据以及离线数仓，可以满足，但是

他不能满足实时查询的情况，如果这次客户来了个需求，不在我们统计分析的指标内。

那你单独写SQL，然后通过mr底层，就不能立刻出结果，运行sql和统计将消耗大量时间。

当然有多种方案（impala+kudu)(presto)都可以。我在CDH上使用，自己的虚拟机测试，避免搭建与启动内存过大，所以采用了spark。

前提：CDH已经搭建完毕，并且有hive和spark

设置hive的计算引擎为spark

apache hadoop（原生）：

1、配置mapreduce计算引擎
set hive.execution.engine=mr;
2、配置tez计算引擎
set hive.execution.engine=tez;
3、配置spark计算引擎
set hive.execution.engine=spark;

但是在cdh中，我们直接通过其中的配置，执行

cdh执行

打开hive配置

不用执行，你选择了spark和yarn他就默认是spark作为计算引擎

CDH集群使用spark作为hive查询引擎（实时查询）相关推荐

spark-测试模式-在windows中连接虚拟机中cdh集群的hdfs和hive和linux单机模式
需求1:在windows的idea中连接虚拟机cdh集群的hdfs和hive 在windows中的idea中直接把spark程序的master设为local,然后连接虚拟机中的hdfs和hive.这是 ...
给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤（图文详解）...
不多说,直接上干货! 这个很简单,在集群机器里,选择就是了,本来自带就有Impala的. 扩展博客给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解) 欢迎大 ...
cdh集群搭建(6.3)
如果你的虚拟机给的内存少于14G,不用往下看了,机器压力非常大,建议先装内存条. 我们做大数据的,机器就是要大硬盘,大内存,高核cpu,其他无所谓,如果要做机器学习,那你显卡还得很好. cdh的好处, ...
大数据之cdh集群安装
安装前的准备工作配置主机名.hosts.开启PermitRootLogin.设置密码 .做免密 .java环境变量.时间同步安装过程概述(Ubuntu18.04安装) (centos7离线安装参考 ...
CDH集群中YARN的参数配置
为什么80%的码农都做不了架构师?>>> CDH集群中YARN的参数配置前言:Hadoop 2.0之后,原先的MapReduce不在是简单的离线批处理MR任务的框架,升级为M ...
0027-如何在CDH集群启用Kerberos
2019独角兽企业重金招聘Python工程师标准>>> 1.文档编写目的本文档讲述如何在CDH集群启用及配置Kerberos,您将学习到以下知识: 1.如何安装及配置KDC服务 2 ...
0110-如何给Kerberos环境下的CDH集群添加Gateway节点
2019独角兽企业重金招聘Python工程师标准>>> Fayson的github: https://github.com/fayson/cdhproject 1.文档编写目的 Ga ...
CDH集群搭建（CDH 6.0.1）
CDH集群安装步骤参考文章安装前准备配置网络名称禁用防火墙设置SELinux模式启用NTP服务配置集群ssh免密登录安装安装jdk 安装服务和配置TLS 安装服务配置TLS 安装并 ...
CDH集群中HDFS单点故障解决方案：HA模式（High Availability）
CDH集群开发HDFS的High Avaliability模式 Step1 什么是单点故障? Step2 HDFS为什么会出现单点故障?它是怎么解决的? Step3 开启HDFS的高可用(High A ...