Impala

Impala安装部署
- 安装前提
- 下载安装包、依赖包
- 虚拟机新增磁盘（可选）
- - 关机新增磁盘
  - 开机挂载磁盘
配置本地yum源
- 上传安装包解压
- 配置本地yum源信息
安装Impala
- 集群规划
- 主节点安装
- 从节点安装
修改Hadoop、Hive配置
- 修改hive配置
- 修改hadoop配置
- 复制hadoop、hive配置文件
- 重启hadoop、hive
修改impala配置
- 添加mysql驱动
- 修改bigtop配置
启动、关闭impala服务
- impala web ui

Impala安装部署

安装前提

集群提前安装好hadoop，hive。

Hive安装包scp在所有需要安装Impala的节点上，因为Impala需要引用Hive的依赖包。
Hadoop框架需要支持C程序访问接口，查看下图，如果有该路径下有这么文件，就证明支持C接口。

下载安装包、依赖包

由于Impala没有提供tar包进行安装，只提供了rpm包
因此在安装Impala的时候,需要使用rpm包来进行安装
rpm包只有Cloudera公司提供了,所以去Cloudera公司网站进行下载rpm即可。
但是另外一个问题，Impala的rpm包依赖非常多的其他的rpm包，可以一个个的将依赖找出来，也可以将所有的rpm包下载下来，制作成我们本地yum源来进行安装。这里就选择制作本地的yum源来进行安装。
所以首先需要下载到所有的rpm包，下载地址如下

cd /export/software
mkdir impala
wget http://archive.cloudera.com/cdh5/repo-as-tarball/5.14.0/cdh5.14.0-centos6.tar.gz

虚拟机新增磁盘（可选）

由于下载的cdh5.14.0-centos6.tar.gz包非常大，大概5个G，解压之后也最少需要5个G的空间。而我们的虚拟机磁盘有限，可能会不够用了，所以可以为虚拟机挂载一块新的磁盘，专门用于存储的cdh5.14.0-centos6.tar.gz包。
注意事项：新增挂载磁盘需要虚拟机保持在关机状态。
如果磁盘空间有余，那么本步骤可以省略不进行。

关机新增磁盘

虚拟机关机的状态下，在VMware当中新增一块磁盘。

开机挂载磁盘

开启虚拟机，对新增的磁盘进行分区，格式化，并且挂载新磁盘到指定目录。

下面对分区进行格式化操作：
mkfs -t ext4 -c /dev/sdb1

创建挂载目录：mount -t ext4 /dev/sdb1 /cloudera_data/

添加至开机自动挂载：
vim /etc/fstab
/dev/sdb1   /cloudera_data    ext4    defaults    0 0

配置本地yum源

上传安装包解压

使用sftp的方式把安装包大文件上传到服务器/cloudera_data目录下。

cd /cloudera_data
tar -zxvf cdh5.14.0-centos6.tar.gz

配置本地yum源信息

安装Apache Server服务器
yum  -y install httpd
service httpd start
chkconfig httpd on

配置本地yum源的文件
cd /etc/yum.repos.d
vim localimp.repo

[localimp]
name=localimp
baseurl=http://node01/cdh5.14.0/
gpgcheck=0
enabled=1

创建apache  httpd的读取链接
ln -s /cloudera_data/cdh/5.14.0 /var/www/html/cdh5.14.0

确保linux的Selinux关闭

临时关闭：
[root@localhost ~]# getenforce
Enforcing
[root@localhost ~]# setenforce 0
[root@localhost ~]# getenforcePermissive
永久关闭：
[root@localhost ~]# vim /etc/sysconfig/selinux
SELINUX=enforcing 改为 SELINUX=disabled
重启服务reboot

通过浏览器访问本地yum源，如果出现下述页面则成功。
http://192.168.227.153/cdh5.14.0/

将本地yum源配置文件localimp.repo发放到所有需要安装impala的节点。
cd /etc/yum.repos.d/
scp localimp.repo  node02:$PWD
scp localimp.repo  node03:$PWD

安装Impala

集群规划

服务名称	从节点	从节点	主节点
impala-catalog			node01
impala-state-store			node01
impala-server(impalad)	node01	node02	node03

主节点安装

在规划的主节点node01执行以下命令进行安装：

yum install -y impala impala-server impala-state-store impala-catalog impala-shell

从节点安装

在规划的从节点node02、node03执行以下命令进行安装：

yum install -y impala-server

修改Hadoop、Hive配置

需要在3台机器整个集群上进行操作，都需要修改。hadoop、hive是否正常服务并且配置好，是决定impala是否启动成功并使用的前提。

修改hive配置

可在node01机器上进行配置，然后scp给其他2台机器。

vim /export/servers/hive/conf/hive-site.xml

<configuration> <property> <name>javax.jdo.option.ConnectionURL</name>  <value>jdbc:mysql://node01:3306/hive?createDatabaseIfNotExist=true</value> </property>  <property> <name>javax.jdo.option.ConnectionDriverName</name>  <value>com.mysql.jdbc.Driver</value> </property>  <property> <name>javax.jdo.option.ConnectionUserName</name>  <value>root</value> </property>  <property> <name>javax.jdo.option.ConnectionPassword</name>  <value>root</value> </property>  <property> <name>hive.cli.print.current.db</name>  <value>true</value> </property>  <property> <name>hive.cli.print.header</name>  <value>true</value> </property>  <!-- 绑定运行hiveServer2的主机host,默认localhost -->  <property> <name>hive.server2.thrift.bind.host</name>  <value>node01</value> </property>  <!-- 指定hive metastore服务请求的uri地址 -->  <property> <name>hive.metastore.uris</name>  <value>thrift://node01:9083</value> </property>  <property> <name>hive.metastore.client.socket.timeout</name>  <value>3600</value> </property>
</configuration>

将hive安装包cp给其他两个机器。

cd /export/servers/
scp -r hive/ node-2:$PWD
scp -r hive/ node-3:$PWD

修改hadoop配置

所有节点创建下述文件夹
mkdir -p /var/run/hdfs-sockets
修改所有节点的hdfs-site.xml添加以下配置，修改完之后重启hdfs集群生效
vim etc/hadoop/hdfs-site.xml

<property><name>dfs.client.read.shortcircuit</name><value>true</value></property><property><name>dfs.domain.socket.path</name><value>/var/run/hdfs-sockets/dn</value></property><property><name>dfs.client.file-block-storage-locations.timeout.millis</name><value>10000</value></property><property><name>dfs.datanode.hdfs-blocks-metadata.enabled</name><value>true</value></property>

dfs.client.read.shortcircuit 打开DFSClient本地读取数据的控制，
dfs.domain.socket.path是Datanode和DFSClient之间沟通的Socket的本地路径

把更新hadoop的配置文件，scp给其他机器。
cd /export/servers/hadoop-2.7.5/etc/hadoop
scp -r hdfs-site.xml node02: $PWD
scp -r hdfs-site.xml node33: $PWD
注意：root用户不需要下面操作，普通用户需要这一步操作。
给这个文件夹赋予权限，如果用的是普通用户hadoop，那就直接赋予普通用户的权限，例如：
chown -R hadoop:hadoop /var/run/hdfs-sockets/
因为这里直接用的root用户，所以不需要赋权限了。

复制hadoop、hive配置文件

impala的配置目录为/etc/impala/conf，这个路径下面需要把core-site.xml，hdfs-site.xml以及hive-site.xml。
所有节点执行以下命令
cp -r /export/servers/hadoop-2.7.5/etc/hadoop/core-site.xml /etc/impala/conf/core-site.xml
cp -r /export/servers/hadoop-2.7.5/etc/hadoop/hdfs-site.xml /etc/impala/conf/hdfs-site.xml
cp -r /export/servers/hive/conf/hive-site.xml /etc/impala/conf/hive-site.xml

重启hadoop、hive

在node-1上执行下述命令分别启动hive metastore服务和hadoop。

cd  /export/servers/hive
nohup bin/hive --service metastore &
nohup bin/hive --service hiveserver2 &cd /export/servers/hadoop-2.7.5/
sbin/stop-dfs.sh  |  sbin/start-dfs.sh

修改impala配置

所有节点更改impala默认配置文件

vim /etc/default/impala
IMPALA_CATALOG_SERVICE_HOST=node01
IMPALA_STATE_STORE_HOST=node01

添加mysql驱动

通过配置/etc/default/impala中可以发现已经指定了mysql驱动的位置名字。

使用软链接指向该路径即可（3台机器都需要执行）

ln -s /export/servers/hive/lib/mysql-connector-java-5.1.32.jar /usr/share/java/mysql-connector-java.jar

修改bigtop配置

修改bigtop的java_home路径（3台机器）

vim /etc/default/bigtop-utils
export JAVA_HOME=/export/servers/jdk1.8.0_65

启动、关闭impala服务

主节点node-3启动以下三个服务进程

service impala-state-store start
service impala-catalog start
service impala-server start

从节点启动node-1与node-2启动impala-server

service  impala-server  start

查看impala进程是否存在

ps -ef | grep impala

启动之后所有关于impala的日志默认都在/var/log/impala
如果需要关闭impala服务把命令中的start该成stop即可。注意如果关闭之后进程依然驻留，可以采取下述方式删除。正常情况下是随着关闭消失的。
解决方式：

impala web ui

访问impalad的管理界面http://node01:25000/

访问statestored的管理界面http://node01:25010/

访问catalogd的管理界面http://node01:25020/

Apache Impala : Impala安装部署相关推荐

Apache Traffic Server 安装部署
安装环境系统:CentOS 7.4 更新yum yum update yum -y install epel* 先安装bzip2 yum -y install bzip2 1.下载源代码我这里下载 ...
linux安装部署apache+subversion+jsvnadmin
linux安装部署apache+subversion+jsvnadmin 1.apache网页服务器(注意不是tomcat) 2.subversion版本控制(svn服务器) 3.jsvnadmin项 ...
阿里云服务器 ECS 部署lamp：centos+apache+mysql+php安装配置方法（centos7）
阿里云服务器 ECS 部署lamp:centos+apache+mysql+php安装配置方法 (centos7) 1.效果图 1 2. 部署步骤 1 1. mysql安装附加(centos7) 7 ...
PHP7.2与apache环境安装部署详细流程
php-agent 安装部署详细流程一.环境测试机内网IP: 10.128.5.98 用户名口令: root/oneapm21 cat /etc/system-release cat /etc/i ...
Apache HAWQ集群的安装部署
最近Pivotal公司发布了Apache HAWQ的企业版HDB 2.0,因功能强大,性能出色,很多人已经迫不及待想要安装来玩玩了.今天我们就来聊聊怎么部署强大的HAWQ 2.0吧. 企业版的HAWQ ...
Apache Atlas 安装部署
Apache Atlas 安装部署 1.Atlas 原理及相关概念 2.安装前置条件 3.安装Hbase 4.安装Solr 5.安装kafka 6.编译Atlas 7.安装Atlas 8.集成hive ...
Apache Atlas 2.3.0 安装部署
安装前环境准备 hadoop 3.1.0 hbase 2.3.4 hive 3.1.3 solr 7.7.3 zookeeper 3.5.7 kafka 2.11-2.4.1 atlas 2.3.0 ...
LAMP-架构环境网站搭建；在Apache Web服务器上部署PHPBB3网站详细步骤；Linux+Apache2+PHP+MySQL 安装和配置
在Apache Web服务器上部署PHPBB3网站 LAMP-架构环境网站搭建;在Apache Web服务器上部署PHPBB3网站详细步骤:Linux+Apache2+PHP+MySQL 安装和配置 ...
Apache Atlas安装部署报错之解决方案
说明:在按照官网文档安装Atlas的过程中,遇到了各种各样的问题,现将本人在实践中,成功安装部署的过程分享给大家. 一.下载安装包下载安装JDK.(不要用Linux自带的jdk,且atlas2.0要 ...

Apache Impala : Impala安装部署