Impala手动安装

2024-05-12 01:37:34

Impala 安装

1 准备

1.1 新增Impala用户并加入sudo权限

chmod u+w /etc/sudoers

vi /etc/sudoers

impala ALL=(ALL) NOPASSWD: NOPASSWD: ALL

chmodu-w /etc/sudoers

1.2准备rpm安装文件和jar包

1.2.1 见附件内的Hadoop5.0.1Impala1.3.1\1.3.1_RPM(impala需要的rpm包)

1.2.2 见附件内的Hadoop5.0.1Impala1.3.1\1.3.1Lib_ALL(impala需要的jar包)

1.2.3 比如放置在 /home/impala/ Hadoop5.0.1Impala1.3.1内

1.3服务规划

Impala有三个服务,impala-server,impala-catalog,impala-state-store.

Impla-server需要安装在hadoop的每个数据节点上

impala-catalog,impala-state-store可以安装在某一个数据节点或则根集群通的机器.

2 安装

2.1安装impala-server

sudo rpm -ivh bigtop-utils-0.7.0+cdh5.0.1+0-1.cdh5.0.1.p0.31.el6.noarch.rpm

sudo rpm -ivh --nodeps impala-1.3.1+cdh5.0.1+0-1.cdh5.0.1.p0.42.el6.x86_64.rpm

sudo rpm -ivh impala-server-1.3.1+cdh5.0.1+0-1.cdh5.0.1.p0.42.el6.x86_64.rpm

sudo rpm -ivh impala-shell-1.3.1+cdh5.0.1+0-1.cdh5.0.1.p0.42.el6.x86_64.rpm

2.2安装impala-catalog impala-state-store

sudo rpm -ivh bigtop-utils-0.7.0+cdh5.0.1+0-1.cdh5.0.1.p0.31.el6.noarch.rpm

sudo rpm -ivh impala-1.3.1+cdh5.0.1+0-1.cdh5.0.1.p0.42.el6.x86_64.rpm

sudo rpm -ivh impala-catalog-1.3.1+cdh5.0.1+0-1.cdh5.0.1.p0.42.el6.x86_64.rpm

sudo rpm -ivh impala-state-store-1.3.1+cdh5.0.1+0-1.cdh5.0.1.p0.42.el6.x86_64.rpm

3 配置

3.1 本地包确认

先删除/usr/lib/impala/lib/*.so.*

rm -rf /usr/lib/impala/lib/ libhadoop.so.1.0.0

rm -rf /usr/lib/impala/lib/ libhadoop.so

rm -rf /usr/lib/impala/lib/ libhdfs.so.1.0.0

rm -rf /usr/lib/impala/lib/ libhdfs.so

再确认 $HADOOP_HOME/lib/native的是否存在libhadoop, libhdfs文件,如果不存在需要拷贝,反之不需要操作该步.

Hadoop5.0.1Impala1.3.1\1.3.1_RPM\libhadoop.so.1.0.0

Hadoop5.0.1Impala1.3.1\1.3.1_RPM\libhdfs.so.0.0.0

并创建创建链接

ln -s libhadoop.so.1.0.0 libhadoop.so

ln -s libhdfs.so.0.0.0 libhdfs.so

3.2 拷贝so文件至impala lib下

sudo cp $HADOOP_HOME/lib/native/*.so* /usr/lib/impala/lib/

3.3 拷贝依赖的第三方jar至impala lib下

删除前最好备份到一个目录下

sudo rm -rf /usr/lib/impala/lib/hive*.jar &&

sudo rm -rf /usr/lib/impala/lib/hbase*.jar &&

sudo rm -rf /usr/lib/impala/lib/hadoop*.jar &&

sudo rm -rf /usr/lib/impala/lib/sentry*.jar &&

sudo rm -rf /usr/lib/impala/lib/zookeeper*.jar &&

sudo rm -rf /usr/lib/impala/lib/avro*.jar &&

sudo rm -rf /usr/lib/impala/lib/parquet-hadoop-bundle.jar

sudo cp /home/impala/Hadoop5.0.1Impala1.3.1/1.3.1Lib_ALL/*/usr/lib/impala/lib/

3.4 修改hadoop相关配置

3.4.1 建立短路读的相关目录和权限

sudomkdir -p /var/run/hadoop-hdfs &&

sudochmod u+x /var/run/hadoop-hdfs &&

sudochmod g+x /var/run/hadoop-hdfs &&

sudochmod g+w /var/run/hadoop-hdfs &&

sudochown -R impala:root /var/run/hadoop-hdfs &&

sudo usermod -a -G root impala

3.4.2 追加如下内容到hadoop的hdfs-site.xml

<property>

<name>dfs.client.read.shortcircuit</name>

<value>true</value>

</property>

<property>

<name>dfs.domain.socket.path</name>

<value>/var/run/hadoop-hdfs/dn._PORT</value>

</property>

<property>

<name>dfs.client.file-block-storage-locations.timeout</name>

<value>3000</value>

</property>

<property>

<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>

<value>true</value>

</property>

<property>
<name>dfs.client.file-block-storage-locations.timeout.millis</name>
<value>10000</value>
</property>

3.4.3 拷贝配置文件至impala

sudo cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml /etc/impala/conf

sudo cp $HADOOP_HOME/etc/hadoop/core-site.xml /etc/impala/conf

sudo cp $HIVE_HOME/conf/hive-site.xml /etc/impala/conf

3.5 修改 impala catalog和state store参数

sudo vi /etc/default/impala

IMPALA_CATALOG_SERVICE_HOST=wxdb01

IMPALA_STATE_STORE_HOST=wxdb01

备注: 这里需要写impala catalog和state store服务所在的主机名

3.6 拷贝hive元数据的驱动

sudo cp $HIVE_HOME/lib/mysql-connector-java-5.1.26-bin.jar/var/lib/impala/

3.7.1 启动 impala-catalog impala-state-store

sudoservice impala-catalog start

sudoservice impala-state-store start

sudo service impala-catalog status

sudo service impala-state-store status

3.7.2 启动 impala-server

sudoservice impala-server start

sudo service impala-server status

service impala-server status &&service impala-catalog status && service impala-state-store status

4 问题排查

4.1 impala日志

目录在 /var/log/impala内

4.2 hadoop日志

目录在 $HADOOP_HOME/logs内

4.3 hadoop日志

Hdfs赋权 /hive/warehouse777.

-----------------Impala安装问题记录:

Unable to findJava. JAVA_HOME should be set in /etc/default/bigtop-utils

解决办法:采用rpm方式安装jdk,

rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

安装路径为: /usr/java/jdk1.7.0_67-cloudera

Impala手动安装相关推荐

Impala的安装（含使用CM安装和手动安装）（图文详解）
Impala有两种安装方式: 1)使用CM安装Impala 2)手动安装Impala 注意:Impala不支持在Debian/Ubuntu, SuSE, RHEL/CentOS 6.5系统中安装. 基 ...
Apache Sentry手动安装、使用手册
Sentry手动安装.使用手册 1 Sentry简介 Apache Sentry 是Cloudera公司发布的一个Hadoop开源组件,截止目前还是Apache的孵化项目,它提供了细粒度级.基于角色的 ...
linux源码安装浏览器,Linux系统手动安装Firefox浏览器
大多数Linux发行版都以Firefox作为默认的浏览器,并可以轻松地从软件库中安装.例如: Debian/Ubuntu: sudo apt-get install firefox Fedora: s ...
linux apache 手动安装教程,linux下手动安装apache
下面是官方文档的要求,必须安装APR.APR-Util.PCRE,gcc-c++等包,文档URL地址http://httpd.apache.org/docs/2.4/install.html. 所以, ...
centos7.4安装mysql5.7_CentOS7.4手动安装MySQL5.7的方法
MySQL数据库应用广泛,尤其对于JAVA程序员,不会陌生.如果在不想采购云数据库的情况下,可以自行安装MySQL数据库.文章将介绍,手动在CentOS7.4环境下,安装MySQL5.7版本的方法. ...
在服务器无root权限手动安装texlive
前言要利用jcvi分析多物种共线性,最后报错显示没有latex,于是开始了解latex,找到了妖怪的别名特性live,利用conda安装texlive-core在后面的分析中会报错,于是手动安装先 ...
手动安装K8s第三节：etcd集群部署
手动安装K8s第三节:etcd集群部署准备安装包 https://github.com/coreos/etcd 版本:3.2.18 wget https://github.com/coreos/et ...
Atom 插件手动安装
为什么80%的码农都做不了架构师?>>> Atom Settings install error Installing "simplified-chinese-men ...
手动安装oracle软件删软件
更多博文请关注:没有伞的孩子必须努力奔跑(www.xuchanggang.cn) 1.手工删除oracle软件: 删除/etc/ora* 删除软件安装目录下的所有文件,我这里是:/u01/app/or ...

最新文章

热门文章