一、安装前环境准备

	软件版本
1	JDK8
2	Hadoop 2.7.2 / Hadoop 3.1.3
3	Kafka 0.11.0.2
4	HBase 1.3.1
5	Solr 5.2.1
6	Hive 2.3.1 / Hive 3.1.2
7	Azkaban 2.5.0
8	Atlas 0.8.4 / Atlas 2.0.0

二、安装 solr-5.2.1

在安装 Atlas 的时候对 Solr 的版本有严格的要求，必须是 5.2.1 版本的。

tar -zxvf solr-5.2.1.tgz -C /opt/module/
mv solr-5.2.1/ solr

进入到 solr/bin 目录，修改 bin/solr.in.sh 文件:

#添加下列指令
ZK_HOST="hadoop102:2181,hadoop103:2181,hadoop104:2181"
SOLR_HOST="hadoop102"
# Sets the port Solr binds to, default is 8983
#可修改端口号
SOLR_PORT=8983

分发 solr 到 hadoop103 和 hadoop104 两台机器:

xsync solr

Web 访问 8983 端口，可指定三台节点中的任意一台IP

http://hadoop102:8983/solr/#/

三、Atlas 集成外部框架

3.1 Atlas 集成 Hbase

1、进入到 /opt/module/atlas/conf 目录下：

vim atlas-application.properties

修改配置信息如下所示:

atlas.graph.storage.hostname=hadoop102:2181,hadoop103:2181,hadoop104:2181

2、进入到 /opt/module/atlas/conf/hbase 路径

ln -s /opt/module/hbase/conf/ /opt/module/atlas/conf/hbase/

3、修改 /opt/module/atlas/conf/atlas-env.sh

vim atlas-env.sh

修改配置信息如下所示:

export HBASE_CONF_DIR=/opt/module/atlas/conf/hbase/conf

3.2 Atlas 集成 Solr

1、进入 /opt/module/atlas/conf 目录下：

vim atlas-application.properties

修改配置信息如下图所示:

atlas.graph.index.search.solr.zookeeper-url=hadoop102:2181,hadoop103:2181,hadoop104:2181

2、进行如下操作:

cp -r /opt/module/atlas/conf/solr /opt/module/solr/
mv solr atlas_conf

3、启动 Solr，并创建 Collection

bin/solr create -c vertex_index -d /opt/module/solr/atlas_conf -shards 3 -replicationFactor 2

效果如下所示:

Creating new collection 'vertex_index' using command:
http://hadoop102:8983/solr/admin/collections?action=CREATE&name=vertex_index&numShards=3&replicationFactor=2&maxShardsPerNode=6&collection.configName=vertex_index
{"responseHeader":{"status":0,"QTime":3998},"success":{"":{"responseHeader":{"status":0,"QTime":3748},"core":"vertex_index_shard3_replica2"}}}

bin/solr create -c edge_index -d /opt/module/solr/atlas_conf -shards 3 -replicationFactor 2

效果如下所示:

Creating new collection 'edge_index' using command:
http://hadoop102:8983/solr/admin/collections?action=CREATE&name=edge_index&numShards=3&replicationFactor=2&maxShardsPerNode=6&collection.configName=edge_index
{"responseHeader":{"status":0,"QTime":2945},"success":{"":{"responseHeader":{"status":0,"QTime":2805},"core":"edge_index_shard2_replica1"}}}

bin/solr create -c fulltext_index -d /opt/module/solr/atlas_conf -shards 3 -replicationFactor 2

效果如下所示:

Creating new collection 'fulltext_index' using command:
http://hadoop102:8983/solr/admin/collections?action=CREATE&name=fulltext_index&numShards=3&replicationFactor=2&maxShardsPerNode=6&collection.configName=fulltext_index{"responseHeader":{"status":0,"QTime":2899},"success":{"":{"responseHeader":{"status":0,"QTime":2764},"core":"fulltext_index_shard2_replica2"}}
}

验证创建 Collection 成功:

http://hadoop102:8983/solr/#/~cloud

3.3 Atlas 集成 Kafka

1、进入 /opt/module/atlas/conf 目录下：

vim atlas-application.properties

修改配置信息如下图所示:

#########  Notification Configs  #########
atlas.notification.embedded=false
atlas.kafka.data=/opt/module/kafka/logs
atlas.kafka.zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka
atlas.kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
atlas.kafka.zookeeper.session.timeout.ms=4000
atlas.kafka.zookeeper.connection.timeout.ms=2000atlas.kafka.enable.auto.commit=true

2、启动 Kafka 集群，创建 Topic

bin/kafka-topics.sh --zookeeper hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka --create --replication-factor 3 --partitions 3 --topic _HOATLASOK

bin/kafka-topics.sh --zookeeper hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka --create --replication-factor 3 --partitions 3 --topic ATLAS_ENTITIES

3.4 Atlas 其他配置

1、进入 /opt/module/atlas/conf 目录下：

vim atlas-application.properties

修改配置信息如下图所示:

#########  Server Properties  #########
atlas.rest.address=http://hadoop102:21000
# If enabled and set to true, this will run setup steps when the server starts
atlas.server.run.setup.on.start=false#########  Entity Audit Configs  #########
atlas.audit.hbase.zookeeper.quorum=hadoop102:2181,hadoop103:2181,hadoop104:2181

2、进入 /opt/module/atlas/conf 目录下：

vim atlas-log4j.xml

修改配置信息如下图所示:

#去掉如下代码的注释
<appender name="perf_appender" class="org.apache.log4j.DailyRollingFileAppender"><param name="file" value="${atlas.log.dir}/atlas_perf.log" /><param name="datePattern" value="'.'yyyy-MM-dd" /><param name="append" value="true" /><layout class="org.apache.log4j.PatternLayout"><param name="ConversionPattern" value="%d|%t|%m%n" /></layout>
</appender><logger name="org.apache.atlas.perf" additivity="false"><level value="debug" /><appender-ref ref="perf_appender" />
</logger>

3.5 Atlas 集成 Hive

1、进入 /opt/module/atlas/conf 目录下：

vim atlas-application.properties

修改配置信息如下图所示:

######### Hive Hook Configs #######
atlas.hook.hive.synchronous=false
atlas.hook.hive.numRetries=3
atlas.hook.hive.queueSize=10000
atlas.cluster.name=primary

2、解压 apache-atlas-2.0.0-hive-hook.tar.gz 到 /opt/module/

tar -zxvf apache-atlas-2.0.0-hive-hook.tar.gz -C /opt/module/

3、将 /opt/module/apache-atlas-hive-hook-2.0.0 目录下的 hook 和 hook-bin 目录，分别覆盖掉 /opt/module/atlas 文件夹的 hook 和 hook-bin 目录

mv /opt/module/apache-atlas-hive-hook-2.0.0/hook-bin/ /opt/module/atlas/
mv /opt/module/apache-atlas-hive-hook-2.0.0/hook /opt/module/atlas/

4、将 atlas-application.properties 配置文件加入到 atlas-plugin-classloader-1.0.0.jar 中

zip -u /opt/module/atlas/hook/hive/atlas-plugin-classloader-2.0.0.jar /opt/module/atlas/conf/atlas-application.properties
cp /opt/module/atlas/conf/atlas-application.properties /opt/module/hive/conf/

5、在 hive/conf/hive-site.xml 中配置 Atlas Hook

vim hive-site.xml

修改配置文件信息如下：

<property><name>hive.exec.post.hooks</name><value>org.apache.atlas.hive.hook.HiveHook</value>
</property>

6、修改 hive-env.sh

#在tez引擎依赖的jar包后面追加hive插件相关jar包
export HIVE_AUX_JARS_PATH=/opt/module/atlas/hook/hive

四、启动集群

4.1 启动 Hadoop 集群

4.2 启动 Zookeeper 集群

4.3 启动 Kafka 集群

4.4 启动 HBase 集群

4.5 启动 Solr 集群

4.6 启动 Atlas 服务

bin/atlas_start.py

访问端口地址为:

http://hadoop102:21000

账户号为: admin，密码为: admin

五、案例1: 将 Hive 元数据导入到 Atlas

1. 判断 Hive 是否能正常启动

hive
hive (default)> show databases;
hive (default)> use gmall;

2. 将 Hive 元数据导入到 Atlas 中

进入 atlas/hook-bin 路径下：

./import-hive.sh

效果如下：

Using Hive configuration directory [/opt/module/hive/conf]
Log file for import is /opt/module/atlas/logs/import-hive.log
log4j:WARN No such property [maxFileSize] in org.apache.log4j.PatternLayout.
log4j:WARN No such property [maxBackupIndex] in org.apache.log4j.PatternLayout.

输入用户名: admin，输入密码: admin

Enter username for atlas :- admin
Enter password for atlas :-
Hive Meta Data import was successful!!!

Atlas 2.0.0 安装相关推荐

mysql atlas路由_MySQL中间件 Atlas-1.0.3 安装记录
1.wget https://github.com/Qihoo360/Atlas/archive/1.0.3.tar.gz -o Atlas-1.0.3.tar.gz 2.tar zxvf Atlas ...
Atlas 2.2.0源码编译及安装步骤
Atlas 2.2.0源码编译及安装步骤一.源码编译 1. 下载源码 2. 前置环境安装 3. 修改版本号 4. 修改源码中 atlas与kafka版本兼容问题 5. 开始编译 6. 问题锦集二. ...
Apache Atlas 2.3.0 安装部署
安装前环境准备 hadoop 3.1.0 hbase 2.3.4 hive 3.1.3 solr 7.7.3 zookeeper 3.5.7 kafka 2.11-2.4.1 atlas 2.3.0 ...
Apache Atlas 1.2.0 安装部署
组件版本: Hive 1.1.0 CDH 5.15.0 Atlas 1.2.0 Centos 8 Maven 3.6.3 文章目录 Java 环境安装 Atlas编译安装下载源码包解压编译 Atl ...
apache atlas 2.1.0的安装
1.Atlas 架构原理 2.atlas安装 1)Atlas 官网地址:https://atlas.apache.org/ 2)文档查看地址:https://atlas.apache.org/2.1. ...
apache atlas 2.0 详细安装手册
1.1 atlas编译打包 l 首先,在官网下载源码包 http://atlas.apache.org/ l 上传到linux,解压 [root@h2 ~]# tar -zxf apache-atla ...
Atlas 2.1.0 实践之编译Atlas-Hive
Atlas 2.1.0 实践之编译Atlas-Hive 问题前景: Hive 2.2.0以下的低版本存在bug,字段级的血缘数据不能自动生成,需升级hive版本到2.2.0及以上才能正常生成字段级的血 ...
Apache Atlas 2.0.0编译过程中遇到的问题及解决方案
Atlas安装依赖: 1.Maven 3.5+,下载安装包解压后配置环境变量即可,详细步骤请自行百度,下载地址:http://maven.apache.org/download.cgi 2.Apach ...
zabbix 3.0 完全安装全解！
环境准备: centos 6.5 x86_x64 安装依赖库文件 yum -y install mysql-devel net-snmp-devel curl curl-devel gcc pcre- ...

Atlas 2.0.0 安装

一、安装前环境准备

二、安装 solr-5.2.1

三、Atlas 集成外部框架

3.1 Atlas 集成 Hbase

3.2 Atlas 集成 Solr

3.3 Atlas 集成 Kafka

3.4 Atlas 其他配置

3.5 Atlas 集成 Hive

四、启动集群

4.1 启动 Hadoop 集群

4.2 启动 Zookeeper 集群

4.3 启动 Kafka 集群

4.4 启动 HBase 集群

4.5 启动 Solr 集群

4.6 启动 Atlas 服务

五、案例1: 将 Hive 元数据导入到 Atlas

1. 判断 Hive 是否能正常启动

2. 将 Hive 元数据导入到 Atlas 中

Atlas 2.0.0 安装相关推荐

最新文章

热门文章