apache atlas 2.0 详细安装手册
1.1 atlas编译打包
l 首先,在官网下载源码包
http://atlas.apache.org/
l 上传到linux,解压
[root@h2 ~]# tar -zxf apache-atlas-2.0.0-sources.tar.gz -C /opt/app/
l [可选]步骤:为maven配置添加国内下载镜像
vi $M2_HOME/conf/settings.xml
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
l [可选]步骤:修改atlas源码工程的pom.xml,将hbase zookeeper hive等依赖的版本修改成自己环境中一致的版本
父工程pom文件
<zookeeper.version>3.4.14</zookeeper.version>
<hbase.version>2.2.2</hbase.version>
<solr.version>7.7.2</solr.version>
distro工程pom****文件
<hbase.tar>http://mirrors.tuna.tsinghua.edu.cn/apache/hbase/${hbase.version}/hbase-${hbase.version}-bin.tar.gz</hbase.tar><solr.tar>http://mirrors.tuna.tsinghua.edu.cn/apache/lucene/solr/${solr.version}/solr-${solr.version}.tgz</solr.tar>
l 执行maven编译打包
注意,atlas可以使用内嵌的hbase-solr作为底层索引存储和搜索组件,也可以使用外置的hbase和solr
如果要使用内嵌的hbase-solr,则使用如下命令进行编译打包
cd /opt/atlas2.0
export MAVEN_OPTS="-Xms2g -Xmx2g"
mvn clean -DskipTests package -Pdist,embedded-hbase-solr
视网络速度,耐心等待,并且可能要反复重试几次,最好是能开一个速度不错的vpn
编译完成之后,会产生打包结果,所在位置是:源码目录中的新出现的distro/target目录
1.2 atlas安装配置
1.2.1 安装步骤
1.2.1.1 安装zookeeper(内嵌版不需要安装)
1.2.1.2 安装kafka(内嵌版不需要安装)
1.2.1.3 安装hbase(内嵌版不需要安装)
1.2.1.4 安装solr(内嵌版不需要安装)
1.2.1.5 配置及启动atlas
- 挪出或上传atlas编译好之后的安装包
mv distro/target/apache-atlas-2.0.0/ /opt/app/
- 修改配置文件
vi atlas-env.sh export JAVA_HOME=/opt/app/jdk1.8.0_191/
export MANAGE_LOCAL_HBASE=true (如果要使用外部的zk和hbase,则改为false)
export MANAGE_LOCAL_SOLR=true (如果要是用外部的solr,则改为false)
vi atlas-application.properties
# Hbase地址(对应的zk地址)配置(自带hbase会根据此端口启动一个zk实例)
atlas.graph.storage.hostname=localhost:2181 # 如果使用外部hbase,则填写外部zookeeper地址# Solr地址配置
atlas.graph.index.search.solr.http-urls=http://localhost:8984/solr(solr服务地址)# Kafka相关配置
atlas.notification.embedded=true # 如果要使用外部的kafka,则改为false
# 内嵌kafka会根据此端口启动一个zk实例
atlas.kafka.zookeeper.connect=localhost:9026 # 如果使用外部kafka,则填写外部zookeeper地址
atlas.kafka.bootstrap.servers=localhost:9027 # 如果使用外部kafka,则填写外部broker server地址
- 手动启动hbase
# 进入atlas自带的hbase目录cd $ATLAS_HOME/hbasebin/start-hbase.sh
- 手动启动solr,为solr创建初始化index库
# 进入atlas自带的solr目录
cd $ATLAS_HOME/solr
# 启动solr
bin/solr start -c -z localhost:2181 -p 8984 -force #启动solr# 创建初始化collections
bin/solr create -c vertex_index -shards 1 -replicationFactor 1 -force
bin/solr create -c edge_index -shards 1 -replicationFactor 1 -force
bin/solr create -c fulltext_index -shards 1 -replicationFactor 1 -force
然后打开浏览器访问solr的web服务如下,则solr启动成功
- 启动atlas
cd /opt/app/apache-atlas-2.0.0/
bin/atlas_start.py
- 检查启动结果
启动后,相关服务进程如下:
监听端口如下:
如果有上述进程和所监听端口,则说明atlas安装启动成功
可以打开atlas的web界面
以后再启动atlas,不需要再手动启动hbase和solr了
直接执行atlas启动脚本即可
踩坑后记:
内嵌kafka-hbase-solr安装方式下,kafka使用了它内置的zookeeper,占用端口9026;
hbase也启动了一个zookeeper,占用端口2181;
所以在使用自带hbase和solr的场景中,切不可把kafka和hbase的zookeeper配置成相同的端口:2181
1.2.2 hive-hook配置
配置了hive的钩子后,在hive中做任何操作,都会被钩子所感应到,并生成相应的事件发往atlas所订阅的kafka,再由atlas进行元数据生成和存储管理;
修改hive-env.sh
export HIVE_AUX_JARS_PATH=/opt/app/apache-atlas-2.0.0/hook/hive
修改hive-site.xml
<property><name>hive.exec.post.hooks</name><value>org.apache.atlas.hive.hook.HiveHook</value></property>
同步配置修改
拷贝atlas配置文件atlas-application.properties到hive配置目录
添加两行配置:
atlas.hook.hive.synchronous=true # [可选]
atlas.rest.address=http://localhost:21000 # [atlas服务所在地址]
1.2.3 hook同步测试
启动hive,创建一个库
hive> create database atlasdemo;OKTime taken: 0.267 seconds
在atlas上搜索刚刚创建的库
完美!atlas部署成功
1.2.4 批量导入测试
在atlas安装之前,hive中已存在的表,钩子是不会自动生成相关元数据的;
可以通过atlas的一个工具,来对已存在的hive库或表进行元数据导入;
Usage 1: <atlas package>/hook-bin/import-hive.sh
Usage 2: <atlas package>/hook-bin/import-hive.sh [-d <database regex> OR --database <database regex>] [-t <table regex> OR --table <table regex>]
Usage 3: <atlas package>/hook-bin/import-hive.sh [-f <filename>]
多易教育,专注大数据培训; 课程引领市场,就业乘风破浪
多易教育官网地址
www.51doit.cn
apache atlas 2.0 详细安装手册相关推荐
- Win7操作系统下安装Visual C++6.0详细操作手册(亲验有效)
Win7操作系统下安装Visual C++6.0详细操作手册(亲验有效) 一.所需软件及下载地址: Visual C++6.0(win7适用版) https://download.csdn.net/d ...
- Apache Atlas 2.0.0编译过程中遇到的问题及解决方案
Atlas安装依赖: 1.Maven 3.5+,下载安装包解压后配置环境变量即可,详细步骤请自行百度,下载地址:http://maven.apache.org/download.cgi 2.Apach ...
- Centos7 Yum安装MYSQL8.0详细安装步骤
Centos7 Yum安装MYSQL8.0详细安装步骤 0.更换yum源 1.打开 mirrors.aliyun.com,选择centos的系统,点击帮助 2.执行命令:yum install wge ...
- CSDN开发者助手2.5.0详细使用手册
csdn开发助手2.5.0详细使用手册 文章目录 csdn开发助手2.5.0详细使用手册 简介: 官网: 特点: 功能介绍: 功能: 键盘操作: 新标签页: 右键菜单: 去广告: 快捷键具体如下: 搜 ...
- Apache Mina v2.0.8 API手册
Apache Mina v2.0.8 API手册 作者:chszs,转载需注明.博客主页:http://blog.csdn.net/chszs 我自己制作了一份<Apache Mina v2.0 ...
- Linux+Apache+MySQL+PHP+FrontPage完全安装手册(转)
本文介绍如何安装Apache以支持MySQL.PHP4.FrontPage2000服务器扩展和虚拟主机功能,本文的安装步骤在Redhat 7.0和Mandrake 7.2上测试通过,所以应该适用于任何 ...
- CDH6.2.0详细安装步骤
CDH6.2.0版本安装指南 1. 准备集群 本文档使用的是三台虚拟机,IP和主机名自行修改,三台虚拟机需要能联网,并且能够免密登录,这些网上都能找到详细的教程,有问题也可以底部留言交流. ip 名称 ...
- Xposed框架Xposed安装器|Xposed for Android 5.0/5.1/6.0|详细安装教程
Xposed简介: Xposed Installer(xposed框架)是一款可以在不修改APK的情况下影响程序运行(修改系统)的框架服务,基于它可以制作出许多功能强大的模块,且在功能不冲突的情况下同 ...
- Greenplum【部署 07】6.19.0详细安装步骤libnsl/libcrypto/libssl/libreadline No such file or directory 问题解决
问题解决所需文件网盘资源: 链接:https://pan.baidu.com/s/1uMrhVmHlvEQ-sEGZtqhqiw 提取码:kkab 文件列表: libnsl-2.17.so libcr ...
最新文章
- 你必须知道如何回答的五大计算机安全问题!
- Windows下进程间通信及数据共享
- AI:2020年6月21日北京智源大会演讲分享之20:05-20:25陶建华《人工智能学科设置与人才培养》、雷明《企业对人工智能人才的要求以及对人工智能人才培养的建议》
- 信息系统项目管理师备考经验
- [云炬创业学笔记]第一章创业是什么测试11
- springboot有什么好的方案实现 数据实时更新吗?_使用Spring Boot Actuator、Jolokia和Grafana实现准实时监控...
- linux 正则表达式与实践
- 笔记本用无线路由器上网设置教程攻略
- 获取网址中参数的方式
- android ui自动化框架选型,Appium UI 自动化框架之我见 (开源)
- pytorch 一些关于模型参数冻结的问题
- Java Web实战篇-轻松提高千万级数据库查询效率
- 全新UI聚合支付系统四方系统源码+升级修复漏洞完美版
- PHP中smart原则,什么是smart原则(smart原则适用于哪些内容)
- 沙盘游戏模型的基本象征
- 计算机主机不通电,电脑主机不通电无法开机怎么解决
- 全国计算机软考中级哪个科目最简单,软考中级哪个科目比较容易考?
- 关于python语言中缩进的说法_以下关于Python语言中“缩进”说法正确的是:
- Mysql8.x安装教程
- sql2000安装成功但是服务器显示为空,安装sql2000时出现“安装程序配置服务器失败”...
热门文章
- 如何理解 select * from B where (select count(1) as num from A where A.ID = B.ID) = 0
- 如何将3张图片横向拼在一起
- flstudio21中文版下载安装图文教程
- 算法 - GA中的交叉算子
- gg 修改器游戏被保护_火柴人战争遗产无敌版修改器下载-火柴人战争遗产修改器手机版下载...
- 我的编程之路:勤能补拙
- 精彩的2009已经悄然离开,充满期待的2010年正向我走来。
- Disable floppy driver(禁用软盘)
- 信通院魏亮:产业数字化让传统赛道产生新赛道
- EOS主网上线世界庆典完美收官|荣耀将至!一个伟大时代即将开启