CC00068.pbpositions——|HadoopPB级数仓.V02|——|PB数仓.v02|元数据管理工具Atlas|部署配置|账户密码|
2024-03-29 02:06:21
一、安装环境准备
### --- 安装概述说明~~~ 重点讲解Atlas，不对Atlas的依赖组件做讲解，组件均采用单机模式安装。
~~~ 编译才能安装。### --- 安装依赖~~~ Maven 3.6.3(完成)
~~~ HBase 1.1.2(不需要安装，需要软件包)
~~~ Solr 5.5.1(不需要安装，需要软件包)
~~~ atlas 1.2.0(需要编译)
~~~ 官方只提供了源码，没有提供二进制的安装版本，因此Atlas需要编译。### --- 准备需要的资源包[root@hadoop02 ~]# ll /opt/yanqi/software/
apache-atlas-1.2.0-sources.tar.gz
apache-maven-3.6.3-bin.tar.gz
hbase-1.1.2.tar.gz
solr-5.5.1.tgz
二、部署maven依赖版本包
### --- 下载maven版本包：apache-maven-3.6.3-bin.tar.gz[root@hadoop02 ~]# ll /opt/yanqi/software/
apache-maven-3.6.3-bin.tar.gz### --- 安装maven版本包
~~~ 安装maven版本包[root@hadoop02 ~]# tar -zxvf /opt/yanqi/software/apache-maven-3.6.3-bin.tar.gz \
-C /opt/yanqi/servers/~~~ # 配置maven环境变量[root@hadoop02 ~]# vim /etc/profile
##MAVEN_HOME
export MAVEN_HOME=/opt/yanqi/servers/apache-maven-3.6.3
export PATH=$PATH:$MAVEN_HOME/bin~~~ # 使环境变量生效[root@hadoop02 ~]# source /etc/profile### --- 验证maven版本包是否部署成功
~~~ 验证安装[root@hadoop02 ~]# mvn --version
Apache Maven 3.6.3 (cecedd343002696d0abb50b32b541b8a6ba2883f)### --- maven设置阿里镜像
~~~ 重要，否则非常慢~~~ # 添加阿里云源地址
[root@hadoop02 ~]# vim $MAVEN_HOME/conf/settings.xml
# 加在 158 行后<mirror><id>alimaven</id><name>aliyun maven</name><url>http://maven.aliyun.com/nexus/content/groups/public/</url><mirrorOf>central</mirrorOf></mirror>
三、安装步骤
### --- 准备软件包[root@hadoop02 ~]# ll /opt/yanqi/software/
apache-atlas-1.2.0-sources.tar.gz
solr-5.5.1.tgz
hbase-1.1.2.tar.gz### --- 解压缩源码，修改配置
~~~ # 解压缩[root@hadoop02 ~]# cd /opt/yanqi/software/
[root@hadoop02 software]# tar -zxvf apache-atlas-1.2.0-sources.tar.gz
[root@hadoop02 software]# cd apache-atlas-sources-1.2.0/~~~ # 修改配置[root@hadoop02 apache-atlas-sources-1.2.0]# vim pom.xml
~~~ 修改配置参数
<npm-for-v2.version>3.10.8</npm-for-v2.version> # 第645行
<hadoop.version>2.9.2</hadoop.version> # 第652行### --- 将HBase、Solr的包拷贝到对应的目录中
~~~ 如果不拷贝这些包，就需要下载，下载 HBase 和 Solr 时速度很慢。
~~~ 这里提前下载完所需的这两个组件，拷贝到对应目录中。~~~ # 创建文件目录
[root@hadoop02 ~]# cd /opt/yanqi/software/apache-atlas-sources-1.2.0/
[root@hadoop02 apache-atlas-sources-1.2.0]# cd distro/[root@hadoop02 distro]# mkdir solr
[root@hadoop02 distro]# mkdir hbase~~~ # 拷贝软件包[root@hadoop02 distro]# cp /opt/yanqi/software/solr-5.5.1.tgz ./solr/
[root@hadoop02 distro]# cp /opt/yanqi/software/hbase-1.1.2.tar.gz ./hbase/### --- Atlas编译
~~~ 下载依赖包地址
~~~ 安装之前设置maven的下载镜像地址为阿里云镜像地址[root@hadoop02 ~]# ls /root/.m2/repository/
antlr bouncycastle commons-beanutils commons-daemon commons-io concurrent it log4j regexp xerces xpp3
aopalliance cglib commons-chain commons-dbcp commons-lang de jakarta-regexp logkit ring-cors xml-apis
asm ch commons-cli commons-digester commons-logging dom4j javax nekohtml sslext xmlenc
avalon-framework classworlds commons-codec commons-el commons-net edu jline net stax xmlpull
backport-util-concurrent colt commons-collections commons-fileupload commons-pool info joda-time org tomcat xmlunit
biz com commons-configuration commons-httpclient commons-validator io junit oro xalan xom~~~ # 编译Atlas版本包[root@hadoop02 ~]# cd /opt/yanqi/software/apache-atlas-sources-1.2.0/
[root@hadoop02 apache-atlas-sources-1.2.0]# export MAVEN_OPTS="-Xms2g -Xmx2g"
[root@hadoop02 apache-atlas-sources-1.2.0]# mvn clean -DskipTests package -Pdist,embedded-hbase-solr
~~~ 输出参数
~~~ 编译过程中大概要下载600M左右的jar，持续的时间比较长。
[INFO] Building zip: /opt/yanqi/software/apache-atlas-sources-1.2.0/distro/target/apache-atlas-1.2.0-migration-exporter.zip
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Apache Atlas Server Build Tools 1.0 ................ SUCCESS [ 45.135 s]
[INFO] apache-atlas 1.2.0 ................................. SUCCESS [02:17 min]
[INFO] Apache Atlas Test Utility Tools 1.2.0 .............. SUCCESS [02:09 min]
[INFO] Apache Atlas Integration 1.2.0 ..................... SUCCESS [ 44.858 s]
[INFO] Apache Atlas Common 1.2.0 .......................... SUCCESS [ 10.657 s]
[INFO] Apache Atlas Client 1.2.0 .......................... SUCCESS [ 2.263 s]
[INFO] atlas-client-common 1.2.0 .......................... SUCCESS [ 4.763 s]
[INFO] atlas-client-v1 1.2.0 .............................. SUCCESS [ 4.657 s]
[INFO] Apache Atlas Server API 1.2.0 ...................... SUCCESS [ 2.996 s]
[INFO] Apache Atlas Notification 1.2.0 .................... SUCCESS [ 39.452 s]
[INFO] atlas-client-v2 1.2.0 .............................. SUCCESS [ 4.233 s]
[INFO] Apache Atlas Graph Database Projects 1.2.0 ......... SUCCESS [ 0.257 s]
[INFO] Apache Atlas Graph Database API 1.2.0 .............. SUCCESS [ 10.832 s]
[INFO] Graph Database Common Code 1.2.0 ................... SUCCESS [ 3.870 s]
[INFO] Apache Atlas JanusGraph DB Impl 1.2.0 .............. SUCCESS [02:11 min]
[INFO] Apache Atlas Graph Database Implementation Dependencies 1.2.0 SUCCESS [ 8.056 s]
[INFO] Shaded version of Apache hbase client 1.2.0 ........ SUCCESS [ 30.243 s]
[INFO] Shaded version of Apache hbase server 1.2.0 ........ SUCCESS [01:15 min]
[INFO] Apache Atlas Authorization 1.2.0 ................... SUCCESS [ 6.001 s]
[INFO] Apache Atlas Repository 1.2.0 ...................... SUCCESS [ 52.256 s]
[INFO] Apache Atlas UI 1.2.0 .............................. SUCCESS [07:17 min]
[INFO] Apache Atlas Web Application 1.2.0 ................. SUCCESS [04:01 min]
[INFO] Apache Atlas Documentation 1.2.0 ................... SUCCESS [01:00 min]
[INFO] Apache Atlas FileSystem Model 1.2.0 ................ SUCCESS [ 11.244 s]
[INFO] Apache Atlas Plugin Classloader 1.2.0 .............. SUCCESS [ 3.209 s]
[INFO] Apache Atlas Hive Bridge Shim 1.2.0 ................ SUCCESS [ 50.307 s]
[INFO] Apache Atlas Hive Bridge 1.2.0 ..................... SUCCESS [ 31.274 s]
[INFO] Apache Atlas Falcon Bridge Shim 1.2.0 .............. SUCCESS [ 51.045 s]
[INFO] Apache Atlas Falcon Bridge 1.2.0 ................... SUCCESS [ 8.699 s]
[INFO] Apache Atlas Sqoop Bridge Shim 1.2.0 ............... SUCCESS [ 6.696 s]
[INFO] Apache Atlas Sqoop Bridge 1.2.0 .................... SUCCESS [ 8.834 s]
[INFO] Apache Atlas Storm Bridge Shim 1.2.0 ............... SUCCESS [ 11.894 s]
[INFO] Apache Atlas Storm Bridge 1.2.0 .................... SUCCESS [ 10.539 s]
[INFO] Apache Atlas Hbase Bridge Shim 1.2.0 ............... SUCCESS [ 4.298 s]
[INFO] Apache Atlas Hbase Bridge 1.2.0 .................... SUCCESS [ 37.611 s]
[INFO] Apache Atlas Kafka Bridge 1.2.0 .................... SUCCESS [ 3.626 s]
[INFO] Apache Atlas Distribution 1.2.0 .................... SUCCESS [07:46 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 37:36 min
[INFO] Finished at: 2021-10-11T14:10:31+08:00
[INFO] ------------------------------------------------------------------------~~~ # 编译完的软件位置：
[root@hadoop02 ~]# cd /opt/yanqi/software/apache-atlas-sources-1.2.0/distro/target/~~~ # 编译完的软件：
[root@hadoop02 ~]# ls /opt/yanqi/software/apache-atlas-sources-1.2.0/distro/target/
apache-atlas-1.2.0-bin.tar.gz### --- Atlas安装
~~~ 进入编译完成后maven目录下[root@hadoop02 ~]# cd /opt/yanqi/software/apache-atlas-sources-1.2.0/distro/target/
[root@hadoop02 target]# ls apache-atlas-1.2.0-bin.tar.gz
apache-atlas-1.2.0-bin.tar.gz
[root@hadoop02 target]# cp apache-atlas-1.2.0-bin.tar.gz /opt/yanqi/software/~~~ # 解压缩并安装Atlas[root@hadoop02 ~]# cd /opt/yanqi/software/
[root@hadoop02 software]# tar -zxvf apache-atlas-1.2.0-bin.tar.gz -C ../servers/
[root@hadoop02 software]# cd ../servers/
[root@hadoop02 servers]# mv apache-atlas-1.2.0/ atlas-1.2.0~~~ # 配置Atlas环境变量
[root@hadoop02 ~]# vim /etc/profile
##ATLAS_HOME
export ATLAS_HOME=/opt/yanqi/servers/atlas-1.2.0
export PATH=$PATH:$ATLAS_HOME/bin~~~ # 使环境变量生效
[root@hadoop02 ~]# source /etc/profile### --- Atlas启动~~~ # 启动服务(第一次启动服务的时间比较长)
[root@hadoop02 ~]# cd $ATLAS_HOME/bin
[root@hadoop02 bin]# ./atlas_start.py # 启动服务
~~~ 输出参数
configured for local hbase.
hbase started.
configured for local solr.
solr started.
setting up solr collections...
starting atlas on host localhost
starting atlas on port 21000
..............................................................................................................................................................................................................................................................................................................
Apache Atlas Server started!!![root@hadoop02 bin]# ./atlas_stop.py # 关闭服务
[root@hadoop02 bin]# ./solr status # 查看服务状态~~~ # 检查后台进程 (1个atlas、2个HBase、1个solr后台进程)[root@hadoop02 ~]# ps -ef | grep atlas~~~ 启动的进程
/opt/yanqi/servers/atlas-1.2.0/server/webapp/atlas
/opt/yanqi/servers/atlas-1.2.0/hbase/bin/hbase-daemon.sh
org.apache.hadoop.hbase.master.HMaster
/opt/yanqi/servers/atlas-1.2.0/solr/server/solr~~~ # 检查 solr 的状态：[root@hadoop02 ~]# cd /opt/yanqi/servers/atlas-1.2.0/solr/bin
[root@hadoop02 bin]# ./solr status
~~~ 输出参数
Found 1 Solr nodes: Solr process 88510 running on port 9838
{"solr_home":"/opt/yanqi/servers/atlas-1.2.0/solr/server/solr","version":"5.5.1 c08f17bca0d9cbf516874d13d221ab100e5b7d58 - anshum - 2016-04-30 13:28:18","startTime":"2021-10-11T06:31:58.698Z","uptime":"0 days, 0 hours, 28 minutes, 56 seconds","memory":"28.9 MB (%5.9) of 490.7 MB","cloud":{"ZooKeeper":"localhost:2181","liveNodes":"1","collections":"3"}}~~~ # 检查zookeper状态：[root@hadoop02 ~]# echo stat| nc localhost 2181
四、Atlas.UI管理界面
### --- Web服务：http://hadoop02:21000/login.jsp~~~ 用户名 / 口令：admin / admin
~~~ 后台管理UI
五、设置Atlas服务的用户名及口令
### --- 设置Atlas服务的用户名和口令~~~ # 账号的信息存储在文件 conf/users-credentials.properties 中。
[root@hadoop02 ~]# cd /opt/yanqi/servers/atlas-1.2.0/
[root@hadoop02 atlas-1.2.0]# vim conf/users-credentials.properties
~~~ 用户名口令参数
#username=group::sha256-password
admin=ADMIN::8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918
rangertagsync=RANGER_TAG_SYNC::e3f67240f5117d1753c940dae9eea772d36ed5fe9bd9c94a300e40413f1afb9d~~~ # 其中 Password 通过如下方式产生sha256sum 摘要信息：[root@hadoop02 ~]# echo -n "admin" | sha256sum
8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918 -
[root@hadoop02 ~]# echo -n "rangertagsync" | sha256sum
e3f67240f5117d1753c940dae9eea772d36ed5fe9bd9c94a300e40413f1afb9d -CC00068.pbpositions——|HadoopPB级数仓.V02|——|PB数仓.v02|元数据管理工具Atlas|部署配置|账户密码|相关推荐
- CC00053.pbpositions——|HadoopPB级数仓.V11|——PB数仓.v11|核心交易分析|DIM层建表|加载数据|
一.DIM层建表加载数据:DIM层建表加载数据概述 ### --- 首先要确定哪些是事实表.哪些是维表.绿色的是事实表,灰色的维表~~~ 用什么方式处理维表,每日快照.拉链表? ~~~ 小表使用每日快 ...
- 实时数仓与离线数仓总结(一)
精选30+云产品,助力企业轻松上云!>>> 今天主要聊聊数仓的基础知识,分为两篇文章介绍,这是第一篇. 主要内容: 数仓基本概念 数仓架构演变 实时数仓和离线数仓的区别 数仓基本概念 ...
- 看这篇就明白大数据实时数仓、离线数仓、数据湖之间的关系
数仓架构演变 20世纪70年代,MIT(麻省理工)的研究员致力于研究一种优化的技术架构,该架构试图将业务处理系统和分析系统分开,即将业务处理和分析处理分为不同层次,针对各自的特点采取不同的架构设计原则 ...
- 数据治理系列：数仓建模之数仓主题与主题域
背景: 数据仓库之父 Bill Inmon 将数据仓库描述为一个面向主题的.集成的.稳定的.反应历史变化的数据集合,用于支持管理者的决策过程. 从上面的引言里面,我们其实可以知道主题在数仓建设里面绝对 ...
- 数仓 调度_数仓调度研究-总论
作为一个IT从业不满三年的菜鸟,可能写类似总结性的文章还是比较费力,但是我还是想尝试写一篇比较出色总结,那么我讲从数据调度N个方面依次详细讲述ETL调度问题. 回答内容如下: 1.什么是数据调度 2. ...
- 数仓(二)：数仓构建流程、数据中台建设
一.面临的挑战 数据中台,目的总结下来一句话:通过服务化的方式增强数据的共享能力以实现数据的复用,解决数据研发.数据分析.数据运营时碰到的痛点问题: 指标口径定义不一致 数据研发效率低问题 数据质量问 ...
- 埋点、数仓到中台：数据体系的从0到1
本文由作者 董小矿 于社区发布 前言:有幸深度参与了公司从无数据,到有数据,到开始重视数据,最后能够尊重数据结果,参考数据进行决策的过程.本篇文章是笔者在这个过程中,作为数据产品搭建数据指标体系,如何 ...
- 数据仓库系列文章一：浅谈数仓设计
数仓设计指对数据仓库的各项组成进行规划,在正式建设数仓之前形成指导性建设方案. 数仓设计主要分为两部分:数据仓库同操作型业务系统的数据接口设计和数仓自身建设设计. 本文从多个方面探讨数仓的设计要点,给 ...
- 数仓建模—数仓架构发展史(02)
发展史 时代的变迁,生死的轮回,历史长河滔滔,没有什么是永恒的,只有变化才是不变的,技术亦是如此,当你选择互联网的那一刻,你就相当于乘坐了一个滚滚向前的时代列车,开往未知的方向,不论什么样的技术架构只 ...
最新文章
- 各常用分类算法的优缺点总结:DT/ANN/KNN/SVM/GA/Bayes/Adaboosting/Rocchio
- shd_config ssh设置（ssh客户端连接服务器断开）
- 使用Java 8防止日志过宽
- 在switch语句中，case后的标号只能是什么？
- php请求api获取返回值,我用curl请求接口获取返回值，但是不成功，大神给看看怎么调取？...
- Ubuntu上 anaconda的卸载
- ElasticSearch-5.3.1集群环境搭建，安装ElasticSearch-head插件，安装错误解决
- asa清空配置_Cisco ASA 管理配置文件
- 【C#】wpf自定义calendar日期选择控件的样式
- scala type关键字用于起别名
- 09 Softmax回归+损失函数
- python交互式shell之jupyter notebook初步安装使用
- win10系统无法自动修复启动解决方案
- C#窗体应用显示用户sa登录失败
- Hexo+Github搭建博客总结
- Linu基本知识（二）——Linux系统以及相关命令
- 10+ 张图来探究 Linux 内核，以及如何高效学习
- 疫情又又又来了，看我爬取京东6000款口罩，来看看那一款最适合你
- 小米9私密相册怎么找_小米手机私密相册怎么用?怎么打开查看?
- 学校教材订购系统课程设计