大数据之Atlas元数据管理

背景：

公司做数据仓库时，管理自己多张表时，需要使用数仓元数据管理系统进行管理。

一、Atlas简介

Atlas 是一个可伸缩且功能丰富、开源的元数据管理系统，深度对接了 Hadoop 大数据组件。

atlas 本身从技术上来说，就是一个典型的 JAVA WEB 系统，其整体结构图如下所示：

janusGraph （底层存储） ：依赖于 hbase 和 solr
core （核心功能层）： 相当于 javaee 里面的 service 层
integration（对外提供服务）：相当于 javaee 里面的 controller 层

二、Atlas安装

1、下载源码包，并上传到linux，解压

tar -zxf apache-atlas-2.0.0-sources.tar.gz -C /opt/app/

2、执行 maven 编译打包

[root@h4 ~]# cd apache-atlas-sources-2.0.0/
[root@h4 apache-atlas-sources-2.0.0]# export MAVEN_OPTS="-Xms2g -Xmx2g"
[root@h4 apache-atlas-sources-2.0.0]# mvn clean -DskipTests package -Pdist,embedded-hbase-solr

3、Atlas 安装配置

若是之前安装了zookeeper，kafka，hbase直接启动就行

4、安装solr

[root@h3 solr]# bin/solr start -c -z h1:2181,h2:2181,h3:2181 -p 8984 -force

初始化 solr 中的索引数据

${SOLR}/bin/solr create -c vertex_index -shards 1 -replicationFactor 1 -force
${SOLR}/bin/solr create -c edge_index -shards 1 -replicationFactor 1 -force
${SOLR}/bin/solr create -c fulltext_index -shards 1 -replicationFactor 1 -force

5、配置及启动 atlas

上传 atlas 编译好之后的安装包

sftp> put d:/apache-atlas-bin-2.0.0.tar.gz /root/

修改配置文件

vi atlas-env.sh

export JAVA_HOME=/opt/app/jdk1.8.0_191/
export MANAGE_LOCAL_HBASE=false (如果要使用内嵌的 zk 和 hbase，则改为 true)
export MANAGE_LOCAL_SOLR=false （如果要是用内嵌的 solr，则改为 true）
export HBASE_CONF_DIR=/opt/apps/hbase-2.0.6/conf

vi atlas-application.properties

# Hbase 地址配置
atlas.graph.storage.hostname=doitedu01:2181,doitedu02:2181,doitedu03:2181
（如果使用内嵌 hbase，则填写 localhost:2181）
# Solr 地址配置
#Solr http mode properties
atlas.graph.index.search.solr.mode=http
atlas.graph.index.search.solr.http-urls=http://h3:8984/solr（solr 服务地址）
# Kafka 地址配置
atlas.notification.embedded=false （如果要使用内嵌的 kafka，则改为 true）
atlas.kafka.zookeeper.connect=doitedu01:2181,doitedu02:2181,doitedu03:2181
atlas.kafka.bootstrap.servers=doitedu01:9092,doitedu02:9092,doitedu03:9092######### Server Properties #########
atlas.rest.address=http://doitedu01:21000

启动 atlas

[root@h3 apache-atlas-2.0.0]#

大数据之Atlas元数据管理相关推荐

数据治理之元数据管理的利器——Atlas入门宝典（万字长文）
随着数字化转型的工作推进,数据治理的工作已经被越来越多的公司提上了日程.作为Hadoop生态最紧密的元数据管理与发现工具,Atlas在其中扮演着重要的位置.但是其官方文档不是很丰富,也不够详细.所以整 ...
数据治理之元数据管理的利器——Atlas入门宝典
随着数字化转型的工作推进,数据治理的工作已经被越来越多的公司提上了日程.作为Hadoop生态最紧密的元数据管理与发现工具,Atlas在其中扮演着重要的位置.但是其官方文档不是很丰富,也不够详细.所以整 ...
深度 | 面向云原生数据湖的元数据管理技术解析
简介: 作者:沐远.明惠背景数据湖当前在国内外是比较热的方案,MarketsandMarkets市场调研显示预计数据湖市场规模在2024年会从2019年的79亿美金增长到201亿美金.一些企业已经 ...
大数据如何改变商业管理
Susan Athey:大数据如何改变商业管理 Intetix Foundation(英明泰思基金会)由从事数据科学.非营利组织和公共政策研究的中国学者发起成立,致力于通过数据科学改善人类社会和自然环 ...
大数据统计分析毕业设计_大数据时代的成绩管理与数据分析毕业设计论文
I 大数据时代的成绩管理与数据分析专业:通信工程摘要随着新世纪我们进入信息时代以来,科学技术越来越发达.在社会的各个层次,都在加强自身的信息化管理.现在的信息管理系统已经成为各行各业中应用非 ...
大数据时代的差旅管理，看蜘蛛差旅如何精细化运作？
随着中国经济转型的持续进行,越来越多的中小企业在"节流"时,将差旅成本作为人工成本外的第二大关注点.根据蜘蛛差旅对平台3500+企业用户的研究分析发现:随着中小企业商旅意识不断提升 ...
广东横琴新区地税局打造“大数据下纳税遵从管理”
广东横琴自贸区自挂牌成立以来,登记注册企业已超20000家,其中已引进和在洽谈的世界500强企业52家,国内500强投资企业76家,各类企业总部858家."自贸区效应"带来了区域发 ...
“智慧城管”初探:大数据时代的城市管理创新
随着移动互联网.云计算和物联网等快速发展,以及智能终端.视频监控.应用商店等快速普及,全球数据量出现爆炸式增长,"大数据"的概念应运而生,维克?托迈尔-舍恩伯格在<大数据时代 ...
数据治理【元数据管理】
目录 1.认识元数据 2.元数据的分类 3.元数据管理成熟度评估模型 4.元数据管理平台架构 4.1 元数据采集服务 4.2 元模型驱动的设计与开发 4.3 元数据管理服务 4.4 元数据访问服务 4 ...
兰州办着眼大数据切实提升数据分析管理能力
近年来,审计署驻兰州特派员办事处着眼以大数据为核心的信息化建设新背景,努力培养审计人员的大数据意识,提高分析能力,规范数据管理,切实提高信息化水平,助力审计成果再上新台阶. 转换思维,树立大数据分析意 ...

大数据之Atlas元数据管理

大数据之Atlas元数据管理相关推荐

最新文章

热门文章