为什么要做数据治理? 业务繁多,数据繁多,业务数据不断迭代。人员流动,文档不全,逻辑不清楚,对于数据很难直观理解,后期很难维护。
在大数据研发中,原始数据就有着非常多的数据库,数据表。
而经过数据的聚合以后,又会有很多的维度表。如果想要对这些数据做好管理,光用文字、文档等东西是不够的,必须用图。
Atlas就是把元数据变成图的工具。http://atlas.apache.org/

Atlas是一组可扩展和可扩展的核心基础治理服务,使企业能够有效地满足Hadoop中的合规性要求,并允许与整个企业数据生态系统集成。
Apache Atlas为组织提供开放的元数据管理和治理功能,以建立其数据资产的目录,对这些资产进行分类和治理,并为数据科学家,分析师和数据治理团队提供围绕这些数据资产的协作功能。
那么如何安装并使用Altas呢?
Atlas的安装坑较多,本教程将详细介绍Atlas2.1.0整个安装过程,有任何问题欢迎关注 实时流式计算
后台留言~

下载

请前往官网 https://atlas.apache.org/#/Downloads
下载对应版本的源码包 本文使用最新的 2.1.0版本

国内站点 速度要快一些https://mirrors.tuna.tsinghua.edu.cn/apache/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz

编译

比较难受的是 Atlas不提供安装包 下载的是源码包 需要自行编译打包
注意,需要先安装maven,因为这是使用maven开发的java web工程。maven3.6.3版本即可
安装maven
一些下载地址http://maven.apache.org/download.cgihttps://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz上传到linux的/usr/local目录
cd /usr/local解压文件
tar -zxvf apache-maven-3.6.3-bin.tar.gz配置环境变量
vi /etc/profile
export MAVEN_HOME=/usr/local/apache-maven-3.6.3 export PATH=MAVEN_HOME/bin:PATH刷新环境变量
source /etc/profile检查版本
mvn -v

配置好maven的环境变量 注意国内需要配置好maven的国内镜像,一般使用阿里,华为,清华等镜像 vi /usr/local/apache-maven-3.6.3/conf/settings.xml
<mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url> <mirrorOf>central</mirrorOf> </mirror>
把这个setting.xml 拷贝到 ~/.m2/
cp settings.xml .m2/
编译Atlas
解压源码包
tar -zxvf apache-atlas-2.1.0-sources.tar.gz
1.修改atlas源码工程的pom.xml
将hbase zookeeper hive等依赖的版本修改成自己环境中一致的版本(或者兼容的版本)
父工程pom文件 <zookeeper.version>3.4.14</zookeeper.version> <hbase.version>2.2.3</hbase.version> <solr.version>7.7.2</solr.version>
2.执行maven编译打包
atlas可以使用内嵌的hbase-solr作为底层索引存储和搜索组件,也可以使用外置的hbase和solr 如果要使用内嵌的hbase-solr,则使用如下命令进行编译打包 cd apache-atlas-sources-2.1.0/ export MAVEN_OPTS="-Xms2g -Xmx2g" mvn clean -DskipTests package -Pdist,embedded-hbase-solr
不用内置就这样 mvn clean -DskipTests package -Pdist
改完路径还会非常快的 耐心等待

atlas的webui子模块中依赖了nodejs,会从nodejs的中央仓库去下载相关依赖库
编译完成之后,会产生打包结果,所在位置是:源码目录中的新出现的distro/target目录

  • 注意,这里产出的有压缩包也有解压后的包。这里面的hook包,可以看到有各种平台的hook包。
  • 顾名思义,这就是钩子包,也就是各个大数据框架会提供各种生命周期回调函数,并且将相关信息以数据方式提供出来。这些钩子就可以去监听和接收数据

如果没有错误 并看到一排success就是成功了

踩坑大全:
包下载失败
在Atlas编译过程中,遇到最多的就是包下载失败的问题,这和当前网络有很大的关系。
选择网速较好的网络。

还有一种解决办法就是去官网上找一下,如果真没有就切换到争取的maven源

了解大数据实时计算 感受数据流动之美 欢迎关注 实时流式计算

源码编译打包_Atlas 2.1.0 实践(1)—— 编译Atlas相关推荐

  1. Android源码定制(1)——Android6.0源码编译

    一.前言 最近在研究Xposed框架定制,恰好又看到看雪上两个大佬关于源码定制和Xposed源码定制的帖子,所以尝试基于Android6.0版本,详细记录一下从源码下载到Xposed框架定制的全过程. ...

  2. 一起用python做个炫酷音乐播放器【V3.0含源码及打包exe】

    前言 熟悉的小伙伴都知道,前段时间写了一篇关于音乐播放器的文章–Python自制一款炫酷音乐播放器.不少小伙伴私信我,对播放器提了一些改进建议,对播放器的一些逻辑bug优化完善.今天音乐播放器3.0版 ...

  3. Gtk+2 Hello World:从源码到打包发布

    Gtk+2 Hello World:从源码到打包发布 1.创建源代码 [zechen11@Arch ~]$ mkdir hello[zechen11@Arch ~]$ cd hello[zechen1 ...

  4. 老是说我编译版本不够_Atlas 2.1.0 实践(1)—— 编译Atlas

    为什么要做数据治理?业务繁多,数据繁多,业务数据不断迭代.人员流动,文档不全,逻辑不清楚,对于数据很难直观理解,后期很难维护. 在大数据研发中,原始数据就有着非常多的数据库,数据表. 而经过数据的聚合 ...

  5. 内核源码包打包成rpm方式

    内核源码包打包成rpm方式 文章目录 内核源码包打包成rpm方式 第一部分,rpm包简单定制 一.rpm 制作前的环境准备 二.准备内核的源代码组件 1.下载地址 https://www.kernel ...

  6. 【Android 10 源码】healthd 模块 HAL 2.0 分析

    Android 9 引入了从 health@1.0 HAL 升级的主要版本 android.hardware.health HAL 2.0.这一新 HAL 具有以下优势: 框架代码和供应商代码之间的区 ...

  7. PCL-1.8.1从源码搭建开发环境三(QHULL库的编译)

    原文首发于微信公众号「3D视觉工坊」:PCL-1.8.1从源码搭建开发环境三(QHULL库的编译) 首先,介绍一下QHull库. QHull是一个开源的程序软件,用来研究解决凸包问题,生成凸包形体.官 ...

  8. PCL-1.8.1从源码搭建开发环境二(FLANN库的编译)

    原文首发于微信公众号「3D视觉工坊」,PCL-1.8.1从源码搭建开发环境二(FLANN库的编译) 首先,快速近似最近邻搜索库FLANN-Fast Library for Approximate Ne ...

  9. 插件一:JAVA微信砍价活动源码分享[商品帮砍到0元,免费领取奖品]

    插件一:微信砍价活动源码分享 [商品帮砍到0元,免费领取奖品] 活动描述: 砍价活动即公众号向粉丝推广的0价赠商品(或优惠价购商品)活动,用户通过分享好友帮其砍价,可将价格从原价一路砍到底价,并抢得名 ...

最新文章

  1. class h5 点击后样式变化_css实现选中后变色并且效果不消失
  2. linux 安装sap,Solman系列 安装SAP Solution Manager 7.1 on Suse Linux
  3. jquery实战-定宽(二)
  4. Web开发系列 - JSON
  5. Spring整合ibatis的配置
  6. React 中的父子组件 兄弟组件传值
  7. 甜品果汁饮品拍摄设计海报,美如蓬莱仙境!
  8. CentOS下Apache服务器的安装与配置
  9. 展开收起js动画效果
  10. python 打印的异常回溯和代码不对应
  11. 仿任务面板 跨多个RecyclerView的Item拖动 支持缩小后拖动
  12. Linux 命令行连接蓝牙
  13. python猜数字游戏编程 可猜次数用户说继续 则程序继续_python猜数字游戏
  14. Fone Monkey的配置
  15. EXCEL清除全表格式
  16. conda创建Python虚拟环境
  17. require.js的用法:
  18. android手机刷win10吗,有哪些手机可以刷win10系统?Android机上将可刷Win10?
  19. 机器人自己造自己,像搭积木一样轻松 | MIT
  20. Linux 安装conda踩的那些坑

热门文章

  1. 深入AsyncTask
  2. pycharm创建python虚拟环境好处_PyCharm虚拟环境创建Django2项目一些问题的解决方案...
  3. 计算机考试辽宁2020,报名辽宁2020年9月计算机考试流程
  4. php+go+to,让phpstrom支持codeigniter框架实现 (GO TO )转到定义的功能
  5. 4 合并grid列_Grid教程
  6. 怎样获取php页面get的值,PHP循环获取GET和POST值的代码
  7. 7a系列mrcc xilinx_artix-7A200T的输入时钟(50M)管脚接到MRCC的N端了,怎么解决?
  8. 博途数据类型wstring怎么用_解析博图数据块(昆仑通态触摸屏自动命名)
  9. python怎样算学的好_python怎么学习好
  10. Windows函数:PtrToUlong作用