安装前环境准备

hadoop 3.1.0
hbase 2.3.4
hive 3.1.3
solr 7.7.3
zookeeper 3.5.7
kafka
2.11-2.4.1
atlas 2.3.0

大数据组件准备

**提示：apache组件历史版本下载地址https://archive.apache.org/dist/组件名字**
**例如：hadoop：https://archive.apache.org/dist/hadoop**

都需要配置环境变量

hadoop安装部署

下载地址
```
https://archive.apache.org/dist/hadoop
```

配置
1. 编辑 hadoop-env.sh，设置JAVA_HOME环境变量
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.312.b07-1.el7_9.x86_64/jre,

 2. 编辑hdfs-site.xml文件```<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/opt/tool/hadoop-3.1.3/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/opt/tool/hadoop-3.1.3/tmp/dfs/data</value></property></configuration>```3. 编辑yarn-site.xml文件`<configuration>``<property>``<name>yarn.nodemanager.aux-services</name>``<value>mapreduce_shuffle</value>``</property>``</configuration>`

启动
cd sbin
start-dfs.sh
start-yarn.sh 或者 start-all.sh

zookeeper安装部署
- 下载地址
  https://archive.apache.org/dist/zookeeper
- 配置
  1. zoo.example.cfg 改为 zoo.cfg
  2. 在zoo.cfg里配置：dataDir=/opt/tool/apache-zookeeper-3.5.7-bin/data
    logDir=/opt/tool/apache-zookeeper-3.5.7-bin/log
- 启动
  zkServer.sh start
kafka安装部署

下载地址
https://archive.apache.org/dist/kafka
配置
编辑server.properties
1. listeners=PLAINTEXT://127.0.0.1:9092
2. broker.id=1
如果不是本机的zookeeper，还需要配置zookeeper.properties文件
启动
cd bin
./kafka-server-start.sh -daemon ../config/server.properties

hbase安装部署
- 下载地址
- 配置
  1. hbase-env.sh文件最后追加 export HBASE_MANAGES_ZK=false // 不使用自己的zookeeper
  2. hbase-site.xml中添加
  <property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
  </property>
  <property>
  <name>hbase.wal.provider</name>
  <value>filesystem</value>
  </property>
- 启动
  start-hbase.sh
Solr安装部署
- 下载地址
- 配置
  1. 创建系统用户 solr
  sudo useradd solr //增加solr用户
  echo solr | sudo passwd --stdin solr //设置密码为solr
  2. 修改 solr 目录的所有者为 solr 用户
  sudo chown -R solr:solr /opt/module/solr
- 启动
  注意：启动前需要先启动zookeeper
  sudo -i -u solr /opt/module/solr/bin/solr start
  出现 **Happy Searching! **字样表明启动成功。
  访问 web 页面，默认端口为 8983，http://localhost:8983
hive安装部署
- 下载地址
- 配置
  1. hive-site.xml文件配置mysql信息
  <configuration>
  <property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>
  </property>
  <property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
  </property>
  <property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>root</value>
  </property>
  <property>
  <name>hive.exec.post.hooks</name>
  <value>org.apache.atlas.hive.hook.HiveHook</value>
  </property>
  </configuration>
  2. hive-env.sh文件
  export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.312.b07-1.el7_9.x86_64/jre
- 启动
  schematool -dbType mysql -initSchema 初始化hive到mysql中
  hive --version 先检查hive版本（配置环境变量/etc/profile）
  hive --service metastore &

Atlas集成

1. 源码编译`mvn clean -DskipTests package -Pdist`2. **Apache Atlas集成HBase***             在atlas-application.properties中配置`atlas.graph.storage.backend=hbase2``atlas.graph.storage.hbase.table=apache_atlas_janus* ``atlas.graph.storage.hostname=localhost:2181`  这里是zookeeper的地址`atlas.graph.storage.hbase.regions-per-server=1``atlas.graph.storage.lock.wait-time=10000`*             拷贝hbase的配置文件hbase-site.xml到atlas的conf/hbase*             修改atlas的环境变量配置信息，添加hbase的配置文件目录 `vi atlas-env.sh``export HBASE_CONF_DIR=指向上面一步的路径，hbase-site.xml的路径`
3. **Apache Atlas集成Solr***             默认是配置solr cloud，由于实验是单机环境部署，改为http模式：`atlas.graph.index.search.backend=solr``atlas.graph.index.search.solr.mode=http``atlas.graph.index.search.solr.http-urls=http://localhost:8983/solr`*            将Apache Atlas自带的Solr文件夹拷贝到外部Solr相应目录下，并重命名为atlas_conf`cp -rf solr 目标路径``全目标路径solr create -c vertex_index -d /atlas_conf `*             Solr页面验证
4. **Apache Atlas集成Kafka***           修改Notification Configs`atlas.notification.embedded=false`  使用内置的kafka，默认true，指定false`atlas.kafka.data=/Users/shaozhipeng/Development/pseudo/kafka/kafka-logs``atlas.kafka.zookeeper.connect=localhost:2181` zookeeper的地址`atlas.kafka.bootstrap.servers=localhost:9092` kafka地址`atlas.kafka.zookeeper.session.timeout.ms=4000`5.   **Apache Atlas Server其它配置***          修改Server Properties`atlas.rest.address=http://localhost:21000``atlas.server.run.setup.on.start=false``atlas.audit.hbase.tablename=apache_atlas_entity_audit``atlas.audit.zookeeper.session.timeout.ms=1000``atlas.audit.hbase.zookeeper.quorum=localhost:2181`*          修改atlas-log4j.xml，去掉注释`<appender name="perf_appender" class="org.apache.log4j.DailyRollingFileAppender">``<logger name="org.apache.atlas.perf" additivity="false">`在文件中搜索这两处 解开注释
6. **Apache Atlas 集成 Hive**其主要工作是同步各服务（主要是 Hive）的元数据，并构建元 数据实体之间的关联关系，然后对所存储的元数据建立索引，最终未用户提供数据血缘查看及元数据检索等功能。

Atlas 在安装之初，需手动执行一次元数据的全量导入，后续 Atlas 便会利用 Hive Hook 增量同步 Hive 的元数据。
hook-bin/import-hive.sh 这个文件在::distro/target/apache-atlas-2.0.0-hive-hook::
按提示输入用户名：admin；输入密码：admin
Enter username for atlas :- admin
Enter password for atlas :- admin
等待片刻，出现以下日志，即表明导入成功:
::Hive Meta Data import was successful!!!::

      atlas的配置文件atlas-application.properties`######### Hive Hook Configs #######``atlas.hook.hive.synchronous=false``atlas.hook.hive.numRetries=3``atlas.hook.hive.queueSize=10000``atlas.cluster.name=primary`修改hive的配置文件，hive的目录，不是atlas的`<property><name>hive.exec.post.hooks</name><value>org.apache.atlas.hive.hook.HiveHook</value></property>`
7.  **启动Atlas服务**`atlas_start.py` 启动服务`atlas_stop.py` 停止服务看到 `Apache Atlas Server started!!!` 即为启动成功，访问web 21000端口进入管理页面 （可能会有延迟）用户名密码：admin/admin**注意： 有的时候启动成功了也进不去web页面，请排查每个服务的日志报错**

Apache Atlas 2.3.0 安装部署相关推荐

Apache Atlas 1.2.0 安装部署
组件版本: Hive 1.1.0 CDH 5.15.0 Atlas 1.2.0 Centos 8 Maven 3.6.3 文章目录 Java 环境安装 Atlas编译安装下载源码包解压编译 Atl ...
记一次基于Hadoop 3.3.0 安装部署 Spark 3.0.0 分布式集群
一.基本信息官网 http://spark.apache.org/ Apache Spark 官方文档中文版(Spark 2.2.0) http://spark.apachecn.org/#/ Sp ...
MySQL 8.0 安装部署3个注意事项
墨墨导读:本文分享实际案例中MySQL8.0安装部署时最典型的3个问题,希望对大家有帮助. MySQL 8.0 2016年首次发布,2018年GA版本发布也已经4年多的历程,最新版本已经到8.0.21 ...
VMware-vRealize-Log-Insight-8.2.0.0安装部署指南
VMware-vRealize-Log-Insight-8.2.0.0安装部署指南 https://blog.csdn.net/u011775882/article/details/110928142 ...
linux上搭载was应用上传中文文件,受支持的Linux操作系统和WAS ND 9.0安装部署文档的资料说明...
本文档的主要内容详细介绍的是受支持的Linux操作系统和WAS ND 9.0安装部署文档的资料说明. 从was9.0开始支持的最低版本的red hat Linux系统为6.6且仅支持64位操作系统计 ...
CentOS 8下 MySQL 8.0 安装部署（亲测）
MySQL 8正式版8.0.11已发布,官方表示MySQL8要比MySQL 5.7快2倍,还带来了大量的改进和更快的性能!到底谁最牛呢?请看:MySQL 5.7 vs 8.0,哪个性能更牛? 下载地址 ...
apache atlas 2.1.0的安装
1.Atlas 架构原理 2.atlas安装 1)Atlas 官网地址:https://atlas.apache.org/ 2)文档查看地址:https://atlas.apache.org/2.1. ...
Apache HAWQ集群的安装部署
最近Pivotal公司发布了Apache HAWQ的企业版HDB 2.0,因功能强大,性能出色,很多人已经迫不及待想要安装来玩玩了.今天我们就来聊聊怎么部署强大的HAWQ 2.0吧. 企业版的HAWQ ...
Phoenix5.0 安装部署
文章目录概述 Phoenix5.0 shell 安装 Phoenix5.0 shell 使用增删改查 phoenix shell下创建view映射hbase表退出Phoenix psql.py ...

Apache Atlas 2.3.0 安装部署

安装前环境准备

大数据组件准备

Atlas集成

Apache Atlas 2.3.0 安装部署相关推荐

最新文章

热门文章