大数据平台docker一键搭建

想不想快速拥有大数据环境?如何才能一键安装？傻瓜式引导？这里就有你想要的，我们可以使用hortonworks出品的sandbox-hdp来搭建，它是建立在docker环境之上的集群，很轻易的主可以把环境搭建起来。

使用方法

这里我会使用HDP的最新版本3.0.1作为演示,包含的组件版本如下

组件	版本
HDFS	3.1.1
YARN	3.1.1
MapReduce2	3.1.1
Tez	0.9.1
Hive	3.1.0
HBase	2.0.0
Pig	0.16.0
Sqoop	1.4.7
Oozie	4.3.1
ZooKeeper	3.4.6
Storm	1.2.1
Infra Solr	0.1.0
Atlas	1.0.0
Kafka	1.1.1
Knox	1.0.0
Ranger	1.1.0
Spark2	2.3.1
Zeppelin Notebook	0.8.0
Data Analytics Studio	1.0.2.0.0
Druid	1.12.1
Superset	0.23.0

安装步骤

先下载docker镜像(打个预防针:大小占 26G 慢慢下吧哈,但收获很大)

docker pull hortonworks/sandbox-hdp:3.0.1
docker pull hortonworks/sandbox-proxy:1.0

下载启动配置脚本

git clone https://github.com/dounine/sandbox-hdp-3.0.1.git

添加hosts映射

127.0.0.1 sandbox-hdp.hortonworks.com
# 或者是使用公网IP或局域网IP

启动配置

./docker-deploy-hdp265.sh

成功结果

root@lake /s/d/sandbox-hdp-3.0.1# ./docker-deploy-hdp265.sh
+ registry=hortonworks
+ name=sandbox-hdp
+ version=3.0.1
+ proxyName=sandbox-proxy
+ proxyVersion=1.0
+ flavor=hdp
+ echo hdp
+ mkdir -p sandbox/proxy/conf.d
+ mkdir -p sandbox/proxy/conf.stream.d
+ docker pull hortonworks/sandbox-hdp:3.0.1
3.0.1: Pulling from hortonworks/sandbox-hdp
Digest: sha256:7b767af7b42030fb1dd0f672b801199241e6bef1258e3ce57361edb779d95921
Status: Image is up to date for hortonworks/sandbox-hdp:3.0.1
+ docker pull hortonworks/sandbox-proxy:1.0
1.0: Pulling from hortonworks/sandbox-proxy
Digest: sha256:42e4cfbcbb76af07e5d8f47a183a0d4105e65a1e7ef39fe37ab746e8b2523e9e
Status: Image is up to date for hortonworks/sandbox-proxy:1.0
+ '[' hdp == hdf ']'
+ '[' hdp == hdp ']'
+ hostname=sandbox-hdp.hortonworks.com
++ docker images
++ grep hortonworks/sandbox-hdp
++ awk '{print $2}'
+ version=3.0.1
+ docker network create cda
+ docker run --privileged --name sandbox-hdp -h sandbox-hdp.hortonworks.com --network=cda --network-alias=sandbox-hdp.hortonworks.com -d hortonworks/sandbox-hdp:3.0.1
46bf6b414dd3c0fb36a3816eac129219d30d49ea9421898158800e0ab3576048
+ echo ' Remove existing postgres run files. Please wait'                                                                                                              Remove existing postgres run files. Please wait
+ sleep 2
+ docker exec -t sandbox-hdp sh -c 'rm -rf /var/run/postgresql/*; systemctl restart postgresql;'
Failed to restart postgresql.service: Unit not found.
+ sed s/sandbox-hdp-security/sandbox-hdp/g assets/generate-proxy-deploy-script.sh
+ mv -f assets/generate-proxy-deploy-script.sh.new assets/generate-proxy-deploy-script.sh
+ chmod +x assets/generate-proxy-deploy-script.sh
+ assets/generate-proxy-deploy-script.sh
+ uname
+ grep MINGW
+ chmod +x sandbox/proxy/proxy-deploy.sh
+ sandbox/proxy/proxy-deploy.sh
7fa5c4d0737a6b71796fe997baf397d4078907d83fcfaa2a8c0f241772547147

需要先重置一下ambari的密码才能登录

docker exec -ti sandbox-hdp bash
ambari-admin-password-reset #重置密码登录

结果

[root@sandbox-hdp /]# ambari-admin-password-reset
Please set the password for admin:
Please retype the password for admin:                                                                                                                                  The admin password has been set.
Restarting ambari-server to make the password change effective...                                                                                                      Using python  /usr/bin/python
Restarting ambari-server
Waiting for server stop...
Ambari Server stopped
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
Ambari database consistency check started...
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start...................
Server started listening on 8080                                                                                                                                       DB configs consistency check: no errors and warnings were found.

输入帐号密码登录 ambar webUI http://localhost:8080

PS:后续还有其它相关的大数据文章

大数据平台docker一键搭建相关推荐

五个篇章讲明白如何从0到1搭建大数据平台
大家好,我是一哥,整理了一下之前写的搭建大数据平台的5个篇章,请大家收藏,文末可以获取完整PDF版本. 01 如何从0到1搭建大数据平台大数据时代这个词被提出已有10年了吧,越来越多的企业已经完成了 ...
从0到1搭建大数据平台之调度系统
目前大数据平台经常会用来跑一些批任务,跑批处理当然就离不开定时任务.比如定时抽取业务数据库的数据,定时跑hive/spark任务,定时推送日报.月报指标数据.任务调度系统已经俨然成为了大数据处理平台不 ...
创建一个大数据平台的正确姿态
本文来自网易云社区. 面对海量的各种来源的数据,如何对这些零散的数据进行有效的分析,得到有价值的信息一直是大数据领域研究的热点问题.大数据分析处理平台就是整合当前主流的各种具有不同侧重点的大数据处理分 ...
大数据平台安全建设方案分享
随着国家提出大数据促进经济社会转型发展的战略思路,大数据平台建设目前已经是政务信息化建设中的焦点内容,各省级政府依托强大的信息化体系率先做出尝试.大数据平台业务系统搭建之初,作为整个平台稳定.持续运行 ...
基于大数据平台的毕业设计01：基于Docker的HDP集群搭建
前言好多人问我,这种基于大数据平台的xxxx的毕业设计要怎么做.这个可以参考之前写得关于我大数据毕业设计的文章基于大数据平台的毕业设计.这篇文章是将对之前的毕设进行优化. 个人觉得可以分为两个部分. ...
大数据基础——Hadoop大数据平台搭建
文章目录前言 Hadoop大数据平台搭建一．Hadoop原理和功能介绍二．Hadoop安装部署三．Hadoop常用操作总结前言分布式机器学习为什么需求大数据呢?随着海量用户数据的积累,单 ...
Apache开源顶级项目Ambari搭建HDP大数据平台
搭建Hortonworks Data Platform大数据平台 Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项 ...
从0到1搭建大数据平台之监控
大家好,我是脚丫先生 (o^^o) 大数据平台设计中,监控系统尤为重要. 它时刻关乎大数据开发人员的幸福感. 试想如果半夜三更,被电话吵醒解决集群故障问题,那是多么的痛苦!!! 但是不加班是不可能的, ...
rancher搭建cdh6.2大数据平台
文章目录前言说明具体操作 1. 搭建方式 2. 搭建完成结构图 3. 推荐最低配置运行环境 4. 搭建步骤搭建步骤 5. 启动顺序 6. 工作节点添加 7. 持久化存储 8. 集群创建完成后执行以 ...

大数据平台docker一键搭建

使用方法

安装步骤

大数据平台docker一键搭建相关推荐

最新文章

热门文章