基于cloudera搭建大数据集群（docker）记录

1、安装docker

安装最新稳定版的

# step 1: 安装必要的一些系统工具
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
# Step 2: 添加软件源信息
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# Step 3: 更新并安装Docker-CE
sudo yum makecache fast
sudo yum -y install docker-ce
# Step 4: 开启Docker服务
sudo service docker start

安装指定版

#step 1:查看仓库中docker的版本
yum list docker-ce.x86_64 --showduplicates | sort -r
#step 2：安装指定版本docker
yum install -y docker-ce-18.09.9 docker-ce-cli-18.09.9 containerd.io

2、基于docker搭建cloudera（sudo权限）

#step1：拉取cloudera镜像
sudo docker pull cloudera/quickstart:latest#如果pull的过程过于缓慢，修改镜像源，#在 /etc/docker/daemon.json 文件中添加以下参数（没有该文件则新建）：{"registry-mirrors": ["https://9cpn8tt6.mirror.aliyuncs.com"]}#服务重启：systemctl daemon-reloadsystemctl restart docker#step2: 创建容器
sudo docker run -t -i -d
--name cdh
--hostname=quickstart.cloudera
--privileged=true
-v /data/CDH:/src
-p 8020:8020 -p 8022:8022 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8890:8890 -p 60010:60010 -p 10002:10002 -p 25010:25010 -p 25020:25020 -p 18088:18088 -p 8088:8088 -p 19888:19888 -p 7187:7187 -p 11000:11000 -p 8888:8888 cloudera/quickstart
/bin/bash -c '/usr/bin/docker-quickstart'

其中

Option	Description
–hostname=quickstart.cloudera	Required: Pseudo-distributed configuration assumes this hostname.容器主机名（/etc/hosts中指定hostname）。
–privileged=true	Required: For HBase, MySQL-backed Hive metastore, Hue, Oozie, Sentry, and Cloudera Manager.这是Hbase组件需要的模式。
-t	Required: Allocate a pseudoterminal. Once services are started, a Bash shell takes over. This switch starts a terminal emulator to run the services.
-i	Required: If you want to use the terminal, either immediately or connect to the terminal later.
-p 8888	Recommended: Map the Hue port in the guest to another port on the host.端口映射参数。格式：-p 8888:8888，：左侧端口为本机端口，：右侧为docker集群端口
-p [PORT]	Optional: Map any other ports (for example, 7180 for Cloudera Manager, 80 for a guided tutorial).
-d	Optional: Run the container in the background.容器后台启动。
–name	容器的名字
-v host_path:container_path	主机上目录挂载到容器中目录上，主机上该放入任何东西，Docker容器中对于目录可以直接访问。

CDH端口汇总

service name	parameter	port number
HBase REST Server Port	hbase.rest.port	20550
HBase REST Server Web UI Port	hbase.rest.info.port	8085
HBase Thrift Server Port	hbase.regionserver.thrift.port	9090
HBase Thrift Server Web UI Port	hbase.thrift.info.port	9095
HBase Master Port	hbase.master.port	60000
HBase Master Web UI Port	hbase.master.info.port	60010
HBase RegionServer Port	hbase.regionserver.port	60020
HBase RegionServer Web UI port	hbase.regionserver.info.port	60030
DataNode Protocol Port	dfs.datanode.ipc.address	50020
DataNode Transceiver Port	dfs.datanode.address	50010
DataNode HTTP Web UI Port	dfs.datanode.http.address	50075
Secure DataNode Web UI Port (TLS/SSL)	dfs.datanode.https.address	50475
REST Port	hdfs.httpfs.http.port	14000
Administration Port	hdfs.httpfs.admin.port	14001
JournalNode RPC Port	dfs.journalnode.rpc-address	8485
JournalNode HTTP Port	dfs.journalnode.http-address	8480
Secure JournalNode Web UI Port (TLS/SSL)	dfs.journalnode.https-address	8481
NFS Gateway Server Port	nfs3.server.port	2049
NFS Gateway MountD Port	nfs3.mountd.port	4242
Portmap (or Rpcbind) Port	-	111
NameNode Port	fs.default.name, fs.defaultFS	8020
NameNode Service RPC Port	dfs.namenode.servicerpc-address	8022
NameNode Web UI Port	dfs.http.address, dfs.namenode.http-address	50070
Secure NameNode Web UI Port (TLS/SSL)	dfs.https.port	50470
SecondaryNameNode Web UI Port	dfs.secondary.http.address, dfs.namenode.secondary.http-address	50090
Secure SecondaryNameNode Web UI Port (TLS/SSL)	dfs.secondary.https.port	50495
HBase Indexer HTTP Port	hbaseindexer.http.port	11060
Solr HTTP Port	solr_http_port	8983
Solr Admin Port	-	8984
Solr HTTPS port	solr_https_port	8985
Client Port	clientPort	2181
Quorum Port	-	3181
Election Port	-	4181
JMX Remote Port	-	9010

在创建容器的时候，如果run后有error，名字会被占用，需要remove掉已创建的container后重新run

#查看当前已启动的container
docker ps -a
#rm掉选择的container
docker rm container_id

3、开启cloudera manager

#启动的cdh
sudo docker start CONTAINER_ID
#进入已启动的cdh container
sudo docker exec -it CONTAINER_ID /bin/bash
# [root@quickstart /] #
#运行cloudera-manager
sudo /home/cloudera/cloudera-manager --force --enterpise

启动后可通过浏览器访问：IP：7180，其中7180为cloudera-manager的端口，连接后username：cloudera，passwd：cloudera

如图：

启动集群组件服务：HDFS、Hive、Hue、Yarn等

4、在客户端测试组件使用

创建test.py文件

from hdfs.client import Client
client = Client("http://192.168.31.3:50070", root="/", timeout=100)
print(client.list("/"))

返回hdfs系统中的路径

5、安装kafka

https://blog.csdn.net/nevergiveup54/article/details/50545020

基于cloudera搭建大数据集群（docker）记录相关推荐

纯手动搭建大数据集群架构_记录011_搭建Nifi_安装部署_搭建集群---大数据之Hadoop3.x工作笔记0172
可以看到左侧,把nifi安装包先上传到服务器,然后,去解压,一样放到opt/software目录,然后解压到/opt/module目录然后去修改这个配置文件nifi.properties,然后然后 ...
关于在真实物理机器上用cloudermanger或ambari搭建大数据集群注意事项总结、经验和感悟心得（图文详解）...
真实物理机器搭建不能上述虚拟机里创建用户方式了.要如下操作: ubuntu和windows一样,可以任意创建或者删除新的用户,windows下比较简单,ubuntu下需要使用命令,不过操作起来不是很 ...
搭建大数据集群linux服务器配置步骤
1.IP设置使用下面命令修改添加示例内容命令: vi /etc/sysconfig/network-scripts/ifcfg-ensXX 修改添加的内容示例: BOOTPROTO=static ...
全网最详细的Hadoop大数据集群搭建并进行项目分析(基于完全分布式)-----第一部分
##心路历程:这是大学时期做的项目,这个项目对我印象特别的深,当时没有记录在博客上,今后会积极分享自己做项目的历程与经验,希望能帮到需要的朋友,有什么问题或者建议欢迎在评论区留言,废话不多说,咱们就开 ...
全网最详细的Hadoop大数据集群搭建并进行项目分析(基于完全分布式)---终结篇
##所有需要的资料全部已上传到百度网盘上,请自行下载## 获取镜像,https://pan.baidu.com/s/1ho4hMrvIu1V6W4wWdH8nIA,提取码:ygyg 获取Xshell, ...
全网最详细的Hadoop大数据集群搭建并进行项目分析(基于完全分布式)---第二部分
##所有需要的资料全部已上传到百度网盘上,请自行下载## 获取镜像,https://pan.baidu.com/s/1ho4hMrvIu1V6W4wWdH8nIA,提取码:ygyg 获取Xshell, ...
小知识点：ARM 架构 Linux 大数据集群基础环境搭建（Hadoop、MySQL、Hive、Spark、Flink、ZK、Kafka、Nginx、Node）
换了 M2 芯片的 Mac,以前 x86 版本的 Linux 大数据集群基础环境搭建在 ARM 架构的虚拟机集群上有些用不了了,现在重新写一份基于 ARM 架构的,少数不兼容之外其他都差不多,相当 ...
1、大数据集群搭建之----jdk安装和zookeeper集群安装
这里废话不多说,上来就干.(如果配置不成功或遇到问题,可以留言,共同解决问题) 我的百度网盘里面有所有的用到的软件,永久有效无加密. https://pan.baidu.com/s/1pqW6bHxh ...
全网最详细的大数据集群环境下如何正确安装并配置多个不同版本的Cloudera Hue（图文详解）...
不多说,直接上干货! 为什么要写这么一篇博文呢? 是因为啊,对于Hue不同版本之间,其实,差异还是相对来说有点大的,具体,大家在使用的时候亲身体会就知道了,比如一些提示和界面. 全网最详细的大数据集群 ...

基于cloudera搭建大数据集群（docker）记录

基于cloudera搭建大数据集群（docker）记录相关推荐

最新文章

热门文章