spark集群，kafka集群和zookeeper的docker集群快速搭建
2024-06-17 03:04:53
准备操作
安装docker(宿主机)
yum install docker (宿主机时centos用yum管理包)
systemctl daemon-reload(重加载deamon服务，是docker的核心)
systemctl restart docker.service (重启docker服务)
docker常用命令
docker ps -a 查看所有容器
docker search Ubuntu 寻找Ubuntu的镜像
docker pull ubuntu 拉取ubuntu的镜像
docker images 查看所有镜像
docker run -it -v /home:/MyData -h kafka1 -p 9092:9092 --privileged=true --name kafka1 ubuntu
在本机运行容器，共享空间是物理机的/home和容器的/Mydata hostname是kafka1 端口固定9092，给交换空间赋权,容器名是kafka1 镜像是Ubuntu(这是初次启动的命令)
docker run -it -v /home:/mydata -h hadoop1 -p 50070:50070 -p 8088:8088 --privileged=true --name hadoop1 ubuntu
开放多个端口
docker start kafka1 启动kafka1
docker exec -it kafka1 bash
docker kill kafka1 关闭kafka1
docker rm kafka1 删除kafka1
docker commit 6e17cba41586 kafka:v0 提交该容器为镜像
docker image rm 镜像名 删除镜像
apt换源
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-updates main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-backports main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-security main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-security main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-proposed main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse安装zookeeper和kafka
/usr/lib/jvm/java-18-openjdk-amd64 JAVA目录
换源报错apt install ca-certificates
export JAVA_HOME=/usr/lib/jvm/java-18-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME CLASSPATH PATHsources.list在/etc/apt
rm sources.list 删除源文件
touch sources.list 创建源文件
mv回去
apt-get update 更新列表
apt-get upgrade 更新包
apt-get install vim
apt-get install openjdk-18-jdkapt-get install net-tools 可以用ifconfig看ip
apt-get install wget 一会儿用wget下载文件
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz 下载zookeeper
tar -zxvf axxxx 解压到当前目录
修改conf目录zoo——sampe为zoo，配置数据存储地址和日志存储地址
ps -aux |grep zookeeper 查看zookeeper运行情况
./zkServer.sh start
./zkServer.sh stop
./kafka-server-start.sh ../config/server.properties & 启动kafka
在zookeeper bin目录zkCli查看节点 ls /bin/brokers/ids 可以看到节点号
创建topic
./kafka-topics.sh --bootstrap-server kafka1:9092 --topic bigdata --create --partitions 1 --replication-factor 1
从kafka1.0开始，bootstrap参数写要操作的kafka机器的地址。不是zookeeper的地址。
./kafka-topics.sh --list --bootstrap-server kafka1:9092 查看topic list
./kafka-console-producer.sh --bootstrap-server kafka1:9092 --topic bigdata
./kafka-console-consumer.sh --bootstrap-server kafka1:9092 --topic bigdata安装hadoop
先安装java环境和基础组件和wget和ssh
修改hosts
172.17.0.2 kafka1
172.17.0.3 kafka2
172.17.0.4 kafka3
172.17.0.5 hadoop1
172.17.0.6 hadoop2
172.17.0.7 hadoop3wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
vim /etc/profile
export HADOOP_HOME=
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinvim ./etc/hadoop/hadoop.env.sh
添加javahome修改四个配置文件
ssh免密登录是密码bug，手动设置密码就行。用passwd命令查看并设置新密码
三个docker密码都是root
重新修改配置yarn-env.sh
export YARN_RESOURCEMANAGER_OPTS="--add-opens java.base/java.lang=ALL-UNNAMED"
export YARN_NODEMANAGER_OPTS="--add-opens java.base/java.lang=ALL-UNNAMED"
修改yarn-site.xml
修改mappred-site.xmlspark
wget https://dlcdn.apache.org/spark/spark-3.3.0/spark-3.3.0-bin-hadoop3.tgz
tar -zxvf xxxexport SPARK_HOME=/soft/spark
export PATH=$SPARK_HOME/bin:$HBASE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$PATH
bin/shpark-shell.sh 启动spark集群，kafka集群和zookeeper的docker集群快速搭建相关推荐
- 搭建 ELK 集群 kafka filebeat kibana logstash zookeeper elasticsearch
文章目录 一.前置准备 1. 部署总览 2. 技术选型 3. 全局配置 4. 软件下载 5. 操作声明 二.jdk安装 2.1. 上传 2.2. 解压 2.3. 设置环境变量 三.zk集群 3.1. ...
- 阿里云ECS服务器部署HADOOP集群（三）：ZooKeeper 完全分布式集群搭建
本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...
- Apache Doris 单节点（可多节点）Docker集群制作教程
集群制作Author:苏奕嘉 脚本研发Author:种益 调研测试Author:杨春东 前言 Apache Doris是当下非常火热和流行的MPP架构OLAP数据库,很多同学想自学/测试Doris的使 ...
- 博文推荐｜Apache Doris 单节点 Docker 集群制作教程
前言 Apache Doris 是当下非常流行的 MPP 架构 OLAP 数据库,很多同学想自学/测试 Doris 的使用和能力,但是又苦于没有环境或者畏惧冗长的编译+搭建过程,整个过程极大的劝退了很 ...
- 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解
引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...
- Zookeeper集群 + Kafka集群 + KafkaOffsetMonitor 监控
一.Zookeeper ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件.它是一个为分布式应用提供一 ...
- 高吞吐消息中间件Kafka集群环境搭建（3台kafka，3台zookeeper）
高吞吐消息中间件Kafka集群环境搭建(3台kafka,3台zookeeper) 一.集群搭建要求 1.搭建设计 2.分配六台Linux,用于安装拥有三个节点的Kafka集群和三个节点的Zookeep ...
- php连接kafka集群,Kafka集群环境配置
Kafka集群环境配置 1 环境准备 1.1 集群规划 Node02 Node03 Node04 zk zk zk kafka kafka kafka 1.2 jar包下载 安装包:kafka_2.1 ...
- 单机 搭建kafka集群 本地_单机快速搭建多节点kafka集群
有时候为了更好地了解kafka集群的运行机制,需要自己搭建kafka集群.本文的目的就是让大家在单机上快速搭建kafka集群(仅作为单机测试使用). 环境及工具版本 mac OS 10.15.5 ka ...
最新文章
- [转] 《完美程式设计指南》Effective Delphi
- 一行代码太长的解决方法
- Delphi 与 DirectX 之 DelphiX(72): TDIB.SephiaEffect();
- 【广州/深圳 活动】 MVP社区巡讲
- python读取sas数据集_利用Python获取SAS和R自带数据集
- 实用win7桌面小工具
- 一本通题解——1436：数列分段II
- 中德制造业数字化转型白皮书出炉（附下载）
- CMAQ-5.2安装
- python 爬取动漫之家，下载漫画
- WGS84(GPS坐标) BD09坐标（百度坐标）GCJ02(国测局坐标) 的相互转换
- Python人工智能之图片转文字识别
- Eclipse导出JavaDoc中文乱码问题解决
- C语言编程笔试题（一）
- JavaScript学习简单记录
- 经济学人信息部：2012年大数据研究报告：商业领袖们的经验
- 数据结构——逻辑结构物理结构的区别用法
- C++学习笔记（第一、二阶段汇总）
- NOI openjudge 6043:哆啦A梦的时光机（双向宽搜）
- Google earth engine 批量下载