利用云服务器搭建hadoop集群

  • 测试连接
    • 一. Linux配置
    • 二. 3台服务器免密码登录
      • 1. 三台机器生成公钥与私钥:
      • 2. 拷贝公钥到同一台机器
      • 3. 复制第一台机器的认证到其他机器
      • 4. 通过网络时钟同步；
    • 三.基础环境安装
      • 1. 安装jdk
      • 2. [安装zookeeper](https://blog.csdn.net/qq_42822962/article/details/94999259)
    • 55
    • 12312
      • 312
    • 132
    • 312
    • 312
    • 123
    • 312
    • 3123
    • 312312
    • 321入
      • 312321
      • 1231

测试连接

有一台腾讯云的服务器,最近有买了两台百度云的,打算搭建一个集群,从零开始记录一下.
测试连接:


百度云之间互ping在1ms左右,可惜太穷了买不起,只能把一台成都的和两台保定的串起来,凑合着用吧.

一. Linux配置

  1. 关闭防火墙和selinux

    #关闭防火墙
service iptables stop
chkconfig iptables off#关闭selinux
vim /etc/selinux/config
#设置为disabled
SELINUX=disabled

 #查看防火墙状态service iptables status #关闭防火墙 service iptables stop#查看防火墙开机启动状态 chkconfig iptables --list#关闭防火墙开机启动chkconfig iptables off
  1. 百度云分配的名字太麻烦了,为方便操作修改主机名,但是遇到了一些问题,详细请点击 Linux修改hostname的几种方式:

    #百度云   修改后,重启(reboot -h)永久生效
vi /etc/sysconfig/network
#第2台  将hostname改为node01
HOSTNAME=node01
#第2台  将hostname改为node01
HOSTNAME=node03#腾讯云   可能我装的不是原版的,出来的居然是这个鬼东西
# Created by cloud-init on instance boot automatically, do not edit.
#在下面添加一行
NETWORKING=yes
HOSTNAME=node02
然后使用: vi /etc/hostname
node02
#reboot -h 重启后生效了

    2.域名映射并测试
    /etc/hosts 文件用于在通过主机名进行访问时做 ip 地址解析之用。
    所以，你想访问一个什么样的主机名，就需要把这个主机名和它对应的 ip 地址. 配置在/etc/hosts 文件中.

    #三台服务器进行域名映射操作
vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
#172.16.0.4 instance-mv524v7d instance-mv524v7d.novalocal#添加以下配置,前面为你服务器的ip
192.168.221.100 node01
192.168.221.110 node02
192.168.221.120 node03# 测试腾讯云与百度云 互ping:
root@node02 etc# ping node01
PING node01 (106.13.你的ip.你的ip) 56(84) bytes of data.
64 bytes from node01 (106.13.你的ip.你的ip): icmp_seq=1 ttl=48 time=60.1 ms
64 bytes from node01 (106.13.你的ip.你的ip): icmp_seq=2 ttl=48 time=59.6 ms
64 bytes from node01 (106.13.你的ip.你的ip): icmp_seq=3 ttl=48 time=59.7 ms[root@node01 ~]# ping node02
PING node02 (132.232.你的ip.你的ip) 56(84) bytes of data.
64 bytes from node02 (132.232.你的ip.你的ip): icmp_seq=1 ttl=49 time=60.1 ms
64 bytes from node02 (132.232.你的ip.你的ip): icmp_seq=2 ttl=49 time=59.6 ms
64 bytes from node02 (132.232.你的ip.你的ip): icmp_seq=3 ttl=49 time=59.6 ms[root@node03 ~]# ping node01
PING node01 (106.13.你的ip.你的ip) 56(84) bytes of data.
64 bytes from node01 (106.13.你的ip.你的ip): icmp_seq=1 ttl=59 time=1.29 ms
64 bytes from node01 (106.13.你的ip.你的ip): icmp_seq=2 ttl=59 time=0.526 ms
64 bytes from node01 (106.13.你的ip.你的ip): icmp_seq=3 ttl=59 time=0.570 ms

    重启服务器

二. 3台服务器免密码登录

1. 三台机器生成公钥与私钥:

[root@node03 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):  #回车
Enter passphrase (empty for no passphrase):  #回车
Enter same passphrase again:  #回车
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
35:8f:46:e1:19:d1:91:20:44:01:cb:6c:58:bd:4f:85 root@node03
The key's randomart image is:
+--[ RSA 2048]----+
|      o==.==.o   |
|     = ..oE++    |
|    . =  .*.     |
|     .  .o.+     |
|        Soo .    |
|         ..      |
|                 |
|                 |
|                 |
+-----------------+

2. 拷贝公钥到同一台机器

[root@node03 ~]# ssh-copy-id node01
The authenticity of host 'node01 (106.13.55.197)' can't be established.
RSA key fingerprint is 7c:70:21:11:f4:64:f4:2a:db:db:f9:42:65:63:9b:c6.
Are you sure you want to continue connecting (yes/no)? yes  #输入yes
Warning: Permanently added 'node01,106.13.55.197' (RSA) to the list of known hosts.
root@node01's password:   #输入第一台服务器的密码
Now try logging into the machine, with "ssh 'node01'", and check in:.ssh/authorized_keysto make sure we haven't added extra keys that you weren't expecting.

3. 复制第一台机器的认证到其他机器

#根据提示,输入yes,和服务器的登陆密码
scp /root/.ssh/authorized_keys node02:/root/.ssh/
scp /root/.ssh/authorized_keys node03:/root/.ssh/

4. 通过网络时钟同步；

#设置定时任务
[root@node01 ~]#  crontab -e
#添加阿里云时钟同步定时任务
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

三.基础环境安装

这里安装cdh5.14.0版本

1. 安装jdk

 #查看自带的openjdk
[root@node01 ~]# rpm -qa | grep java
#如果有就卸载
[root@node01 ~]# rpm -e jdk的名称#创建两个约定俗称的文件夹，来进行我们的软件包的存放和软件的安装
所有软件的安装路径
/usr/local
所有软件压缩包的存放路径
mkdir -p /usr/local/software#上传jdk到software目录,并解压
root@node02 ~# tar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/local/java#配置java环境变量,在文档末尾追加
vim /etc/profile
#配置java环境变量
export JAVA_HOME=/usr/local/java/jdk1.8.0_181
export PATH=:$JAVA_HOME/bin:$PATH#编译
source /etc/profile#测试
[root@node01 software]# java -version
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)表示安装成功

2. 安装zookeeper

55

  • 项目

    • 项目

      • 项目

12312

一个简单的表格是这么创建的：

项目 Value
电脑 $1600
手机 $12
导管 $1

312

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPE ASCII HTML
Single backticks 'Isn't this fun?' ‘Isn’t this fun?’
Quotes "Isn't this fun?" “Isn’t this fun?”
Dashes -- is en-dash, --- is em-dash – is en-dash, — is em-dash

132

Markdown
Text-to-HTML conversion tool
Authors
John
Luke

312

一个具有注脚的文本。1

312

Markdown将文本转换为 HTML。

123

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ(n)=(n−1)!∀n∈N\Gamma(n) = (n-1)!\quad\forall n\in\mathbb NΓ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ(z)=∫0∞tz−1e−tdt .\Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞​tz−1e−tdt.

你可以找到更多关于的信息 LaTeX 数学表达式[here][1].

312

Mon 06Mon 13Mon 20已完成 进行中 计划一 计划二 现有任务Adding GANTT diagram functionality to mermaid
  • 关于 甘特图 语法，参考 [这儿][2],

3123

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：:

张三李四王五你好！李四, 最近怎么样?你最近怎么样，王五？我很好，谢谢!我很好，谢谢!李四想了很长时间,文字太长了不适合放在一行.打量着王五...很好... 王五, 你怎么样?张三李四王五

这将产生一个流程图。:

链接
长方形
圆
圆角长方形
菱形
  • 关于 Mermaid 语法，参考 [这儿][3],

312312

我们依旧会支持flowchart的流程图：

Created with Raphaël 2.2.0开始我的操作确认？结束yesno

321入

312321

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

1231

如果你想加载一篇你写过的.md文件或者.html文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

  1. 注脚的解释 ↩︎

利用云服务器搭建hadoop集群相关推荐

  1. 使用微软云服务器搭建Hadoop集群

    使用微软云服务器搭建Hadoop集群 环境准备 修改主机名 配置无秘钥登录 下载并安装JDK Java相关命令的讲解 关闭3台机器的防火墙(微软云服务器上的防火墙默认是关闭的,此步可以跳过) 三台机器 ...

  2. 基于阿里云服务器搭建hadoop集群：HDFS的namenode WEB访问9870端口打不开解决方法

    基于阿里云服务器搭建hadoop集群:HDFS的namenode WEB访问9870端口打不开解决方法 以下是基于我所面临问题的解决办法. 1.在本地的c:windows/system32/dirve ...

  3. 使用三台阿里云服务器搭建Hadoop集群（云计算实验踩坑集锦）

    使用阿里云服务器搭建这个hadoop集群,踩得坑人已经傻了,浪费了我快一周的时间. 1.准备环节 准备三台阿里云服务器 Namenode 121.196.224.191 Datanode1 121.1 ...

  4. 三台云服务器搭建hadoop集群

    hadoop-2.10.1百度云资源链接: 链接:https://pan.baidu.com/s/1agl2Cg8MrBSYyFM2vq_4GA 提取码:lbsm 上传hadoop压缩包至云服务器并解 ...

  5. 华为云 和 阿里云 跨服务器搭建Hadoop集群

    目录 华为云 和 阿里云 跨服务器搭建Hadoop集群 说明 期间遇到的问题 CentOS6 7 8更换阿里yum源 修改服务器名称 安装JDK 安装Hadoop 编写集群分发脚本 xsync scp ...

  6. 阿里云ESC搭建hadoop集群

    阿里云ESC搭建hadoop集群 前置 购买至少三台服务器,为了节约成本借了两个账号买了三台同一区域的服务器,安装的是 centos7:因此设计到不同账号相同地域之间通讯问题,阿里给了解决方案,详情参 ...

  7. 华为云Centos7搭建hadoop集群二：yum源替换，ssh免密处理，hadoop用户sudo

    华为云Centos7搭建hadoop集群二:yum源替换,ssh免密处理,hadoop用户sudo 新建hadoop用户并设置密码,密码不要设置为简单的123456等,我这里已经创建过了hadoop用 ...

  8. 云服务器搭建redis集群

    在搭建redis集群之前需要安装ruby.redis使用ruby来做集群的.用一个叫redis-trib.rb的ruby脚本.redis-trib.rb是redis官方推出的管理redis集群的工具, ...

  9. 三台服务器搭建hadoop集群

    集群 准备好三台服务器或虚拟机,系统版本centos7.5,本集群使用虚拟机搭建 修改服务器hostname vim /etc/hostname 将内容修改为要设置的主机名,三台主机hostname分 ...

最新文章

  1. springaop事务逻辑原理_太狠了！阿里大牛手写的Spring核心面试笔记：IOC+AOP+MVC+事务...
  2. linux配置中心自动化,centos下搭建git服务 基于git服务配置自动化部署 遇到的Linux知识补充...
  3. sonar 分析的质量数据在数据库表中的存储和质量维度数值的研究
  4. 登陆界面(jsp)客户端验证
  5. CF1419E-Decryption【数论,dfs】
  6. Integer注意_享元设计模式
  7. kaldi语音识别实战pdf_FSMN网络结构在语音识别声学模型的实践
  8. 张朝阳：选校草、跑马拉松、开5G峰会 搜狐最近要干这些事
  9. python类中self关键字用法
  10. 微型计算机原理与接口技术马静答案,微机原理与接口技术(马静)
  11. 基于Matlab的暗通道先验、Retinex去雾图像增强研究
  12. [redis]知识回顾之redis主从+哨兵搭建简要记录
  13. 2022年上海落户最快方式！本科2年落户上海！硕士1年落户上海！
  14. 有关于成长的七个关键词
  15. JS中怎样使用Date对象加减日期
  16. android html5 rtmp,利用H5实现RTMP流的WEB移动端直播
  17. 一次github和jenkins集成构建异常处理
  18. 国内BI厂商名录(转)
  19. SELinux_Treble学习记录
  20. SANGFOR防火墙配置上网认证，LDAP自动同步失败

热门文章

  1. 使用 Entity Framework Power Tool 报错 0×80070057 解决方法
  2. 盘古开源丨数据大爆炸时代，云存储成为企业存储必然发展方向
  3. 程序设计入门——C语言 翁恺 第一次单元测试
  4. 宝可梦 图片识别python_初探利用Python进行图文识别(OCR)
  5. 你知道哪些冷门但逆天的 App？
  6. 2018年第16周-ZooKeeper基本概念（配搭建过程和Master-Workers例子）
  7. PTA n个分数相加
  8. 【小程序】开发需要注意的地方（一）
  9. H5移动端前置摄像头成像方向错误，横屏方向错误
  10. 如何解决Error running ‘Tomcat 8.5.45‘: port out of range:-1