参考了网上很多教程,踩过很多坑,总结一篇,仅供参考:

node1 , node2, node3 ;其中node1 为主节点,2 3为从节点。

机子内存太小不建议安装测试学习,否则过程很难受 。。。说实话8g不建议考虑。16g还勉强。。。

最好是32g+的服务器。

下载相关软件包(推荐使用迅雷下载,国外源太慢,迅雷下载比较快原理自己了解)

名称 下载地址
1. JDK1.7 http://www.oracle.com/technetwork/java/java-archive-downloads-javase7-521261.html(选择Linux64位 rpm包,此为Oracle官方版本,也可使用2. 中Cloudera发布的rpm版jdk,一样安装使用)
2. Cloudera Manager RPMs http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/ (全部下载)
3. Cloudera Manager Installer http://archive.cloudera.com/cm5/installer/5.15.0/cloudera-manager-installer.bin
4. Cloudera Manager Repo http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo
5. CDH Parcel http://archive.cloudera.com/cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel
6. CDH Parcel SHA1 http://archive.cloudera.com/cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1

部署过程

系统预处理

以下操作针对每个实例 !!!!!以下操作针对每个实例 !!!!!以下操作针对每个实例 !!!!!

(某都以root用户操作,仅供学习参考。)

配置Hosts:

vim /etc/hosts
192.168.83.140 node1
192.168.83.121 node2
192.168.83.142 node3

关闭防火墙并禁止开机启动:

systemctl stop firewalld.service
systemctl disable firewalld.service

关闭SELINUX:

vim /etc/selinux/config
SELINUX=disabled
reboot 0 // 重启生效,不过可稍后重启

配置免密登陆:(亦可参考网上别人的经验,如:https://www.linuxidc.com/Linux/2017-04/142632.htm
需要保证各节点可以免密登陆。
配置主节点自身免密登陆。在主节点上生成公钥并添加到已知密钥中:

ssh-keygen -t rsa // 两次回车
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node1

配置主节点免密登陆各从节点。在各个从节点上生成公钥并将其发送添加到主节点已知密钥中:

ssh-keygen -t rsa // 回车
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node1

配置从节点间免密登陆。将主节点上存放的已知密钥发送到各从节点:

scp ~/.ssh/authorized_keys root@node1:~/.ssh/
scp ~/.ssh/authorized_keys root@node2:~/.ssh/
scp ~/.ssh/authorized_keys root@node3:~/.ssh/

组件安装与配置

上传软件包
将相关软件包上传至各各各各实例。其中主节点需要上传所有软件包,从节点需要上传如下五个文件:
oracle-j2sdk1.7-1.7.0 update67-1.x86_64.rpm
jdk-7u80-linux-x64.rpm
cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
cloudera-manager.repo

安装JDK(各节点)
首先需要卸载预装JDK:

rpm -qa | grep java //查询是否有预装JDK
yum remove java* //若有,予以删除

执行安装:

rpm -ivh jdk-7u80-linux-x64.rpm
rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

环境变量:

vi /etc/profile
// 在尾部添加:
export JAVA_HOME=/usr/java/jdk1.7.0_80
export CLASSPATH=.:$CLASSPTAH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
// 使之生效并测试:
source /etc/profile
java -version

NTP时间同步配置(各节点)
时间同步对节点间协调很重要。
安装NTP(各节点):

yum install ntp -y

修改配置文件/etc/ntp.conf(主节点):

// server 0 上一行添加北邮NTP服务器地址:
server s2c.time.edu.cn prefer

测试同步一次时间(主节点):

ntpdate s2c.time.edu.cn

启动NTP并配置开机启动(主节点):

systemctl start ntpd
systemctl enable ntpd

使用ntpstat命令查看是否已成功完成同步,如下是完成同步的状态。同步需要一定的时间,请耐心等待。

synchronised to NTP server (202.112.10.36) at stratum 6 time correct to within 1338 mspolling server every 64 s

从节点与主节点同步时间,在各从节点设置定时同步任务:(非生产环境下不成功问题也不大)。

ntpdate cdh-master // 与主节点同步一次时间
crontab -e // 创建计划任务
00 */1 * * * /usr/sbin/ntpdate cdh-master >> /root/ntpdate.log 2>&1 // 每1小时与主节点执行一次时间同步
crontab -l // 查看计划任务

安装Cloudera Manager

主节点安装
修改仓库文件中的版本号:

baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5/
// 修改为:
baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/

安装4个cloudera开头的rpm和1个enterprise开头的rpm:

yum localinstall --nogpgcheck cloudera-* enterprise-*

从节点安装
修改仓库文件中的版本号:

baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5/
// 修改为:
baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/

安装cloudera-manager-agentcloudera-manager-daemons两个rpm:

// 注意这两个rpm有依赖关系,需要一同安装:
yum localinstall --nogpgcheck cloudera-manager-agent* cloudera-manager-daemons*

在主节点安装cloudera-manager-installer.bin
设置安装权限、删除原数据库连接属性、开始安装:

chmod +x cloudera-manager-installer.bin
rm -rf /etc/cloudera-scm-server/db.properties
./cloudera-manager-installer.bin  // 希望你一直用的是root用户。此命令最好在桌面环境下的terminal运行

小结:一路下来如果使用root用户,基本不会有权限问题,安装过程中权限,防火墙问题最恼人。如果你看到了这里的话,希望你也可以注意到部分是区分区分区分主节点,从节点安装的。

./cloudera-manager-installer.bin  //此步骤后只需点击next,yes等。中途出错请检查是否为root用户,或者前置步骤是否有误。作者错了很多次。最后决定一路root用户。//  最好启动浏览器的时候,也用root用户,然后配置cloudera manager

出现安装ok后,不要直接进入localhost:7180去配置安装。先:

添加CDH包(主节点)

添加下载好的parcel
将下载好的CDH包及校验信息(注意重命名)移动至如下目录:

mv CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel /opt/cloudera/parcel-repo/
// 以下,校验信息sha1改为sha:
mv CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha

设置权限并重启cloudera-scm-server

chown cloudera-scm.cloudera-scm /opt/ -R
chown cloudera-scm.cloudera-scm /var/log/cloudera-scm-agent -R
/etc/init.d/cloudera-scm-server restart // 重启需要一定时间

CDH安装与分发完成后可能会出现如下提示

Cloudera recommends setting /proc/sys/vm/swappiness to a maximum of 10. Current setting is 30. Use the sysctl command to change this setting at run time and edit /etc/sysctl.conf for this setting to be saved after a reboot. You can continue with installation, but Cloudera Manager might report that your hosts are unhealthy because they are swapping. The following hosts are affected:

vm.swappiness=10添加至/etc/sysctl.conf中,让实例尽可能的使用物理内存以提升性能。

 echo 'vm.swappiness=10'>> /etc/sysctl.conf
// 重启机器以生效:(此时三个节点最好都要重启以重载前面修改的配置)
reboot 0

重启机器后请注意检查cloudera-scm-servercloudera-scm-agent是否都处于运行状态后再开始安装。

/etc/init.d/cloudera-scm-server restart(主节点)

/etc/init.d/cloudera-scm-agent restart(所有节点)

开始安装

在浏览器中输入主节点IP地址加端口号7180,输入默认用户名和密码,进入安装向导,同意相关协议,选择相应的版本,开始安装。
安装向导完成后即完成CDH的安装过程。若在安装过程中报错,请检查先前步骤是否完成,并尝试重新启动(机器或cloudera-scm-agent

不再截图:安装过程详细可移步下链接的开始安装部分:

https://www.jianshu.com/p/e9147bf6711d?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation

排错:

1. 卸载重装cm。移步:https://blog.csdn.net/csolo/article/details/52589763

2.cm装好了,安装parcel节点的时候,遇到‘’运行状况不良‘’时,移步:https://blog.csdn.net/post_yuan/article/details/79101618

3.cm可使用内置数据库,也可使用外置数据库MySQL等。但是,要自己按建好库后再选择使用外置的数据库。安装MySQL详细步骤如:https://www.cnblogs.com/YangshengQuan/p/8431520.html

4.cm中会有单用户模式(single user mode)即以一个用户管理各个角色的服务。否则每个服务的用户都是不同的。如HDFS服务的用户就是HDFS,Hive的用户就是Hive,不便管理。

安装CDH5.15.0过程详细记录¥坑与解决办法(20180724)相关推荐

  1. Python 爬虫中国知网论文过程中遇到的坑及解决办法

    假期,老师给布置了 Python 爬虫中国知网论文的任务,目前实现了登录和搜索功能,先写一下遇到的坑和解决办法吧. Python 爬虫中国知网论文过程中遇到的坑及解决办法 一. selenium 模块 ...

  2. 虚拟机安装华为模拟器eNSP过程中所遇问题与解决办法

    虚拟机安装eNSP前,一般会先安装WinPcap.WireShark.VirtualBox这三个软件,而最近VirtualBox出了6.1.38新版本,与1.3版本的eNSP不兼容. 注:遇到的40或 ...

  3. <Linux开发>--驱动开发-- 字符设备驱动(3) 过程详细记录

    <Linux开发>–驱动开发-- 字符设备驱动(3) 过程详细记录 驱动开发是建立再系统之上的,前面作者也记录了系统移植的过程记录,如果有兴趣,可进入博主的主页查看相关文章,这里就不添加链 ...

  4. linux 安装mysql 8.0_Linux安装mysql 8.0的详细方法介绍(代码示例)

    本篇文章给大家带来的内容是关于Linux安装mysql 8.0的详细方法介绍(代码示例),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助. 经过一番努力下载mysql文件,我们可以开始M ...

  5. 探讨:在Mac新系统下安装新版XAMPP过程中遇到到的坑以及解决办法

    探讨:在Mac新系统下安装新版XAMPP过程中遇到到的坑以及解决办法 简介 XAMPP安装 XAMPP 是个啥? 安装XAMPP 新版问题:IP地址访问不再是localhost 操作问题:apache ...

  6. postgreSQL与postGIS安装过程中遇到的坑及解决

    记录一下postgreSQL与postGIS安装过程中遇到的坑及解决 写到前面 postgreSQL安装 postgreSQL安装包下载 postgreSQL安装 postGIS的安装 postGIS ...

  7. 通过pyenv在Mac OS X 10.12.3下安装Python-3.6.0及“*** [install] Error 1”错误的解决方法

    通过pyenv在Mac OS X 10.12.3下安装Python-3.6.0及"*** [install] Error 1"错误的解决方法 参考文章: (1)通过pyenv在Ma ...

  8. 安装DotNetCore.1.0.0-VS2015Tools.Preview2.exe 错误Error 0x81f40001 解决方法

    安装DotNetCore.1.0.0-VS2015Tools.Preview2.exe 错误Error 0x81f40001 解决方法 参考文章: (1)安装DotNetCore.1.0.0-VS20 ...

  9. FEDORA9安装后的配置lvlv全记录必看一览表 解决FC9安装后网络需激活

    FEDORA9安装后的配置lvlv全记录必看一览表 解决FC9安装后网络需激活 论坛相关精品信息: <script type="text/javascript">< ...

最新文章

  1. 程序员不仅能迅速脱单,还能用Python更加优雅的帮你脱单
  2. 编写程序计算交错序列_外文翻译 | FlyMC:高度可扩展地测试分布式系统中的复杂交错...
  3. html运用以及工具
  4. php文件上传后没有打开权限_记墨者靶机文件上传(二)
  5. logistic模型原理与推导过程分析(1)
  6. arm-hisiv100nptl-linux-gcc编译boa和移植
  7. 解决Some index files failed to download.They have been ignored, or old ones used instead报错
  8. 通过javascript在IE模拟键盘输入
  9. 静态成员变量.xml
  10. windows常用端口对应表
  11. linux的kvm技术,虚拟化技术KVM的搭建
  12. QQ音乐爬虫程序详细解析(一)——歌曲下载模块
  13. 思科1242 AP无法连接到无线控制器
  14. BBR: Congestion-based congestion control
  15. 招银网络---C++
  16. iOS屏幕旋转及其基本适配方法
  17. adb是什么?如何安装配置adb?如何检验是否成功安装adb?
  18. 软件开发外包:你有什么选择
  19. 【朝花夕拾】Android自定义View篇之(六)Android事件分发机制(中)从源码分析事件分发机制...
  20. 山西计算机大赛崔奕,2021年中国大学生计算机设计大赛山西省赛评审结果名单公示通知...

热门文章

  1. Sketch教程如何实现背景局部模糊
  2. ibm3650m4服务器找不到硬盘,ibmx3650m4服务器报错:不识别内存
  3. Python使用selenium模拟登陆,截取图片验证码并转化为base64
  4. pca算法介绍及java实现_PCA实现教程
  5. 微博开源框架Motan初体验
  6. python继承怎么写_python 继承
  7. Confluence简介和使用
  8. DATABASE SYSTEM CONCEPTS
  9. css——三角形的实现
  10. 开机都得先科学上网,再退出,才能连接校园网