安装CDH5.15.0过程详细记录¥坑与解决办法(20180724)
参考了网上很多教程,踩过很多坑,总结一篇,仅供参考:
node1 , node2, node3 ;其中node1 为主节点,2 3为从节点。
机子内存太小不建议安装测试学习,否则过程很难受 。。。说实话8g不建议考虑。16g还勉强。。。
最好是32g+的服务器。
下载相关软件包(推荐使用迅雷下载,国外源太慢,迅雷下载比较快原理自己了解)
名称 | 下载地址 |
---|---|
1. JDK1.7 | http://www.oracle.com/technetwork/java/java-archive-downloads-javase7-521261.html(选择Linux64位 rpm包,此为Oracle官方版本,也可使用2. 中Cloudera发布的rpm版jdk,一样安装使用) |
2. Cloudera Manager RPMs | http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/ (全部下载) |
3. Cloudera Manager Installer | http://archive.cloudera.com/cm5/installer/5.15.0/cloudera-manager-installer.bin |
4. Cloudera Manager Repo | http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo |
5. CDH Parcel | http://archive.cloudera.com/cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel |
6. CDH Parcel SHA1 | http://archive.cloudera.com/cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1 |
部署过程
系统预处理
以下操作针对每个实例 !!!!!以下操作针对每个实例 !!!!!以下操作针对每个实例 !!!!!
(某都以root用户操作,仅供学习参考。)
配置Hosts:
vim /etc/hosts
192.168.83.140 node1
192.168.83.121 node2
192.168.83.142 node3
关闭防火墙并禁止开机启动:
systemctl stop firewalld.service
systemctl disable firewalld.service
关闭SELINUX:
vim /etc/selinux/config
SELINUX=disabled
reboot 0 // 重启生效,不过可稍后重启
配置免密登陆:(亦可参考网上别人的经验,如:https://www.linuxidc.com/Linux/2017-04/142632.htm)
需要保证各节点可以免密登陆。
配置主节点自身免密登陆。在主节点上生成公钥并添加到已知密钥中:
ssh-keygen -t rsa // 两次回车
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node1
配置主节点免密登陆各从节点。在各个从节点上生成公钥并将其发送添加到主节点已知密钥中:
ssh-keygen -t rsa // 回车
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node1
配置从节点间免密登陆。将主节点上存放的已知密钥发送到各从节点:
scp ~/.ssh/authorized_keys root@node1:~/.ssh/
scp ~/.ssh/authorized_keys root@node2:~/.ssh/
scp ~/.ssh/authorized_keys root@node3:~/.ssh/
组件安装与配置
上传软件包
将相关软件包上传至各各各各实例。其中主节点需要上传所有软件包,从节点需要上传如下五个文件:
oracle-j2sdk1.7-1.7.0 update67-1.x86_64.rpm
jdk-7u80-linux-x64.rpm
cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
cloudera-manager.repo
安装JDK(各节点)
首先需要卸载预装JDK:
rpm -qa | grep java //查询是否有预装JDK
yum remove java* //若有,予以删除
执行安装:
rpm -ivh jdk-7u80-linux-x64.rpm
rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
环境变量:
vi /etc/profile
// 在尾部添加:
export JAVA_HOME=/usr/java/jdk1.7.0_80
export CLASSPATH=.:$CLASSPTAH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
// 使之生效并测试:
source /etc/profile
java -version
NTP时间同步配置(各节点)
时间同步对节点间协调很重要。
安装NTP(各节点):
yum install ntp -y
修改配置文件/etc/ntp.conf
(主节点):
// server 0 上一行添加北邮NTP服务器地址:
server s2c.time.edu.cn prefer
测试同步一次时间(主节点):
ntpdate s2c.time.edu.cn
启动NTP并配置开机启动(主节点):
systemctl start ntpd
systemctl enable ntpd
使用ntpstat
命令查看是否已成功完成同步,如下是完成同步的状态。同步需要一定的时间,请耐心等待。
synchronised to NTP server (202.112.10.36) at stratum 6 time correct to within 1338 mspolling server every 64 s
从节点与主节点同步时间,在各从节点设置定时同步任务:(非生产环境下不成功问题也不大)。
ntpdate cdh-master // 与主节点同步一次时间
crontab -e // 创建计划任务
00 */1 * * * /usr/sbin/ntpdate cdh-master >> /root/ntpdate.log 2>&1 // 每1小时与主节点执行一次时间同步
crontab -l // 查看计划任务
安装Cloudera Manager
主节点安装
修改仓库文件中的版本号:
baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5/
// 修改为:
baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/
安装4个cloudera
开头的rpm和1个enterprise
开头的rpm:
yum localinstall --nogpgcheck cloudera-* enterprise-*
从节点安装
修改仓库文件中的版本号:
baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5/
// 修改为:
baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/
安装cloudera-manager-agent
和cloudera-manager-daemons
两个rpm:
// 注意这两个rpm有依赖关系,需要一同安装:
yum localinstall --nogpgcheck cloudera-manager-agent* cloudera-manager-daemons*
在主节点安装cloudera-manager-installer.bin
设置安装权限、删除原数据库连接属性、开始安装:
chmod +x cloudera-manager-installer.bin
rm -rf /etc/cloudera-scm-server/db.properties
./cloudera-manager-installer.bin // 希望你一直用的是root用户。此命令最好在桌面环境下的terminal运行
小结:一路下来如果使用root用户,基本不会有权限问题,安装过程中权限,防火墙问题最恼人。如果你看到了这里的话,希望你也可以注意到部分是区分区分区分主节点,从节点安装的。
./cloudera-manager-installer.bin //此步骤后只需点击next,yes等。中途出错请检查是否为root用户,或者前置步骤是否有误。作者错了很多次。最后决定一路root用户。// 最好启动浏览器的时候,也用root用户,然后配置cloudera manager
出现安装ok后,不要直接进入localhost:7180去配置安装。先:
添加CDH包(主节点)
添加下载好的parcel
将下载好的CDH包及校验信息(注意重命名)移动至如下目录:
mv CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel /opt/cloudera/parcel-repo/
// 以下,校验信息sha1改为sha:
mv CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha
设置权限并重启cloudera-scm-server
chown cloudera-scm.cloudera-scm /opt/ -R
chown cloudera-scm.cloudera-scm /var/log/cloudera-scm-agent -R
/etc/init.d/cloudera-scm-server restart // 重启需要一定时间
CDH安装与分发完成后可能会出现如下提示
Cloudera recommends setting /proc/sys/vm/swappiness to a maximum of 10. Current setting is 30. Use the sysctl command to change this setting at run time and edit /etc/sysctl.conf for this setting to be saved after a reboot. You can continue with installation, but Cloudera Manager might report that your hosts are unhealthy because they are swapping. The following hosts are affected:
将vm.swappiness=10
添加至/etc/sysctl.conf
中,让实例尽可能的使用物理内存以提升性能。
echo 'vm.swappiness=10'>> /etc/sysctl.conf
// 重启机器以生效:(此时三个节点最好都要重启以重载前面修改的配置)
reboot 0
重启机器后请注意检查cloudera-scm-server
、cloudera-scm-agent
是否都处于运行状态后再开始安装。
/etc/init.d/cloudera-scm-server restart(主节点)
/etc/init.d/cloudera-scm-agent restart(所有节点)
开始安装
在浏览器中输入主节点IP地址加端口号7180,输入默认用户名和密码,进入安装向导,同意相关协议,选择相应的版本,开始安装。
安装向导完成后即完成CDH的安装过程。若在安装过程中报错,请检查先前步骤是否完成,并尝试重新启动(机器或cloudera-scm-agent
)
不再截图:安装过程详细可移步下链接的开始安装部分:
https://www.jianshu.com/p/e9147bf6711d?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation
排错:
1. 卸载重装cm。移步:https://blog.csdn.net/csolo/article/details/52589763
2.cm装好了,安装parcel节点的时候,遇到‘’运行状况不良‘’时,移步:https://blog.csdn.net/post_yuan/article/details/79101618
3.cm可使用内置数据库,也可使用外置数据库MySQL等。但是,要自己按建好库后再选择使用外置的数据库。安装MySQL详细步骤如:https://www.cnblogs.com/YangshengQuan/p/8431520.html
4.cm中会有单用户模式(single user mode)即以一个用户管理各个角色的服务。否则每个服务的用户都是不同的。如HDFS服务的用户就是HDFS,Hive的用户就是Hive,不便管理。
安装CDH5.15.0过程详细记录¥坑与解决办法(20180724)相关推荐
- Python 爬虫中国知网论文过程中遇到的坑及解决办法
假期,老师给布置了 Python 爬虫中国知网论文的任务,目前实现了登录和搜索功能,先写一下遇到的坑和解决办法吧. Python 爬虫中国知网论文过程中遇到的坑及解决办法 一. selenium 模块 ...
- 虚拟机安装华为模拟器eNSP过程中所遇问题与解决办法
虚拟机安装eNSP前,一般会先安装WinPcap.WireShark.VirtualBox这三个软件,而最近VirtualBox出了6.1.38新版本,与1.3版本的eNSP不兼容. 注:遇到的40或 ...
- <Linux开发>--驱动开发-- 字符设备驱动(3) 过程详细记录
<Linux开发>–驱动开发-- 字符设备驱动(3) 过程详细记录 驱动开发是建立再系统之上的,前面作者也记录了系统移植的过程记录,如果有兴趣,可进入博主的主页查看相关文章,这里就不添加链 ...
- linux 安装mysql 8.0_Linux安装mysql 8.0的详细方法介绍(代码示例)
本篇文章给大家带来的内容是关于Linux安装mysql 8.0的详细方法介绍(代码示例),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助. 经过一番努力下载mysql文件,我们可以开始M ...
- 探讨:在Mac新系统下安装新版XAMPP过程中遇到到的坑以及解决办法
探讨:在Mac新系统下安装新版XAMPP过程中遇到到的坑以及解决办法 简介 XAMPP安装 XAMPP 是个啥? 安装XAMPP 新版问题:IP地址访问不再是localhost 操作问题:apache ...
- postgreSQL与postGIS安装过程中遇到的坑及解决
记录一下postgreSQL与postGIS安装过程中遇到的坑及解决 写到前面 postgreSQL安装 postgreSQL安装包下载 postgreSQL安装 postGIS的安装 postGIS ...
- 通过pyenv在Mac OS X 10.12.3下安装Python-3.6.0及“*** [install] Error 1”错误的解决方法
通过pyenv在Mac OS X 10.12.3下安装Python-3.6.0及"*** [install] Error 1"错误的解决方法 参考文章: (1)通过pyenv在Ma ...
- 安装DotNetCore.1.0.0-VS2015Tools.Preview2.exe 错误Error 0x81f40001 解决方法
安装DotNetCore.1.0.0-VS2015Tools.Preview2.exe 错误Error 0x81f40001 解决方法 参考文章: (1)安装DotNetCore.1.0.0-VS20 ...
- FEDORA9安装后的配置lvlv全记录必看一览表 解决FC9安装后网络需激活
FEDORA9安装后的配置lvlv全记录必看一览表 解决FC9安装后网络需激活 论坛相关精品信息: <script type="text/javascript">< ...
最新文章
- 程序员不仅能迅速脱单,还能用Python更加优雅的帮你脱单
- 编写程序计算交错序列_外文翻译 | FlyMC:高度可扩展地测试分布式系统中的复杂交错...
- html运用以及工具
- php文件上传后没有打开权限_记墨者靶机文件上传(二)
- logistic模型原理与推导过程分析(1)
- arm-hisiv100nptl-linux-gcc编译boa和移植
- 解决Some index files failed to download.They have been ignored, or old ones used instead报错
- 通过javascript在IE模拟键盘输入
- 静态成员变量.xml
- windows常用端口对应表
- linux的kvm技术,虚拟化技术KVM的搭建
- QQ音乐爬虫程序详细解析(一)——歌曲下载模块
- 思科1242 AP无法连接到无线控制器
- BBR: Congestion-based congestion control
- 招银网络---C++
- iOS屏幕旋转及其基本适配方法
- adb是什么?如何安装配置adb?如何检验是否成功安装adb?
- 软件开发外包:你有什么选择
- 【朝花夕拾】Android自定义View篇之(六)Android事件分发机制(中)从源码分析事件分发机制...
- 山西计算机大赛崔奕,2021年中国大学生计算机设计大赛山西省赛评审结果名单公示通知...