最详细的CDH安装攻略
目录
·安装前的准备工作
·安装java
·安装CDH的准备
·建立CM数据库
·通过CM部署CDH
·启动各个节点的cloudra-scm-agent与主节点的CM
·安装各节点的CDH
·错误与问题汇总
·Yum安装错误
·28, 'Connection timed out after 3鈻[6nmilliseconds'
·初始化CM数据库失败
·scp同步到其他节点失败
·Agent启动错误
·分配Parcels时显示主机运行状态不良
·服务器检查警告
·启动Hive、Oozie、HDFS报错
·HDFS的NameNode路径无法初始化错误
·安装前的准备工作
·安装CM的准备
首先要选定集群主节点，主节点的配置内存应该尽可能的大，配置不够的话可能会十分卡。
我们会在主节点上安装CM以管理各个集群节点
CM的安装有两种方式：
1. 下载bin文件然后在线安装。这种方式要求环境尽量稳定且有较好的网络，一旦中途安装失败，CM安装程序会清除以前的数据重新开始安装。
2. 下载CM的tar包然后解压到/opt目录下。这种方式解压tar包即可。
考虑到环境稳定问题我们采用离线模式安装
CM下载地址：
http://archive.cloudera.com/cm5/
这里下载对应的CM版本，centOS系统的包名带el，例如：centOS6应该下载的包就是cloudera-manager-el6-cm5.12.1_x86_64.tar。这里除了考虑系统版本还要考虑mysql的版本因为有的版本是不支持MariaDB的。
·配置各节点
·网络配置
·修改各节点主机名
vim /etc/sysconfig/network
例：
NETWORKING=yes
HOSTNAME=cdh1
NETWORKING_IPV6=no
PEERNTP=no
修改完成后重启网络服务service network restart
·修改ip与主机名的对应关系
vim /etc/hosts
例：
192.168.1.101 cdh1
192.168.1.102 cdh2
192.168.1.103 cdh3
·安装java
CDH需要java版本在7.5以上，此步骤略去。
·安装MySql
这里注意root用户需要有远程访问权限，此步骤略去。
·关闭防火墙和SElinux
这里为了安装方面临时关闭防火墙，安装好后可以根据需求在开启防火墙。
SELinux是默认关闭的，这里检查一下状态。
·配置所有节点ntp同步（重要）
集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。这里我们也将主节点做为ntp服务器的节点，然后所有节点向主节点同步时间。
首先各个节点安装ntp服务yum install ntp
安装好后设置开机启动chkconfig ntpd on
检查是否设置成功：chkconfig --list ntpd其中2-5为on状态就代表成功。
主节点设置
在更改ntp配置前先手动与对诗中心同步一下时间，以免本机与对时中心时间差距太大，使得ntpd不能正常同步ntpdate -u ip
然后修改ntp配置文件vim /etc/ntp.conf
加入server ip prefer
之后启动服务service ntpd start
检查是否成功，用ntpstat命令查看同步状态，出现以下状态代表启动成功：
synchronised to NTP server () at stratum2time correct to within 74 mspolling server every 128 s
如果失败可以等待5-10分钟后再次查看。
节点配置
在ntp配置文件加入server 主节点名
请求服务器前，先使用ntpdate手动同步一下时间：ntpdate -u 主节点名
然后启动ntp服务。
·安装CDH的准备
CDH的安装也有两种方式：
1. 在线安装，在CM安装好后安装集群时可以在线下载安装。
2. 离线下载parcel包放在指定目录。
同样的我们也采用离线下载的方式
CDH下载地址：
http://archive.cloudera.com/cdh5/
·安装CDH的准备
·安装CM和agent
将之前下载的CM包放下/opt目录下直接解压，解压后有两个文件夹：cloudra和cm-版本号
·建立CM数据库
下载合适的jdbc版本http://dev.mysql.com/downloads/connector/j/
下载完成后将解压出的jar文件放到/opt/cm-版本号/share/cmf/lib/。然后执行初始化数据库命令
/opt/cm-版本号/share/cmf/schema/scm_prepare_database.shmysql cm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm
·agentpeizhi
修改/opt/cm-5.3.3/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。然后将agent同步到其他节点
Scp -r /opt/cm-版本号 root@节点名（或者ip）:/opt/
最后在所有节点创建cloudera-scm用户
useradd --system --home=/opt/cm-版本号/run/cloudera-scm-server/--no-create-home --shell=/bin/false --comment "Cloudera SCM User"cloudera-scm
·准备Parcels
将之前下载的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（若无parcel-repo需要手动创建）。文件如下：
CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel
CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1
manifest.json
最后将CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1，重命名为CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha，这点必须注意，否则，系统会重新下载CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1文件。
·通过CM部署CDH
·启动各个节点的cloudra-scm-agent与主节点的CM
通过/opt/cm-版本号/etc/init.d/cloudera-scm-server start启动服务端。
通过/opt/cm-版本号/etc/init.d/cloudera-scm-agent start启动Agent服务。
这里在/etc/cm-版本号/logs/cloudra-scm-agent和/etc/cm-版本号/logs/cloudra-scm-server下可以查看日志文件。
这时可以通过浏览器访问主节点的7180端口测试一下了（由于CM Server的启动需要花点时间，这里可能要等待一会才能访问），如下图所示：
出现如下页面说明CM已经启动了。
·安装各节点的CDH
通过admin管理用户进入系统（密码也是admin）后页面如下所示：
这里勾选接受条款继续安装。
选择要安装的CM的类型，这里选择了第一个，点击继续
下面需要注意，在图中所示，点击当前管理主机可以看到安装了agent的全部主机，如果有未看到的节点则agent启动未成功。
这里我们不要在搜索这里搜索主机进行安装，因为这样回去在线下载jdk和agent以及版本匹配的CDH包，因为我们采用离线方式所以选择另一种方式。
之后回看到自己已经下载好的parcels包，这里使用默认的选项就行了，点击继续
然后开始分配parcels包到各个节点，然后解压激活，全部节点完成后继续下面的安装。
选择要在集群上安装的CDH服务，根据需求选择
然后需要配置每个角色的服务器，这里HDFS和ZooKeeper会建议你配置3台以上的服务器
然后会要求你键入上图所示的信息检查msyql的连接，成功后继续。
之后是集群设置，根据需求填写
然后CM会发送启动命令启动各节点的服务，待服务全部启动完成后点击继续
最后就看到了CM管理集群的首页信息，出现此页面整个CDH集群的安装就算完成了。
·错误与问题汇总
·Yum安装错误
·28, 'Connection timed out after 3鈻[6nmilliseconds'
没有配置DNS，用vim打开/etc/resolv.conf添加
searchsz.fonsview.com
nameserver172.16.200.251
nameserver172.16.203.253
nameserver8.8.8.8
·初始化CM数据库失败
检查mysql的jdbc版本是否兼容
·scp同步到其他节点失败
scp -r /opt/cm-5.3.3 root@n2:/opt/
检查目录名是否正确，scp默认的端口是22，如果用其他端口则加入-P端口。
·Agent启动错误
注意在scp同步之前不要启动agent否则会将uuid也带过来，这样会导致两个相同的uuid从而无法启动Agent。删除Agent的uuid，重启Agent重新分配uuid。
/etc/hosts文件一定要配置自己和其他节点否则会找不到节点。
·分配Parcels时显示主机运行状态不良
删除cm_guid:rm -f /opt/ cm版本号/lib/cloudera-scm-agent/cm_guid
如果是多节点，则需要删除每个agent节点的这个文件。
重启Agent进入到init.d目录，执行
./cloudera-scm-agent restart
·服务器检查警告
1. Cloudera 建议将/proc/sys/vm/swappiness 设置为？。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。
使用echo ？> /proc/sys/vm/swappiness将swappiness设置为推荐的值即可。
2. 已启用透明大页面压缩，可能会导致重大性能问题。
此问题按照提示操作即可。
之后重新检查服务器状态
·启动Hive、Oozie、HDFS报错
Hive和Oozie都需要连接数据库，所以我们将jdbc文件拷贝到lib库下，cp /opt/cm-版本号/share/cmf/lib/mysql-connector-java-5.1.35-bin.jar/opt/cloudera/parcels/CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel/lib/hive/lib/（具体路径有版本号决定）
·HDFS的NameNode路径无法初始化错误
点击错误信息打开集群管理页面，选择HDFS角色
点击配置选项卡，选择NameNode选项，修改NameNode数据目录然后保存设置，重新启动HDFS。
最详细的CDH安装攻略相关推荐
- 【超超超详细mysql下载安装攻略(有手就行)】
MySQL的下载.安装及配置 文章目录 1. MySQL的四大版本 2. 软件下载 3. 安装(下方均为如图下载的带debug等工具的安装方式,如若按我的操作流程下载的,请直接看6.使用命令语句安装) ...
- vim win装_VIM的代码补全工具YouCompleteMe在Windows上的安装攻略
前言 用VIM写代码也有很多年了,一直使用其内嵌的自动补全.这种补全没有任何语义分析,仅仅根据当前打开的文件,收集所有的单词形成一个补全库.在输入时,根据已经输入的字母,用逐个字母匹配的方式来寻找可能 ...
- DotNetNuke4.x安装心得（按照下面那篇《最完整的DNN 4.X 安装攻略（适合3.X版本）》安装还是失败的朋友进来看看...
安装环境:WINXP PRO SP2 SQL2005 VS2005 按照<最完整的DNN 4.X 安装攻略> 以下几个是我安装所碰到的问题和解决方法 1.初次安装DotNetNu ...
- Android 系统（202）---Android：这是一份全面 amp; 详细的Webview使用攻略
Android:这是一份全面 & 详细的Webview使用攻略 前言 现在很多App里都内置了Web网页(Hybrid App),比如说很多电商平台,淘宝.京东.聚划算等等,如下图 京东首页 ...
- sob攻略超详细攻略_2020成都超详细旅游，美食攻略
超详细的成都旅游攻略.美食推荐 四川小雪 出发地-成都 住宿:中心世贸商务酒店 地址:暑袜北二街 离太古里春熙路不算远1公里左右.一定提前预定民宿,下飞机到酒店.滴滴专车83.8元行驶了35分钟左右. ...
- 刺激战场电脑版android,绝地求生刺激战场怎么用电脑玩 绝地求生刺激战场pc版安装攻略...
绝地求生刺激战场pc版安装攻略: 推荐配置: 操作系统:Win7及以上,已安装DirectX 11.0 CPU:Intel i5-4590 内存:4GB 显卡:NVIDIA GeForce GTX 7 ...
- Linux 系统 pptpd+radius+mysql 安装攻略
分类: 原文地址:Linux 系统 pptpd+radius+mysql 安装攻略 作者:wfeng .你所需要的软件 内核最好能升级到2.6 如果你是centos的用户,可以通过yum upda ...
- Mac系统软件安装攻略
mac的软件安装攻略 我们mac安装的文件的扩展名为.app,一般默认会隐藏该扩展名,右键单击-显示简介-扩展名,可以看到.一般我们从appstore下载安装的安装文件,会直接默认安装到访达-应用程序 ...
- Carson带你学Android：这是一份全面详细的WebView学习攻略
前言 现在很多App里都内置了Web网页(Hybrid App),比如说很多电商平台,淘宝.京东.聚划算等等,如下图 那么这种该如何实现呢?其实这是Android里一个叫WebView组件实现 今天, ...
最新文章
- IAR调试按钮功能说明及调试主要看哪些内容
- display属性_前端基础：Grid 布局教程，重新复习grid布局的容器和项目属性
- OC语言Block 续
- PHP初入--表单元素
- devc运行不出窗口_足不出户“云出庭”?沾化“智慧检务”让法律监督“不打烊...
- 通向财务自由之路03_判断之偏好：掌握市场为何对多数人来说如此之难
- C语言程序设计题目汇总（不断更新中）
- gtid_executed和gtid_purged变量是如何初始化的
- Win32多语言IME开发概述
- 量化分析（6）——K线图、交易量图、动量图、rsi强度图
- HTML5+CSS3小实例：发光文字悬停特效
- 高斯混合模型聚类算法和K-Means聚类算法
- Java开源工具库使用之Apache commons-lang3
- 程序员公众号编辑神器-mdnice
- Docker学习之路04：创建定制Nginx镜像
- 阿里巴巴一面 ：十道经典面试题解析
- 整机性能测试软件,整机性能测试及评测总结_一体电脑评测-中关村在线
- ADO.NET连接MYSQL
- 2022硅谷大厂的大！失！败！AiDA时尚设计师助手；2023热门IT技能预告；Uber送货机器人；GitHub今日热榜 | ShowMeAI资讯日报
- node的Mysql模块