为什么80%的码农都做不了架构师?>>>   

参考文章地址:离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程

参考文章一步一步安装,有以下几个注意点

准备工作:系统环境搭建

1.在准备工作系统环境搭建6步都不能少,但不必参照文章上的做法,参照本人之前的博客。

2.在第3步中,参考我的博客:linux安装jdk,一定要做博客中的第6步,将jdk软链接到/usr/java/default,否则的话后面部署客户端配置一定会报错:cloudera manager报错“客户端配置 (id=3) 已使用 1 退出,而预期值为 0”,  安装完jdk之后,需执行命令:echo "JAVA_HOME=/apps/jdk1.7.0_55" >> /etc/environment,把jdk配置到环境变量中,同时一定要安装oracle的jdk,我们在oracle官网下的都是oracle 的jdk,使用命令java -version查看java版本,带有HotSpot的是oraclejdk,参考:怎么查看jdk是open jdk还是oracle jdk

3.第4步mysql的设置,安装本人的博客安装mysql:RHEL下源码编译安装mysql-5.6.24和初始化配置,优化设置好了之后,root用户是可以在任意节点拥有所以权限,就不需要按照参考文章上的“设置root授权访问以上所有的数据库”这一步了,然后也不需要先就创建hive和amon数据库,在添加服务的时候,提示要数据库时再去创建即可,创建数据库的命令如下:create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

4.安装前,先优化linux服务器,参考, Linux服务器初始化优化 :https://my.oschina.net/cjun/blog/761282

正式开工

1.去官网下载cloudera-manager-el6-cm5.7.1_x86_64.tar.gz,注意el6就是enterprise linux6,和centos6的包是通用的,官网地址:http://archive.cloudera.com/cm5/cm/5/

2.在主节点将压缩包解压到/opt目录,tar –zxvf cloudera-manager-el6-cm5.7.1_x86_64.tar.gz /opt,安装cloudera manager就用root用户装了,也别想着用别的用户安装,太麻烦。

3.将mysql的驱动包mysql-connector-java-5.1.35-bin.jar上传到/opt/cm-5.7.1/share/cmf/lib目录下。

4.初始化cm的数据库:/opt/cm-5.7.1/share/cmf/schema/scm_prepare_database.sh mysql -h 192.168.1.11 -uroot -p123456 --scm-host 192.168.1.11 scm scm scm

参数解释:mysql,代表数据库类型是mysql数据库。-h –u -p就是数据库的域名,用户,密码,就用root用户。最后面的三个scm,就是为cm创建的数据库名,用户,密码。注意scm我们是没法登陆的,进去数据库用select * from user;命令查看就知道,scm用户是没有什么权限的。--scm-host是指我们登陆scm的数据库机器的域名,比如cm服务器a,数据库服务器b,如果在b中host文件中配置了域名a,那么—scm-host就能使用a,如果在b中的host域名中没有配置a,那么就只能使用a的ip地址了,因为登陆scm数据库时,是有域名验证的。所以这里可以直接使用ip地址。具体参数解释,可以参照官网:scm_prepare_database.sh Syntax

5.修改/opt/cm-5.7.1/etc/cloudera-scm-agent/config.ini中的server_host的值,值为主节点的hostname:bigdata1。

6.将cm-5.7.1分发到其余的agent节点:scp -r /opt/cm-5.7.1 root@bigdata2:/opt/

7.在所有节点创建cloudera-scm用户:useradd --system --home=/opt/cm-5.7.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

8.准备Parcels,用以安装CDH5,将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中。相关的文件为:CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel、CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1、manifest.json,最后将CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1,重命名为CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha,这点必须注意,否则,系统会重新下载CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel文件。官网parcels包下载地址:http://archive.cloudera.com/cdh5/parcels/5.7.1.11/

9.相关启动脚本,在主节点通过/opt/cm-5.7.1/etc/init.d/cloudera-scm-server start启动服务端。在所有节点通过/opt/cm-5.7.1/etc/init.d/cloudera-scm-agent start启动Agent服务,注意cloudera manager是一个主节点,多个agent节点,在主节点上同时也是运行着agent的。我们启动的其实是个service脚本,需要停止服务将以上的start参数改为stop就可以了,重启是restart,查看状态status

10.都启动起来之后,就可以访问web界面了:http://bigdata1:7180,用户名密码是admin/admin。

11.第一次访问时会运行自动添加集群cluster的向导,按照向导一步一步来,不知道的就默认,有可能出现下面的情况

就在节点上运行命令:echo 10 > /proc/sys/vm/swappiness,但这仅仅是临时生效,下次重启就会失效了,想要永久生效,还需执行命令:echo 'vm.swappiness = 10' >> /etc/sysctl.conf。所以同时执行这两个命令,参考:交换分区设置

还有可能在透明大页面检查不通过,就运行它建议的命令,比如:echo never > /sys/kernel/mm/transparent_hugepage/defrag。但这也是临时生效,下次重启就会失效了,想要永久生效,还需执行命令:echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local。所以同时执行这两个命令。

还有需要输入数据库的,比如hive,就用前面建立数据库的命令先建立数据库,然后配置好。

12.如果最后都成功了,那恭喜你了。如果最后没有成功,比如说启动spark,或者hive没有成功,不要紧,我们退出到CM的管理主页,把上面显示的警告解决了。然后再单独独立的解决每一个服务的问题。先解决基础的,zookeeper,hdfs,yarn等等,再解决上层应用的。

13.如果实在是配置解决不来,就删除相关服务,重新添加服务,注意删除的时候,一定要删除干净,每一个服务都有可能需要删除下面几个方面:删除/var/lib下面对应服务的目录。如果是dfs,yarn,还有可能需要删除/dfs,/yarn等目录。删除对应的数据库。

14.在添加hive的时候,有可能提示hive缺少jdbc驱动包,将mysql的驱动包mysql-connector-java-5.1.35-bin.jar上传到/opt/cloudera/parcels/CDH/lib/hive/lib或者/usr/share/java(有可能驱动包需要重命名)目录下即可。

15.在启动spark时,有可能提示Log directory specified does not exist: hdfs://bigdata1:8020/user/spark/applicationHistory。我们手动在hdfs上添加/user/spark/applicationHistory目录,主要目录的owner需要是spark用户,可以先用hdfs用户新建此目录,然后使用命令:hdfs dfs –chown –R spark:spark /user/spark/applicationHistory,将拥有者转换成spark即可。

16.如果出现“客户端配置 (id=3) 已使用 1 退出,而预期值为 0”错误,参考:cloudera manager报错“客户端配置 (id=3) 已使用 1 退出,而预期值为 0”

转载于:https://my.oschina.net/cjun/blog/689949

cloudera manager安装使用相关推荐

  1. Cloudera Manager安装之利用parcels方式(在线或离线)安装3或4节点集群(包含最新稳定版本或指定版本的安装)(添加服务)(Ubuntu14.04)(五)...

    如果大家,在启动的时候,比如遇到如下问题,则 明明已经授权了啊,怎么被拒绝,纳尼??? 解决办法 然后,再来这样,就可以了. 注意,在此之前. ubuntucmbigdata1机器上,则需要执行 bi ...

  2. Cloudera Manager安装之Cloudera Manager安装前准备(Ubuntu14.04)(一)

    其实,基本思路跟如下差不多,我就不多详细说了,贴出主要图. 博主,我是直接借鉴下面这位博主,来进行安装的!(灰常感谢他们!) 在线和离线安装Cloudera CDH 5.6.0  Cloudera M ...

  3. Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)...

     前期博客  Cloudera Manager安装之时间服务器和时间客户端(二) ClouderaManager官网安装 https://www.cloudera.com/documentation/ ...

  4. Cloudera Manager安装之利用parcels方式安装单节点集群(包含最新稳定版本或指定版本的安装)(添加服务)(CentOS6.5)(四)...

    前期博客 Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式.rpm方式和yum方式) 说在前面的话(看清楚就好!!!) 我这篇博客,是两种方式都 ...

  5. Cloudera Manager安装之利用parcels方式安装3或4节点集群(包含最新稳定版本或指定版本的安装)(添加服务)(CentOS6.5)(五)...

    参考博客 Cloudera Manager安装之利用parcels方式安装单节点集群  Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式.rpm ...

  6. cloudera manager 安装界面指定主机无法选中解决方案

    原因 : 自己视力问题 看到外国友人的评论才发现- Cloudera Manager安装主机节点选不中,点击这里 就可以继续了

  7. Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)

    Cloudera Manager安装前准备 (一)机器准备 192.168.80.148   clouderamanager01 (部署ClouderaManager-server和Mirror se ...

  8. 大数据Kudu(五):Kudu基于Cloudera Manager安装及配置

    文章目录 Kudu基于Cloudera Manager安装及配置 一.启动CM集群 二.登录ClouderaManager平台安装Kudu

  9. 使用cloudera manager 安装CDH5

    [size=small]使用cloudera manager安装cdh5 # cat /etc/issue CentOS release 6.5 (Final) Kernel \r on an \m ...

  10. Cloudera Manager安装streamsets

    文章目录 1, 下载streamsets的parcel文件 2, 使用cloudera manager安装parcel a, 分发parcel报错 报错后,下载好的parcel被删除 b, 错误解决 ...

最新文章

  1. 全国计算机建模三等奖,2009年全国数学建模真题(论文获国家 三等奖).doc
  2. php 获取动态时间,PHP 显示动态时间
  3. Linux 统计某个字符串出现的次数
  4. Web前端开发:SQL Jsp小项目(一)
  5. 差分进化算法python_差分进化算法DE-python实现
  6. .dat文件写入byte类型数组_不可不知的可变Java长数组
  7. MySQL(9)-----多表创建及描述表关系(需求)
  8. listary提升开发效率
  9. 一个简单的透视游戏的编写
  10. css样式,鼠标移动上去变成禁用、小手等样式。
  11. cad lisp 画梯形_Lisp自动画梯形_CAD lisp 求助一段代码实现自动画弧!
  12. 浙江大学求是科学班计算机,浙江大学“汉语言文学(求是科学班)”2020年招生简章...
  13. 笔记本电脑不用软件开wifi热点
  14. [Irving]Android 常用布局之RelativeLayout
  15. 精密测量仪器的气源维护知识
  16. 空气质量指数计算公式
  17. Django Vue实现动态菜单、动态权限
  18. arcgis字段计算器赋值_【干货】关于ArcGIS的这62个常用技巧,你造吗?
  19. 数据分析实战平台分享
  20. error LNK2001: 无法解析的外部符号 __imp__WSAGetLastError@0

热门文章

  1. 过滤掉文本中的javascript标签代码
  2. 80后的我们为什么不结婚?
  3. Android4OpenCV实时人脸检测detectMultiScale报错
  4. js获取post请求参数_SpringMVC请求参数获取时,有这六种方式值得学习
  5. bigdecimal 保留两位小数_五年级数学知识点总结-02小数的除法
  6. LCA(最近公共子序列)
  7. 异常处理1:复习、异常概述和异常体系结构
  8. 【排序】动画演示10大排序算法
  9. 小爱mini改aux立体声_拆解报告:Redmi小爱音箱Play
  10. php oauth单点登陆,php单点登录