cloudera manager安装使用
为什么80%的码农都做不了架构师?>>>
参考文章地址:离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
参考文章一步一步安装,有以下几个注意点
准备工作:系统环境搭建
1.在准备工作系统环境搭建6步都不能少,但不必参照文章上的做法,参照本人之前的博客。
2.在第3步中,参考我的博客:linux安装jdk,一定要做博客中的第6步,将jdk软链接到/usr/java/default,否则的话后面部署客户端配置一定会报错:cloudera manager报错“客户端配置 (id=3) 已使用 1 退出,而预期值为 0”, 安装完jdk之后,需执行命令:echo "JAVA_HOME=/apps/jdk1.7.0_55" >> /etc/environment,把jdk配置到环境变量中,同时一定要安装oracle的jdk,我们在oracle官网下的都是oracle 的jdk,使用命令java -version查看java版本,带有HotSpot的是oraclejdk,参考:怎么查看jdk是open jdk还是oracle jdk
3.第4步mysql的设置,安装本人的博客安装mysql:RHEL下源码编译安装mysql-5.6.24和初始化配置,优化设置好了之后,root用户是可以在任意节点拥有所以权限,就不需要按照参考文章上的“设置root授权访问以上所有的数据库”这一步了,然后也不需要先就创建hive和amon数据库,在添加服务的时候,提示要数据库时再去创建即可,创建数据库的命令如下:create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
4.安装前,先优化linux服务器,参考, Linux服务器初始化优化 :https://my.oschina.net/cjun/blog/761282
正式开工
1.去官网下载cloudera-manager-el6-cm5.7.1_x86_64.tar.gz,注意el6就是enterprise linux6,和centos6的包是通用的,官网地址:http://archive.cloudera.com/cm5/cm/5/
2.在主节点将压缩包解压到/opt目录,tar –zxvf cloudera-manager-el6-cm5.7.1_x86_64.tar.gz /opt,安装cloudera manager就用root用户装了,也别想着用别的用户安装,太麻烦。
3.将mysql的驱动包mysql-connector-java-5.1.35-bin.jar上传到/opt/cm-5.7.1/share/cmf/lib目录下。
4.初始化cm的数据库:/opt/cm-5.7.1/share/cmf/schema/scm_prepare_database.sh mysql -h 192.168.1.11 -uroot -p123456 --scm-host 192.168.1.11 scm scm scm
参数解释:mysql,代表数据库类型是mysql数据库。-h –u -p就是数据库的域名,用户,密码,就用root用户。最后面的三个scm,就是为cm创建的数据库名,用户,密码。注意scm我们是没法登陆的,进去数据库用select * from user;命令查看就知道,scm用户是没有什么权限的。--scm-host是指我们登陆scm的数据库机器的域名,比如cm服务器a,数据库服务器b,如果在b中host文件中配置了域名a,那么—scm-host就能使用a,如果在b中的host域名中没有配置a,那么就只能使用a的ip地址了,因为登陆scm数据库时,是有域名验证的。所以这里可以直接使用ip地址。具体参数解释,可以参照官网:scm_prepare_database.sh Syntax
5.修改/opt/cm-5.7.1/etc/cloudera-scm-agent/config.ini中的server_host的值,值为主节点的hostname:bigdata1。
6.将cm-5.7.1分发到其余的agent节点:scp -r /opt/cm-5.7.1 root@bigdata2:/opt/
7.在所有节点创建cloudera-scm用户:useradd --system --home=/opt/cm-5.7.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
8.准备Parcels,用以安装CDH5,将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中。相关的文件为:CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel、CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1、manifest.json,最后将CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1,重命名为CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha,这点必须注意,否则,系统会重新下载CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel文件。官网parcels包下载地址:http://archive.cloudera.com/cdh5/parcels/5.7.1.11/
9.相关启动脚本,在主节点通过/opt/cm-5.7.1/etc/init.d/cloudera-scm-server start启动服务端。在所有节点通过/opt/cm-5.7.1/etc/init.d/cloudera-scm-agent start启动Agent服务,注意cloudera manager是一个主节点,多个agent节点,在主节点上同时也是运行着agent的。我们启动的其实是个service脚本,需要停止服务将以上的start参数改为stop就可以了,重启是restart,查看状态status
10.都启动起来之后,就可以访问web界面了:http://bigdata1:7180,用户名密码是admin/admin。
11.第一次访问时会运行自动添加集群cluster的向导,按照向导一步一步来,不知道的就默认,有可能出现下面的情况
就在节点上运行命令:echo 10 > /proc/sys/vm/swappiness,但这仅仅是临时生效,下次重启就会失效了,想要永久生效,还需执行命令:echo 'vm.swappiness = 10' >> /etc/sysctl.conf。所以同时执行这两个命令,参考:交换分区设置
还有可能在透明大页面检查不通过,就运行它建议的命令,比如:echo never > /sys/kernel/mm/transparent_hugepage/defrag。但这也是临时生效,下次重启就会失效了,想要永久生效,还需执行命令:echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local。所以同时执行这两个命令。
还有需要输入数据库的,比如hive,就用前面建立数据库的命令先建立数据库,然后配置好。
12.如果最后都成功了,那恭喜你了。如果最后没有成功,比如说启动spark,或者hive没有成功,不要紧,我们退出到CM的管理主页,把上面显示的警告解决了。然后再单独独立的解决每一个服务的问题。先解决基础的,zookeeper,hdfs,yarn等等,再解决上层应用的。
13.如果实在是配置解决不来,就删除相关服务,重新添加服务,注意删除的时候,一定要删除干净,每一个服务都有可能需要删除下面几个方面:删除/var/lib下面对应服务的目录。如果是dfs,yarn,还有可能需要删除/dfs,/yarn等目录。删除对应的数据库。
14.在添加hive的时候,有可能提示hive缺少jdbc驱动包,将mysql的驱动包mysql-connector-java-5.1.35-bin.jar上传到/opt/cloudera/parcels/CDH/lib/hive/lib或者/usr/share/java(有可能驱动包需要重命名)目录下即可。
15.在启动spark时,有可能提示Log directory specified does not exist: hdfs://bigdata1:8020/user/spark/applicationHistory。我们手动在hdfs上添加/user/spark/applicationHistory目录,主要目录的owner需要是spark用户,可以先用hdfs用户新建此目录,然后使用命令:hdfs dfs –chown –R spark:spark /user/spark/applicationHistory,将拥有者转换成spark即可。
16.如果出现“客户端配置 (id=3) 已使用 1 退出,而预期值为 0”错误,参考:cloudera manager报错“客户端配置 (id=3) 已使用 1 退出,而预期值为 0”
转载于:https://my.oschina.net/cjun/blog/689949
cloudera manager安装使用相关推荐
- Cloudera Manager安装之利用parcels方式(在线或离线)安装3或4节点集群(包含最新稳定版本或指定版本的安装)(添加服务)(Ubuntu14.04)(五)...
如果大家,在启动的时候,比如遇到如下问题,则 明明已经授权了啊,怎么被拒绝,纳尼??? 解决办法 然后,再来这样,就可以了. 注意,在此之前. ubuntucmbigdata1机器上,则需要执行 bi ...
- Cloudera Manager安装之Cloudera Manager安装前准备(Ubuntu14.04)(一)
其实,基本思路跟如下差不多,我就不多详细说了,贴出主要图. 博主,我是直接借鉴下面这位博主,来进行安装的!(灰常感谢他们!) 在线和离线安装Cloudera CDH 5.6.0 Cloudera M ...
- Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)...
前期博客 Cloudera Manager安装之时间服务器和时间客户端(二) ClouderaManager官网安装 https://www.cloudera.com/documentation/ ...
- Cloudera Manager安装之利用parcels方式安装单节点集群(包含最新稳定版本或指定版本的安装)(添加服务)(CentOS6.5)(四)...
前期博客 Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式.rpm方式和yum方式) 说在前面的话(看清楚就好!!!) 我这篇博客,是两种方式都 ...
- Cloudera Manager安装之利用parcels方式安装3或4节点集群(包含最新稳定版本或指定版本的安装)(添加服务)(CentOS6.5)(五)...
参考博客 Cloudera Manager安装之利用parcels方式安装单节点集群 Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式.rpm ...
- cloudera manager 安装界面指定主机无法选中解决方案
原因 : 自己视力问题 看到外国友人的评论才发现- Cloudera Manager安装主机节点选不中,点击这里 就可以继续了
- Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)
Cloudera Manager安装前准备 (一)机器准备 192.168.80.148 clouderamanager01 (部署ClouderaManager-server和Mirror se ...
- 大数据Kudu(五):Kudu基于Cloudera Manager安装及配置
文章目录 Kudu基于Cloudera Manager安装及配置 一.启动CM集群 二.登录ClouderaManager平台安装Kudu
- 使用cloudera manager 安装CDH5
[size=small]使用cloudera manager安装cdh5 # cat /etc/issue CentOS release 6.5 (Final) Kernel \r on an \m ...
- Cloudera Manager安装streamsets
文章目录 1, 下载streamsets的parcel文件 2, 使用cloudera manager安装parcel a, 分发parcel报错 报错后,下载好的parcel被删除 b, 错误解决 ...
最新文章
- 全国计算机建模三等奖,2009年全国数学建模真题(论文获国家 三等奖).doc
- php 获取动态时间,PHP 显示动态时间
- Linux 统计某个字符串出现的次数
- Web前端开发:SQL Jsp小项目(一)
- 差分进化算法python_差分进化算法DE-python实现
- .dat文件写入byte类型数组_不可不知的可变Java长数组
- MySQL(9)-----多表创建及描述表关系(需求)
- listary提升开发效率
- 一个简单的透视游戏的编写
- css样式,鼠标移动上去变成禁用、小手等样式。
- cad lisp 画梯形_Lisp自动画梯形_CAD lisp 求助一段代码实现自动画弧!
- 浙江大学求是科学班计算机,浙江大学“汉语言文学(求是科学班)”2020年招生简章...
- 笔记本电脑不用软件开wifi热点
- [Irving]Android 常用布局之RelativeLayout
- 精密测量仪器的气源维护知识
- 空气质量指数计算公式
- Django Vue实现动态菜单、动态权限
- arcgis字段计算器赋值_【干货】关于ArcGIS的这62个常用技巧,你造吗?
- 数据分析实战平台分享
- error LNK2001: 无法解析的外部符号 __imp__WSAGetLastError@0