createrepo命令安装_安装CDH6.3
文档编写目的
Cloudera在2019年7月31日,对外宣布正式发布Cloudera Enterprise 6.3,相关介绍可以参考Fayson之前的文章《0682-Cloudera Enterprise 6.3.0发布》,《0717-6.3.0-Cloudera Manager 6.3的新功能》和《0718-6.3.0-CDH6.3的新功能》。本文档Fayson主要描述如何在Redhat7.4安装CDH6.3。CDH6与CDH5的安装步骤一致,主要包括以下四部分:
1.安全前置准备,包括安装操作系统、关闭防火墙、同步服务器时钟等;
2.外部数据库如MySQL安装
3.安装Cloudera Manager;
4.安装CDH集群;
请务必注意CDH6的安装前置条件包括如下:
- 外部数据库支持:
MySQL 5.7或更高
MariaDB 5.5或更高
PostgreSQL 8.4或更高
Oracle 12c或更高
- JDK
Oracle JDK1.8,将不再支持JDK1.7
- 操作系统支持
RHEL 6.8或更高
RHEL 7.2或更高
SLES 12 SP2或更高
Ubuntu 16或更高
- 本次Fayson的测试环境为
1.CM和CDH版本为6.3
2.Redhat7.4
3.JDK1.8.0_181
4.MariaDB-5.5.56
5.root用户安装
前置准备
2.1 hostname及hosts配置
集群中各个节点之间能互相通信使用静态IP地址。IP地址和主机名通过/etc/hosts配置,主机名通过/etc/hostname进行配置。
以cm节点(172.31.13.38)为例:
- hostname配置
/etc/hostname文件如下:
或者你可以通过命令修改立即生效
- hosts配置
/etc/hosts文件如下:
以上两步操作,在集群中其它节点做相应配置。确认需要安装的4台主机的hosts文件:
2.2 禁用SELinux
在所有节点执行setenforce 0 命令,此处使用批处理shell执行:
集群所有节点修改/etc/selinux/config文件如下:
# This file controls the state of SELinux on the system.# SELINUX= can take one of these three values:# enforcing - SELinux security policy is enforced.# permissive - SELinux prints warnings instead of enforcing.# disabled - No SELinux policy is loaded.SELINUX=disabled# SELINUXTYPE= can take one of three two values:# targeted - Targeted processes are protected,# minimum - Modification of targeted policy. Only selected processes are protected. # mls - Multi Level Security protection.SELINUXTYPE=targeted
2.3 关闭防火墙
集群所有节点执行 systemctl stop命令,此处通过shell批量执行命令如下:
2.4 集群时钟同步
在Redhat7.x的操作系统上,已经默认的安装了chrony,我们这里先卸载chrony,然后安装ntp。使用ntp来配置各台机器的时钟同步,将cm(172.31.13.38)服务作为本地ntp服务器,其它3台服务器与其保持同步。
1.所有机器卸载chrony
2.所有机器安装ntp
3.cm机器配置时钟与自己同步
4.集群其它节点,配置找cm机器去同步
5.重启所有机器的ntp服务
6.验证始终同步,在所有节点执行ntpq -p命令,如下使用脚本批量执行
左边出现*号表示同步成功。
2.5 设置swap
1.在所有机器执行以下命令以临时设置swap为1,并即时生效
确保最后swap打印应该都为1
2.为所有机器永久设置swap为1,修改/etc/sysctl.conf中vm.swappiness为1,没有则新增。
将/etc/sysctl.conf文件同步到集群所有机器
2.6 设置透明大页面
1.所有节点执行以下命令关闭透明大页面,并即时生效
2.修改所有节点的/etc/rc.d/rc.local文件的权限以实现开机执行
3.在所有节点的/etc/rc.d/rc.local文件中新增如下内容,以实现开机自动关闭透明大页面。
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled fi if test -f /sys/kernel/mm/transparent_hugepage/defrag; then echo never > /sys/kernel/mm/transparent_hugepage/defrag fi
将该文件同步到所有节点
2.7 配置操作系统repo
Fayson用的是AWS的环境,这步是可以省略的,放在这里供物理机部署的兄弟们参考。
- 挂载操作系统iso文件
- 配置操作系统repo
[ec2-user@ip-172-31-2-159 ~]$ sudo vim /etc/yum.repos.d/local_os.repo[local_iso] name=CentOS-$releasever - Mediabaseurl=file:///media/DVD1gpgcheck=0enabled=1[ec2-user@ip-172-31-2-159 ~]$ sudo yum repolist
2.8 安装httpd服务
- 安装httpd服务
- 启动httpd服务
- 安装完httpd后,重新制作操作系统repo,换成http的方式方便其它服务器也可以访问
1.修改/etc/httpd/conf/httpd.conf配置文件,在中修改以下内容
2.保存httpd.conf的修改,并重启httpd服务
2.9 安装MariaDB
1.安装MariaDB
2.启动并配置MariaDB
3.建立CM,Hive等需要的表
4.安装JDBC驱动
Cloudera Manager安装
3.1 配置本地repo源
1.下载CM6.3的安装包,地址为:
https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3.0-1281944.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.0-1281944.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3.0-1281944.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-db-2-6.3.0-1281944.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/enterprise-debuginfo-6.3.0-1281944.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/allkeys.asc
2.下载CDH6.3的安装包,地址为:
https://archive.cloudera.com/cdh6/6.3.0/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcelhttps://archive.cloudera.com/cdh6/6.3.0/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel.sha1https://archive.cloudera.com/cdh6/6.3.0/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel.sha256https://archive.cloudera.com/cdh6/6.3.0/parcels/manifest.json
3.将Cloudera Manager安装需要的6个rpm包以及一个asc文件下载到本地,放在同一目录,执行createrepo命令生成rpm元数据。
[root@ip-172-31-13-38 cm6.3]# createrepo .
4.配置Web服务器
将上述cdh6.3/cm6.3目录移动到/var/www/html目录下, 使得用户可以通过HTTP访问这些rpm包。
验证浏览器能否正常访问
5.制作Cloudera Manager的repo源
6.验证安装JDK
3.2 安装Cloudera Manager Server
1.通过yum安装Cloudera Manager Server
2.初始化数据库
3.启动Cloudera Manager Server
4.检查端口是否监听
5.通过http://cm_ip:7180/cmf/login访问CM
注意:完全启动成功需要几分钟时间。
CDH安装
4.1 CDH集群安装向导
1.admin/admin登录到CM
2.同意license协议,点击继续
3.选择60试用,点击继续
4.点击“继续”
5.点击“继续”,输入集群名称,可以使用默认的“Cluster 1”。
6.输入主机IP或者名称,点击搜索找到主机后点击继续
7.选择自定义存储库,输入cm的http地址
“CDH and other software”中选择“使用 Parcel (建议)”,点击“ 更多选项”,点击“-”删除其它所有地址,输入http://172.31.13.38/cdh6.3,点击“保存更改”
点击“继续”
8.点击“继续”,进入下一步安装jdk
9.点击“继续”,进入下一步配置ssh账号密码
10.点击“继续”,进入下一步,安装Cloudera Manager相关到各个节点
等待Agent安装完毕后,自动跳转到下一步开始分发Parcel
11.点击“继续”,进入下一步安装cdh到各个节点
12.点击Inspect Network Performance和Inspect Hosts,检查主机
如果有错误或者黄色警告,查看“显示检查器结果”,并逐项解决,然后“重新运行”检查,直到所有的检查都通过,否则没办法点击继续下一步。
4.2 集群设置安装向导
1.选择需要安装的服务,根据需要选择,这里随便选择Data Warehouse,也可以自定义服务
2.点击“继续”,进入集群角色分配,一台机器作为管理节点,另外三台机器作为DataNode
注意:Activity Monitor和Telemetry Publisher不用选择任何主机,留空,即不安装,因为用不到。
3.点击“继续”,进入下一步,测试数据库连接
4.测试成功,点击“继续”,进入目录设置,此处使用默认默认目录,根据实际情况进行目录修改
5.点击“继续”,进入各个服务启动
6.安装成功后进入home管理界面
4.3 组件版本检查
可以看到Hadoop3.0,Flume1.9,HBase2.1,Hive2.1.1,Spark2.4,Hue4.2.0,Impala3.2,Kafka2.2.1,Kudu1.0,Oozie5.1,Pig0.17,Senty2.1,Solr7.4,Sqoop1.4.7,Zookeeper3.4.5等。
总结
1.从安装方式上来看,CDH6与CDH5变化不大,这也方便了CDH5的用户可以较为快速的迁移到CDH6,以及适应CDH6的安装与使用。
2.安装向导界面有一些变化,现在可以一目了然的看到一共多少步骤,以及每个步骤是干什么。
3.安装条件前置没有任何变化,包括防火墙,Selinux关闭,ntp同步等等。可以参考Fayson之前的文章《CDH安装前置准备》
4.进到主界面变化也不大,主要是Cloudera的logo变成了黑色,与Cloudera主页的整体风格一致。
5.在配置Cloudera Manager连接到数据库时的脚本有所变化。以前是/usr/share/cmf/schema/scm_prepare_database.sh,现在是/opt/cloudera/cm/schema/scm_prepare_database.sh
6.Cloudera Manager服务的状态在Redhat7通过systemctl status cloudera-scm-server查看是显示正确,而以前是不正确的,可以参考Fayson之前的文章《Cloudera Manager服务在RedHat7状态显示异常分析》
7.Cloudera Manager的rpm安装包由之前的7个变成了6个,去掉了之前的JDK6的包,然后自带JDK1.8.0_181,将不再支持JDK1.7。
8.注意CM的安装除了下载rpm包以外,还要下载allkeys.asc文件,否则安装agent的时候会报以下错误:
9.对于离线安装CDH6.x,分发Parcel出现hash校验失败的问题,是因为在CM6中修复了一个bug,让它不再忽略由http服务器发送的“Content-Encoding”的header信息,但是我们在Redhat中安装的httpd服务,当它传输parcel文件时,默认会错误的设置“Content-Encoding”。于是CM server会错误的认为parcel文件已经被httpd压缩并尝试解压缩。所以会导致失败。解决办法是参考2.8章节的,设置httpd的conf文件,AddType application/x-gzip .gz .tgz .parcel,然后重启httpd服务和CM服务。这个问题在beta的时候就已经存在了,具体请参考《0350-Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析》
10.与CDH6.1的安装相比,6.2/6.3有一些细微的差别,首先多了一个步骤可以自定义集群的名字,默认“Cluster 1”;另外在“检查主机”那个步骤,多了一个选项“检查网络性能”,这个功能是为CDH6.2/6.3的新功能SDX服务的,因为SDX是存储计算分离的架构,如果网络是瓶颈,可能并不适合SDX。
createrepo命令安装_安装CDH6.3相关推荐
- ffmpeg mp4 提取h265命令行_安装FFmpeg多媒体库,以及命令行程序使用介绍
FFmpeg是非常流行的多媒体框架,主要用于音视频的解码.编码.转码.混流.过滤.播放等操作. 2000年,法国著名的程序员Fabrice Bellard创建FFmpeg项目,前两个字母FF是Fast ...
- php5.2.10安装_安装 | 起步 | Laravel 5.2 中文文档
安装 由 学院君 创建于5年前, 最后更新于 11个月前 版本号 #2 94087 views 46 likes 0 collects 1.服务器要求 Laravel 框架有对服务器有少量要求,当然, ...
- cmd测试cuda安装_安装:anaconda+cuda+pytorch+pycharm
每次安装都要在网上各种搜索,为了下次安装的时候简单一点,把对我安装帮助较大的链接整理了一下,整个过程仅供参考: 除了pycharm,其他位置均不建议更改默认位置,建议全程可开着cmd 1.anacon ...
- pip 安装_安装 pip 轻松管理 PyPI 软件包 | Linux 中国
在 Linux.Mac 或 Windows 上为旧版 Python 安装 pip.-- Vijay Singh Khatri Python 是一种功能强大.流行广泛的编程语言,在常规编程.数据科学等很 ...
- mysql2.1.4安装_安装Apache2.2.4+Mysql5.0.27+php5.2.1详细安装说明
安装Apache2.2.4+Mysql5.0.27+php5.2.1详细安装说明 安装系统: 红帽子企业服务器Redhat Linux5(不安装任何服务) 也可以安装完整版,然后将Apache,mys ...
- nginx 安装_安装Nginx的几种方式
nginx安装 yum安装 手动下载安装包安装 下载地址:http://nginx.org/en/download.html 下载最新稳定版本Stable version,目前最新版本为:1.18.0 ...
- tensorflow 安装_安装tensorflow-gpu 2.0
本文介绍tensorflow 2.0 GPU版的安装,测试.软件包括Windows 10,Anaconda,NVIDIA GPU 驱动,CUDA® Toolkit,cuDNN SDK,tensorfl ...
- pip 离线安装_安装不上python的模块怎么办?别怕,我这有妙招!
之前我们介绍过如何在Python中安装第三方的包: Python以第三方包丰富而著称,你想要的功能几乎都可以通过pip命令安装,避免什么都要自己重新造轮子尬尴. 但是pip安装有两个常见问题,第一是下 ...
- npm全局安装_安装webpack
安装Webpack前的准备工作: 1. 由于 webpack 执行打包压缩时依赖 nodeJS,先确保你的系统安装了nodeJS 5.0.0 及以上的版本. 2. 因为 npm 是 nodeJS 平台 ...
最新文章
- 独家 | 规范性分析的实用介绍(附R语言案例研究演示代码)
- 操作系统 实验三 进程调度模拟程序
- jquery跨域调用wcf
- POJ 2315:Football Game(博弈论)
- 监控整页,非AJAX,要求通知
- c读取txt文件内容并建立一个链表_C++链表实现学生信息管理系统
- 【HTML】表单练习
- 利用python解析手机通讯录
- python网络爬虫系列教程——Python+PhantomJS +Selenium组合应用
- vim使用指北 ---- Global Replacement
- 一文解决样本不均衡(全)
- asp中的session使用方法详解
- Chrome最新版如何安装代理Proxy SwitchyOmega
- 手机端追剧神器,最新最火电影免费看,非常牛批!
- 第106章 Caché 函数大全 $ZF(-4),$ZF(-5),$ZF(-6) 函数
- cad怎么画立体图形教学_CAD画三维图中如何绘制三维实体
- [Python高效编程] - 统计元素出现频度
- php测试教程,PHP单元测试基础教程
- KernelGAN论文详解分享
- MATLAB基本操作及概念