大数据平台CDH搭建
一、概述
Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。
二、安装部署
| 序号 | IP地址 | 主机名 |系统版本|
| -------- | -------- | -------- |
| 1 | 172.20.2.222 | cm-server |centos7.3
| 2 | 172.20.2.203 | hadoop-1 |centos7.3
| 3 | 172.20.2.204 | hadoop-2 |centos7.3
| 4 | 172.20.2.205 | hadoop-3 |centos7.3
2.2.1 基础环境部署
a.修改主机名配置hosts
systemctl stop firewalld
hostnamectl set-hostname cm-server #更改个主机名
sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config
setenforce 0
cat >>/etc/hosts<<EOF #添加各个节点hosts解析
172.20.2.222 cm-server
172.20.2.203 hadoop-1
172.20.2.204 hadoop-2
172.20.2.205 hadoop-3
EOF
b.配置cm-server免密钥登录其他节点
ssh-keygen -t rsa #在cm-server生成密钥对
for num in `seq 1 3`;do ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop-$num;done
c.在cm-server安装数据库
在cm-server上安装mariadb,用于后期数据存储
yum install mariadb*
systemctl start mariadb
mysql -uroot password "mysqladmin"
登录数据库后我们采用root登录
e.java环境配置
如果系统有安装java环境卸载干净使用oracle的jdk,此处使用jdk-7u80-linux-x64.rpm
,在各节点均配置java环境
rpm -ivh jdk-7u80-linux-x64.rpm
cat >/etc/profile.d/java.sh<<EOF
export JAVA_HOME=/usr/java/jdk1.8.0_121
export CLASSPATH=.:\$JAVA_HOME/jre/lib/rt.jar:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar
export PATH=\$PATH:\$JAVA_HOME/bin
EOF
source /etc/profile.d/java.sh
f.配置各节点服务器需求
sysctl -w vm.swappiness=10
echo "vm.swappiness=10" >>/etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
2.2.2 Cloudera Manager安装
a.下载解压相关软件包
mkdir /software && cd /software
wget -c https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz
wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel
wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1 -O CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha
wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/manifest.json
wget -c https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.zip
tar -zxvf cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz -C /opt/ #解压cm包
unzip mysql-connector-java-5.1.46.zip #解压java-mysql连接jar包
cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /opt/cm-5.14.1/share/cmf/lib/ #将jar包复制到cm的lib目录下
cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar
b.创建用户及初始化数据库
useradd --system --home=/opt/cm-5.14.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm #在各个节点均创建用户
vim /opt/cm-5.14.1/etc/cloudera-scm-agent/config.ini将其中的server_host=cm-server #指向cm-server
usage: /opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh [options] (postgresql|mysql|oracle) database username [password] #使用选项
/opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh mysql cmdb -h"cm-server" -uroot -pmysqladmin --scm-host cm-server scm scm scm
c.将文件将cm-server修改完成的文件分发到其他各节点
for i in `seq 1 3`;do scp -r /opt/cm-5.14.1 hadoop-$i:/opt/;done
d.创建本地源
mv CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel* manifest.json /opt/cloudera/parcel-repo/
e.启动服务
在cm-server启动server和agent服务,在其他节点启动agent服务
/opt/cm-5.14.1/etc/init.d/cloudera-scm-server start
/opt/cm-5.14.1/etc/init.d/cloudera-scm-agent start
2.2.2 Cloudera Manager的web界面配置
服务器均启动后,可以浏览器访问cm-server的7180端口,用户名/密码为admin/admin
image
image
接受协议继续
image
可以选择适用60天
image
提示一些涉及许可证的信息
image
勾选管理的主机继续操作
image
选择CDH-5.14版本
image
parcel安装
image
主机正确性检查
image
群集设置(选择安装的服务)
image
自定义角色分配,选择安装在那个节点上
image
数据库设置
需要提前创建数据库及授权其他节点可以正常连接
image
image
审核更改
image
集群安装
image
完成安装
image
image
后期可添加服务
image
大数据平台CDH搭建相关推荐
- 大数据平台的搭建思路是怎样的
大数据平台的搭建就是企业面临的问题,搭建大数据平台有哪些思路?怎么样的搭建路径可以让企业少走弯路?什么样的架构是业内标准?通过什么手段来分析和展示已有的数据? 或许这些问题会萦绕在您的心头,那么今天就 ...
- 【Hadoop大数据平台组件搭建系列(一)】——Zookeeper组件配置
简介 本篇介绍Hadoop大数据平台组件中的Zookeeper组件的搭建 使用软件版本信息 zookeeper-3.4.14.tar.gz Zookeeper安装 解压Zookeeper安装包至目标目 ...
- 教育行业需要了解的大数据,武汉数道云科技浅析:Hadoop大数据平台如何搭建?...
从教育行业的需求出发,去分析互联网时代教育行业需要了解的大数据,以及大数据平台的搭建应该注意什么? 中国-教育规模较大的国家之一,随着互联网的发展,海量的教育大数据将不断产生,如何有效科学的利用数据资 ...
- 【数道云】教育行业需要了解的大数据,武汉Hadoop大数据平台如何搭建?...
从教育行业的需求出发,去分析互联网时代教育行业需要了解的大数据,以及大数据平台的搭建应该注意什么? 中国-教育规模较大的国家之一,随着互联网的发展,海量的教育大数据将不断产生,如何有效科学的利用数据资 ...
- Ambari——大数据平台的搭建利器之进阶篇
Ambari--大数据平台的搭建利器之进阶篇 [日期:2015-07-14] 来源:IBM 作者: [字体:大 中 小] Ambari 的现状 目前 Apache Ambari 的最高版本是 2.0 ...
- 【数道云】教育行业需要了解的大数据,武汉Hadoop大数据平台如何搭建?
从教育行业的需求出发,去分析互联网时代教育行业需要了解的大数据,以及大数据平台的搭建应该注意什么? 中国-教育规模较大的国家之一,随着互联网的发展,海量的教育大数据将不断产生,如何有效科学的利用数据资 ...
- 大数据平台CDH的介绍和5.16/6.3版本的搭建
以下记录和介绍为自己在测试环境中的实际操作,因为很详细,所以篇幅较长,作为自己的记录文档,同时也帮助初学大数据平台搭建的朋友. 目录 1. CDH介绍 Hadoop主流三大发行版本: 1.1 CDH体 ...
- Hadoop大数据平台环境搭建注意事项,分布式数据采集,武汉数道云科技
Hadoop大数据作为时代发展的产物,影响着互联网企业发展.以及企业关于品牌形象推广.政府有关民意采集.以及有关数据信息收集分类------ Hadoop技术的发展,带来了海量数据高效处理的能力,也给 ...
- 大数据平台的搭建和数据分析
行内人士皆知,大数据分析平台的搭建有利于帮助企业构建统一的数据存储和数据处理资源,围绕企业业务开展大数据应用建设,最终形成面向服务化的数据资产.今天我们就以大数据平台为例,透过平台所包含的系统模块来看 ...
最新文章
- Java 爬虫--类似Python的requests库--HttpClient, HttpAsyncClient--Maven
- php 计算一个字符串在另一个字符串中出现的次数
- c语言已知斜率 求倾角,倾斜解的问题
- vmware 指定的网络名不可用
- 【开发者的精进】 数据驱动下的程序设计
- 你觉得你个性上最大的优点是什么?
- 在CentOS中安装gcc配置c语言开发环境(转)
- 二阶矩阵乘法C语言,c语言矩阵相乘
- ubuntu 中怎么添加和删除用户
- [转]模拟芯片设计的四重境界
- UVA12190 Electric Bill【二分搜索】
- 绿联蓝牙驱动 linux,Ugreen绿联蓝牙驱动下载
- Navicat Premium 注册码与破解
- 在平面国生活,会是怎样的体验?
- python word 公式转png图片处理方式
- S3C2440 SDRAM内存驱动
- 抖音作品实时监控采集数据,抖音达人下关键词数据抓取
- 呕心沥血总结的Python自动化测试面试题
- Swoole 介绍以及三步快速安装 swoole 教程
- oracle 排序算法,ORACLE的ORDERBY非稳定的排序
热门文章
- jasmine.any(Function)
- 如何在 SAP BTP 平台 ABAP 编程环境里消费基于 SOAP 的 Web Service
- 介绍一个功能强大的 Visual Studio Code 扩展 - Rest Client,能部分替代 Postman
- 通过 Route 配置的例子,学习SAP Cloud for Customer 的scoping操作
- SAP Spartacus的user id
- 使用ant执行Java代码
- SAP CRM IPC and configuration page debugs
- Angular Remove me测试应用的工作原理
- 利用canvas绘制动态仪表盘
- 将github pages搭建的网页添加到百度搜索资源平台上