Hadoop实战(3)_虚拟机搭建CDH的全分布模式
系列目录:
Hadoop实战(1)_阿里云搭建Hadoop2.x的伪分布式环境
Hadoop实战(2)_虚拟机搭建Hadoop的全分布模式
建立Linux虚拟机(全节点)
客户机操作系统:rhel-server-6.5-x86_64。
网络连接:NAT模式。Connecet automaticcally:打勾。不会随宿主机网段变化发生IP变化。
hostname | Address | Netmask | Gateway |
---|---|---|---|
cdhmaster | 192.168.200.100 | 255.255.255.0 | 192.168.200.2 |
cdhslave1 | 192.168.200.101 | 255.255.255.0 | 192.168.200.2 |
安装类型:Minimal
关闭防火墙和SELINUX(全节点)
# iptables
service iptables status
service iptables stop
# 不随操作系统自动启动
chkconfig iptables off
# 验证,查看名字中包含table的服务
chkconfig --list|grep table
# 永久起效,reboot重启后生效
vi /etc/selinux/config
SELINUX=disabled
复制代码
修改主机名,配置hosts(全节点)
vi /etc/sysconfig/network# cdhmaster
NETWORKING=yes
HOSTNAME=cdhmaster
GATEWAY=192.168.200.2service network restart# cdhslave1
NETWORKING=yes
HOSTNAME=cdhslave1
GATEWAY=192.168.200.2service network restart
复制代码
vi /etc/hosts192.168.200.100 cdhmaster
192.168.200.101 cdhslave1
复制代码
搭建本地yum源(master节点)
挂载iso镜像文件,拷贝文件内容
mkdir -p /root/training/dvd
mount /dev/cdrom /mnt/dvd
df -h
cp -av /mnt/dvd/* /root/training/dvd
umount /mnt/dvd
复制代码
新建yum配置文件
vi /etc/yum.repos.d/local.repo[dvd]
name=install dvd
baseurl=file:///root/training/dvd
enabled=1
# enabled=0
gpgcheck=0# 验证
yum list | grep mysql
复制代码
搭建本地yum源(http方式)(master节点)
启动httpd服务
# 验证是否安装httpd服务
rpm -qa|grep httpd
# yum install -y httpd
yum install -y httpd
# 启动httpd服务
service httpd start
# 设置httpd服务开机自启动
chkconfig httpd on
复制代码
配置yum源
# 上传rhel6.5.tar至`/var/www/html`,解压
tar xvf rhel6.5.tar
# 验证,在浏览器地址栏输入http://cdhmaster/rhel6.5
复制代码
新建yum配置文件
cp rhel-source.repo rhel-source.repo.bak
vi /etc/yum.repos.d/rhel-source.repo[rhel-source]
name=Red Hat Enterprise Linux $releasever - $basearch - Source
baseurl=http://cdhmaster/rhel6.5/
enabled=1
gpgcheck=0# 把前面搭建的本地yum源禁用,设置local.repo中的enabled=0
# 验证
yum list | grep mysql
复制代码
yum源配置(全节点)
新建yum配置文件
cp rhel-source.repo rhel-source.repo.bak
vi /etc/yum.repos.d/rhel-source.repo[rhel-source]
name=Red Hat Enterprise Linux $releasever - $basearch - Source
baseurl=http://cdhmaster/rhel6.5/
enabled=1
gpgcheck=0# 把前面搭建的本地yum源禁用,设置local.repo中的enabled=0
# 验证
yum list | grep mysql
复制代码
ntp时间同步(全节点)
# 检查是否安装了ntp
rpm -qa | grep ntp
yum install -y ntp ntpdate
service ntpd start
chkconfig ntpd on
service ntpdate start
chkconfig ntpdate on
复制代码
# 选择cdhmaster用作ntp server,设置系统时间并保存
date -s "20171024 14:04:00"
hwclock --systohc
复制代码
# 集群各节点时间同步
vi /etc/ntp.confserver 192.168.200.100service ntpd restart
# 验证测试
ntpdc -c loopinfo
复制代码
配置内核参数(全节点)
禁用透明大页面,首先查看透明大页面是否启用,[always] never表示已启用,always [never]表示已禁用。
# 关闭透明大页面
cat /sys/kernel/mm/transparent_hugepage/defrag
# [always] madvise never
echo never > /sys/kernel/mm/transparent_hugepage/defrag
# 命令写入开机启动文件,修改/etc/rc.local文件并添加以下两行(重启才能生效)
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
复制代码
关闭内存交换区,Linux内核参数vm.swappiness,值的范围为0到100,表示系统什么时候开始进行物理内存与虚拟内存的交换。举个例子,系统总内存为64G,vm.swappiness为60,表示在系统内存使用64*0.4=25.6G的时候开始物理内存与虚拟内存的交换,这个动作势必会影响系统的性能。因此,Cloudera建议把这个值修改为1~10。
# 关闭内存交换区,默认值60,临时生效
sysctl vm.swappiness=0
# 写入环境控制,重启后永久生效
echo "vm.swappiness=0" >> /etc/sysctl.conf
# 验证
cat /proc/sys/vm/swappiness
复制代码
CDH安装和配置
cm5.9.0.tar包的生成
1、cm5的rpm包获取,http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.9.0/RPMS/x86_64/
cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64.rpmcloudera-manager-daemons-5.9.0-1.cm590.p0.249.el6.x86_64.rpmcloudera-manager-server-5.9.0-1.cm590.p0.249.el6.x86_64.rpmcloudera-manager-server-db-2-5.9.0-1.cm590.p0.249.el6.x86_64.rpmenterprise-debuginfo-5.9.0-1.cm590.p0.249.el6.x86_64.rpmjdk-6u31-linux-amd64.rpmoracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
复制代码
2、cloudera-manager-installer.bin获取,http://archive.cloudera.com/cm5/installer/5.9.0/
cloudera-manager-installer.bin
复制代码
3、cdh5的parcel获取,http://archive.cloudera.com/cdh5/parcels/5.9.0/
CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel
CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha
manifest.json
复制代码
4、生成repodata目录下的文件,
问题:/var/www/html/cm5.9.0/repodata
下的文件是怎么产生的?
1、yum install -y createrepo.noarch
which createrepo
yum list | grep createrepo
yum install -y createrepo.noarch
复制代码
2、手工下载http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.9.0/RPMS/x86_64/
下的rpm文件至cm5.9.0目录下。
3、执行createrepo cm5.9.0
即可repodata目录下的文件。然后浏览器录入http://cdhmaster/cm5.9.0/
即可以访问。注意启动httpd服务。
配置cm yum本地源(master节点)
# 上传cm5.9.0.tar至`/var/www/html`,解压
tar xvf cm5.9.0.tar
# 验证,在浏览器地址栏输入http://cdhmaster/cm5.9.0
复制代码
新建cm yum配置文件(全节点)
vi /etc/yum.repos.d/cloudera-manager.repo[cloudera-manager]
name = Cloudera Manager, Version 5.9.0
baseurl = http://cdhmaster/cm5.9.0/
gpgcheck = 0# 验证
yum list | grep cloudera
复制代码
安装jdk(全节点)
master节点会在cloudera manager安装的过程中安装jdk,默认安装在/usr/java/jdk1.7.0_67-cloudera
。如果安装失败,日志中提示缺少jdk,需要在slave节点安装jdk。
# 上传oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm到/root/training
rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
# 默认也是安装在/usr/java,是否需要配置JAVA_HOME和PATH?
复制代码
配置parcel(master节点)
mkdir -p /opt/cloudera/parcel-repo
# 上传如下3个文件到该目录
# CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel
# CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha
# manifest.json
复制代码
执行cm安装(master节点)
安装过程日志记录在/var/log/cloudera-manager-installer
cd /var/www/html/cm5.9.0
# 不在/etc/yum.repos.d产生repo文件
./cloudera-manager-installer.bin --skip_repo_package=1
复制代码
一直next,待出现如下界面,则表示cm安装成功。
Point your web browser to http://192.168.200.100:7180/. Log in to Cloudera Manager with username: 'admin' and password: 'admin' to continue installation.
复制代码
等几分钟后(视机器配置),浏览器打开http://192.168.200.100:7180/,按需添加服务。
cm安装过程日志记录在/var/log/cloudera-manager-installer
。
parcel安装过程日志记录在/var/log/cloudera-scm-agent
和/var/log/cloudera-scm-server
。
微信公众号「数据分析」,分享数据科学家的自我修养,既然遇见,不如一起成长。
转载请注明:转载自微信公众号「数据分析」
读者交流电报群:
https://t.me/sspadluo
转载于:https://juejin.im/post/5a6408156fb9a01cc02657c4
Hadoop实战(3)_虚拟机搭建CDH的全分布模式相关推荐
- [hadoop笔记]基于CentOS7虚拟机搭建Hadoop完全分布模式(3个节点)
文章目录 1. 安装前准备 ① 虚拟机配置 ⑤克隆虚拟机 ⑥ 对每个主机固定IP地址,修改主机名,做主机映射 ⑦ 免密登录设置 2. 搭建Hadoop完全分布模式 ① 修改Hadoop配置文件 ③ 分 ...
- Hadoop实战(二) 搭建Hadoop集群
搭建Hadoop集群 安装SSH并设置无密码登录 查看有没有ssh: rpm -qa | grep ssh 没有则安装: yum install openssh-server SSH命令需要安装客户端 ...
- hadoop jar包_快速搭建Hadoop-Hive-Zoopkeeper-Sqoop环境进入Sqoop学习环境
CDH简单了解 CDH: C:cloudera(公司) D:distribute H:Hadoop 解决了大数据Hadoop 2.x生态系统中各个框架的版本兼容问题,不用自己编译, CDH适合商用,版 ...
- 大数据之-Hadoop完全分布式_虚拟机环境准备---大数据之hadoop工作笔记0030
然后我们再去,开始使用完全分布式环境,来使用hadoop, 完全分布式环境,要求就是真实的环境,需要多台服务器来构建服务器集群.我们用4台服务器来做 192.168.1.101 192.168.1.1 ...
- Hadoop实战(6)_搭建Apache Hadoop的Eclipse开发环境
系列目录: Hadoop实战(1)_阿里云搭建Hadoop2.x的伪分布式环境 Hadoop实战(2)_虚拟机搭建Hadoop的全分布模式 Hadoop实战(3)_虚拟机搭建CDH的全分布模式 Had ...
- 三台Ubuntu虚拟机搭建 Hadoop集群 (第一次搭)
最近因为要搭Hadoop集群,确实花了好大的心血在里面,因为我的Linux也是前两天速成的,好多东西都还是边查资料边搭.但我最终确实成功了,留了一点点小问题在里面.(当Hadoop集群start-al ...
- 二进制安装mysql集群_实战mysql集群搭建(一)--centos7下二进制安装mysql-5.6
在超哥的帮助下,完成了基于InnoDb数据引擎的mysql数据库集群搭建,实现了主从复制的功能,本篇博文介绍如何使用二进制安装mysql的方法,具体实现步骤如下: 软件使用说明: Liunx系统:ce ...
- 微信棋牌源码虚拟机搭建Hadoop集群
虚拟机搭建Hadoop集群 安装包准备 操作系统:ubuntu-16.04.3-desktop-amd64.iso 软件包:VirtualBox 安装包:hadoop-3.0.0.tar.gz,jdk ...
- 利用闲置电脑安装虚拟机搭建hadoop集群
文章目录 前言 一.虚拟机环境的准备 二.连接虚拟机上的集群 1.整理需要连接的端口 2.配置VMware上虚拟机的端口转发 3.测试连接 总结 前言 本人刚开始学习大数据,记录自己的一些学习笔记.大 ...
最新文章
- JavaScript使用技巧精萃
- 多层数据源处理复杂数据结构
- android 中 系统日期时间的获取
- 【Matlab 图像】边缘检测算法及效果演示
- 业内首创普惠保险,看国泰产险如何借助数据进行智能化的升级和战略转型
- c680和c650_最低10万95,全新F800R、C650Sport和F800GT,BMW三款焕新上市
- leetcode 452. Minimum Number of Arrows to Burst Balloons | 452. 用最少数量的箭引爆气球(左程云:最大线段重合问题)
- Spring Cloud原理
- 信息学奥赛一本通 1159:斐波那契数列
- Eclipse alt+/ 失效 解决
- nyoj 456 邮票分你一半【01背包】
- 详尽解读中美科技差距究竟多么巨大
- Java的对象和类 以学生管理系统为例
- lqr控制和模糊控制三级倒立摆
- Ubuntu下QT的安装配置
- ES 经纬度距离 php,php 根据两点的经纬度计算距离
- RPLIDAR A1 slam建图
- 用户画像中常用的用户模型
- oracle 使用imp,oracle imp命令行的使用
- buu crypto 变异凯撒
热门文章
- /plus/recommend.php sql注入漏洞,DedeCMS 全版本通杀SQL注入漏洞利用代码及工具 -
- 三分钟带你弄懂slot插槽——vue进阶
- android小灯泡实验代码,typecho常用代码片段收集
- Android页面跳转、延时跳转、跳转传值
- 修改vscode 窗口字体大小和编辑窗口字体大小
- 20200315:检查替换后的词是否有效(leetcode1003)
- jquery post java对象_jquery $.post()返回数据
- oracle字符串处理substr、dbms_lob.substr、case when
- java web maven 结构及从零创建jfinal项目
- sublime text3 选词及批量操作、设置书签快捷键、打开的插件view in browser