1、集群规划

说明：由于CDH管理集群很方便，可以动态添加删除主机，动态改变主机主机上的服务，动态监控服务状态；

1）、主机准备：windows宿主机或linux桌面版宿主机或苹果宿主机（本人使用的debian+xfce桌面作为自己的宿主机）

2）、虚拟机软件准备：使用VMware Workstation12 pro

3）、虚拟机系统：centos 6.5

4）、机器规划：hadoopmaster、hadoopslave01、hadoopslave02、hadoopslave（作为基础镜像使用）

例如：

注意：所有的虚拟机的账号密码都是统一的，意思就是说分布式看成一个主机

5）、hadooopmaster 运行 Cloudera Manager

2、资源准备：

1）、下载postgresql分别：http://yum.postgresql.org/8.4/redhat/rhel-6-x86_64/repoview/

postgresql84-8.4.22-1PGDG.rhel6.x86_64.rpm

postgresql84-libs-8.4.22-1PGDG.rhel6.x86_64.rpm

postgresql84-server-8.4.22-1PGDG.rhel6.x86_64.rpm

2）、下载最新版本的cm资源包压缩包：http://archive-primary.cloudera.com/cm5/repo-as-tarball/5.7.1/

注意：根据自己的虚拟机下载对应版本的cm，注意cm一定要是最新版本；

3）、下载最新版本的cm安装包程序：http://archive.cloudera.com/cm5/installer/latest/

4）、安装hadoop、hivingsql、hbase等分布式生态系统软件：http://archive.cloudera.com/cdh5/parcels/5.7.1/

注意：分别下载截图中的文件

3、虚拟机配置所有的机器都需要的配置

1）、修改主机名：vi /etc/sysconfig/network

  1. NETWORKING=yes
  2. HOSTNAME=hadoopmaster

2）、修改hosts文件：vi /etc/hosts

  1. #host
  2. 192.168.240.129 hadoopmaster
  3. 192.168.240.130 hadoopslave01
  4. 192.168.240.134 hadoopslave02
  5. #192.168.240.129 archive.cloudera.com

3）、设置固定IP，根据自己的需求设置：vi /etc/sysconfig/network-scripts/ifcfg-eth0

  1. DEVICE="eth1"
  2. BOOTPROTO="static"
  3. HWADDR="00:50:56:34:61:2E"
  4. IPV6INIT="yes"
  5. NM_CONTROLLED="yes"
  6. ONBOOT="yes"
  7. TYPE="Ethernet"
  8. #UUID="6d6002f2-4f52-49ef-bb07-e2b54637cafb"
  9. IPADDR=192.168.240.134
  10. NETMASK=255.255.255.0
  11. GATEWAY=192.168.240.2
  12. DNS1=192.168.240.2

4）、重启网络服务：service network restart

4、关机防火墙 和 SELinux

1）、关闭防火墙

service iptables stop    （临时关闭防火墙）

chkconfig iptables off    （重启后生效）

2）、关闭SELinux

setenforce 0 （临时设置selinux）

vi /etc/selinux/config

  1. # This file controls the state of SELinux on the system.
  2. # SELINUX= can take one of these three values:
  3. #     enforcing - SELinux security policy is enforced.
  4. #     permissive - SELinux prints warnings instead of enforcing.
  5. #     disabled - No SELinux policy is loaded.
  6. SELINUX=disabled
  7. # SELINUXTYPE= can take one of these two values:
  8. #     targeted - Targeted processes are protected,
  9. #     mls - Multi Level Security protection.
  10. SELINUXTYPE=targeted

5、集群间服务器使用无密码ssh登陆，再次提醒各个集群中的主机最好使用统一的账号密码

1）、hadoopmaster主机

  1. ssh-keygen -t rsa (一直按回车即可)
  2. ssh-copy-id -i localhost
  3. ssh-copy-id -i hadoopmaster
  4. ssh-copy-id -i hadoopslave01
  5. ssh-copy-id -i hadoopslave02

2）、hadoopslave01主机

  1. ssh-keygen -t rsa (一直按回车即可)
  2. ssh-copy-id -i localhost
  3. ssh-copy-id -i hadoopmaster
  4. ssh-copy-id -i hadoopslave01

3）、hadoopslave02主机

  1. ssh-keygen -t rsa (一直按回车即可)
  2. ssh-copy-id -i localhost
  3. ssh-copy-id -i hadoopmaster
  4. ssh-copy-id -i hadoopslave02

6、建立cm资源服务器——安装Apache httpd web服务器

1）、检查httpd服务是否安装：service httpd status

如果没有安装：yum install -y httpd

  1. yum install -y httpd #安装httpd
  2. service httpd start #启动命令
  3. service httpd stop #关闭命令
  4. service httpd restart #重启命令
  5. service httpd status #查看服务状态
  6. chkconfig httpd on #将httpd加入到启动列表

7、选择hadoopmaster作为cm的资源服务器发布cm

  1. [root@localhost hadoopmaster]# pwd
  2. /home/hadoop/hadoopmaster
  3. [root@localhost hadoopmaster]# ll
  4. total 529076
  5. -rw-r--r--. 1 root root 541768507 Jun 14 09:14 cm5.7.1-centos6.tar.gz
  6. [root@localhost hadoopmaster]# tar -zxvf cm5.7.1-centos6.tar.gz
  7. cm/
  8. cm/hadoopmaster-manager.repo
  9. cm/5
  10. cm/5.7.1/
  11. cm/5.7.1/mirrors
  12. cm/5.7.1/repodata/
  13. cm/5.7.1/repodata/other.xml.gz.asc
  14. cm/5.7.1/repodata/filelists.xml.gz
  15. cm/5.7.1/repodata/primary.xml.gz.asc
  16. cm/5.7.1/repodata/repomd.xml
  17. cm/5.7.1/repodata/other.xml.gz
  18. cm/5.7.1/repodata/repomd.xml.asc
  19. cm/5.7.1/repodata/primary.xml.gz
  20. cm/5.7.1/repodata/filelists.xml.gz.asc
  21. cm/5.7.1/RPMS/
  22. cm/5.7.1/RPMS/x86_64/
  23. cm/5.7.1/RPMS/x86_64/hadoopmaster-manager-daemons-5.7.1-1.cm502.p0.297.el6.x86_64.rpm
  24. cm/5.7.1/RPMS/x86_64/enterprise-debuginfo-5.7.1-1.cm502.p0.297.el6.x86_64.rpm
  25. cm/5.7.1/RPMS/x86_64/hadoopmaster-manager-server-db-2-5.7.1-1.cm502.p0.297.el6.x86_64.rpm
  26. cm/5.7.1/RPMS/x86_64/hadoopmaster-manager-server-5.7.1-1.cm502.p0.297.el6.x86_64.rpm
  27. cm/5.7.1/RPMS/x86_64/hadoopmaster-manager-agent-5.7.1-1.cm502.p0.297.el6.x86_64.rpm
  28. cm/5.7.1/RPMS/x86_64/oracle-j2sdk1.7-1.7.0+update45-1.x86_64.rpm
  29. cm/5.7.1/RPMS/x86_64/jdk-6u31-linux-amd64.rpm
  30. cm/5.7.1/RPMS/noarch/
  31. cm/RPM-GPG-KEY-hadoopmaster
  32. [root@localhost hadoopmaster]# ll
  33. total 529080
  34. drwxrwxr-x. 3 1106  592      4096 Jun 11 11:08 cm
  35. -rw-r--r--. 1 root root 541768507 Jun 14 09:14 cm5.7.1-centos6.tar.gz
  36. [root@localhost hadoopmaster]#

——移动加压后的cm文件夹到web目录，并设置权限

  1. [root@localhost html]# pwd
  2. /var/www/html
  3. [root@localhost html]# mkdir -p cm5/redhat/6/x86_64
  4. [root@localhost html]# cd cm5/redhat/6/x86_64
  5. [root@localhost x86_64]# mv /home/soft/cloudera/cm .
  6. [root@localhost x86_64]# chmod -R ugo+rX cm

——设置完成后访问下地址：http://hadoopmaster/cm5/redhat/6/x86_64/cm/

8、安装Cloudera Manager 5

1）、安装postgresql

是否安装postgresql：rpm -qa|grep postgres，如果已经安装，但版本小于8.4，则使用rpm -e卸载。

  1. [root@localhost postgresql84]# rpm -ivh postgresql84-libs-8.4.21-1PGDG.rhel6.x86_64.rpm
  2. warning: postgresql84-libs-8.4.21-1PGDG.rhel6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID 442df0f8: NOKEY
  3. Preparing...                ########################################### [100%]
  4.   1:postgresql84-libs      ########################################### [100%]
  5. [root@localhost postgresql84]# rpm -ivh postgresql84-8.4.21-1PGDG.rhel6.x86_64.rpm
  6. warning: postgresql84-8.4.21-1PGDG.rhel6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID 442df0f8: NOKEY
  7. Preparing...                ########################################### [100%]
  8.   1:postgresql84           ########################################### [100%]
  9. [root@localhost postgresql84]# rpm -ivh postgresql84-server-8.4.21-1PGDG.rhel6.x86_64.rpm
  10. warning: postgresql84-server-8.4.21-1PGDG.rhel6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID 442df0f8: NOKEY
  11. Preparing...                ########################################### [100%]
  12.   1:postgresql84-server    ########################################### [100%]
  13. [root@localhost postgresql84]#

2）、修改安装cm的客户端的配置

cd /etc/yum.repos.d/

mv /etc/yum.repos.d/Centos-* /home/hadoop/soft/

vi /etc/yum.repos.d/myrepo.repo

  1. [myrepo]
  2. name=myrepo
  3. baseurl=http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/
  4. enabled=1
  5. gpgcheck=0

vi /etc/hosts

  1. #host
  2. 192.168.240.129 hadoopmaster
  3. 192.168.240.130 hadoopslave01
  4. 192.168.240.134 hadoopslave02
  5. 192.168.240.129 archive.cloudera.com

3）、安装CM5

  1. [root@localhost cloudera]# chmod +x cloudera-manager-installer.bin
  2. [root@localhost cloudera]# ./cloudera-manager-installer.bin

注意：查看安装过程日志：/var/log/cloudera-manager-installer/

4）、安装过程中截图

a、安装过程比较漫长，耐心等地

b、安装完成，查看安装地址：http://192.168.240.134:7180/

c、登陆界面，默认账号：admin 密码：admin

d、同意条款

e、选择免费版——cloudera manager express

f、设置ip端，例如：192.168.240.[1-255] ，然后点击搜索

g、选择主机节点

9、集群安装hadoop、hivingsql、hbase、spark、storm等，即CDH

1）、安装cdh

a、集群安装

b、使用”更多选项“使用”本地 Parcel 存储库路径“，位置：/opt/cloudera/parcel-repo

注意（每台机器执行）：yum install -y portmap python-psycopg2 cyrus-sasl-gssapi mod_ssl openssl-devel MySQL-python

1）、将前面下载的CDH parcels文件放到 /opt/cloudera/parcel-repo 目录下

  1. [root@hadoopmaster parcel-repo]# mv /home/hadoop/Documents/parcel/* ./
  2. [root@hadoopmaster parcel-repo]# ls
  3. CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel       manifest.json
  4. CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1

2）、生成对应的sha文件

manifest.json 文件中按照版本“CDH-5.7.1-1.cdh5.7.1.p0.53-el6.parcel” -（根据自己的版本选定） 找到对应的 hash值

"hash": "67fc4c86b260eeba15c339f1ec6be3b59b4ebe30"

3）、hash值保存在sha文件中

echo '67fc4c86b260eeba15c339f1ec6be3b59b4ebe30'>CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel.sha 根据自己的版本定

  1. [root@hadoopmaster parcel-repo]# ls
  2. CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel       manifest.json
  3. CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1
  4. [root@hadoopmaster parcel-repo]# echo 'e24f56882ecdcf6837636abc8298c629c0f9d109' > CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1

2）、验证

根据自己的使用情况进行验证；

文章摘自： http://blog.csdn.net/feixeyes/article/details/38084403

http://blog.csdn.net/yhl27/article/details/37726639

来自为知笔记(Wiz)

转载于:https://www.cnblogs.com/linuxone/p/5577035.html

CDH安装指南——酒仙网技术相关推荐

  1. 专访1药网技术副总裁黄哲铿：揭秘技术跨界管理之道

    本文仅用于学习和交流,不用于商业目的.非商业转载请注明作译者.出处,并保留本文的原始链接:http://www.ituring.com.cn/art... 访谈嘉宾黄哲铿,<技术管理之巅> ...

  2. 实时音频抗弱网技术揭秘

    本文由百度智能云-视频云技术架构师--柯于刚 在百度开发者沙龙线上分享的演讲内容整理而成.内容从抗弱网技术意义出发,梳理抗弱网的概念与方法,结合百度RTC抗弱网过程中遇到的问题,重点分享抗弱网技术优化 ...

  3. 直播｜实时音视频抗弱网技术揭秘

    直播简介 第3期:实时音视频抗弱网技术揭秘 实时音视频技术的发展,满足了用户广阔的线上使用场景,但在当前网络环境下,给技术提出了更高的要求,如果承载信息的包没有按时到达,就会产生声音断续.音质低等情况 ...

  4. 从1.0到4.0，酒类新零售还能跑出几个1919和酒仙网？

    酒文化在中华文化历史中占比可谓不低,<诗经·小雅·吉日>中就有"以御宾客,且以酌醴"的描写,描写了酒品作为待客用品的使用地位.而后无论是"痛饮狂歌" ...

  5. [封装插件]酒仙网和京东左侧动态菜单栏案例

    酒仙网老式动态菜单栏: <!DOCTYPE html> <html lang="en"> <head> <meta charset=&qu ...

  6. WEB前端项目实战/酒仙网开发-李强强-专题视频课程

    WEB前端项目实战/酒仙网开发-204人已学习 课程介绍         WEB前端项目实战/酒仙网开发 课程收益     WEB前端项目实战/酒仙网开发 讲师介绍     李强强 更多讲师课程    ...

  7. 酒仙网都准备IPO啦，郝鸿峰开始发飙颠覆啦哈

    截至目前,酒仙网已获得6笔股权融资,累计金额达9.3亿. 腾讯科技 雷建平 8月20日报道 酒仙网今日宣布新获得国开金融及其他联合投资人3亿元股权投资,同时获得招商银行.民生银行.浦发银行.锦州银行等 ...

  8. 酒仙网IPO被终止：曾拟募资10亿 红杉与东方富海是股东

    雷递网 雷建平 7月1日报道 在行业沉寂已久的酒仙网络科技股份有限公司(简称:"酒仙网")日前在深交所创业板的IPO被终止. 酒仙网曾计划募资10亿,其中,5.3亿用于智能仓储建设 ...

  9. 仿酒仙网的一款jQuery侧栏弹出导航栏特效

    2019独角兽企业重金招聘Python工程师标准>>> 仿酒仙网的一款jQuery侧栏弹出导航栏特效 一款常用于商城左侧商品导航的jquery菜单导航特效. 非常不错的一款商品分类特 ...

最新文章

  1. 计算机网络谢希仁第七版课后答案完整版第四章 网络层
  2. python 存redis失败无提示_Python Redis日志错误
  3. 还款每个月90.85元， 到 2012年10月，2012 11月 2256元，共 5799.25元
  4. java如何将线程与cpu的核绑定_JVM（13）年轻代垃圾回收器ParNew是如何工作的？
  5. spark 历史版本下载地址
  6. 获取一组radio按钮选中的值Value
  7. python算程序员吗_我算是优秀的程序员吗？
  8. [物理学与PDEs]第1章第6节 电磁场的标势与矢势 6.3 例 --- 电偶极辐射
  9. turtlebot3入门教程
  10. oracle 一些基本概念
  11. ZeroMq的研究和使用
  12. Python编程一定要注意的那些“坑”（六）
  13. java 类型 转换 valueOf和parse...
  14. Active Directory的安装
  15. [Luogu P2801]教主的魔法
  16. MySQL将一张表的某些列数据，复制到另外一张表，并且修改某些内容
  17. 小米便签源码分析——model包
  18. 远程桌面系统管理员以限制你登入计算机,windows远程连接时：系统管理员已经限制你可以使用的登录类型（网络或交互式）解决办法...
  19. 介绍两种游标cursor与sys_refcursor
  20. Adobe系列軟件PC + MAC 2021

热门文章

  1. KF与无迹卡尔曼滤波详解
  2. 杭州辣府餐饮JAVA_超全“滨江美食必打卡list”，不收藏会后悔！年前再去搓几顿啊~...
  3. windows bat系列9：for处理案例三 单行按指定分隔符分割
  4. 最快Android模拟器Genymotion的安装与使用完整教程（多图，慎点）
  5. linux如何初始化硬盘,Linux硬盘简易初始化(LVM)
  6. IPFS创始人Juan Benet讲解FileCoin各大应用
  7. LeCun大佬点赞转发！B站大佬爆肝6个月，目前播放量破百万！
  8. 使用纸壳CMS创建多语言网站
  9. Python实现海洋测绘基于最小二乘法的潮汐调和分析
  10. java成员变量默认是_在Java语言中,String类型的成员变量的默认初始值是( )