2019独角兽企业重金招聘Python工程师标准>>>

CDH CENTOS7环境搭建
CentOS-7-x86_64-DVD-1810.iso
最大磁盘80G 内存8G
网络适配器是仅主机模式
时区选择上海  soft selection选择server with gui/右边marialDB database server2 development tool 
enable kdump关掉
security policy关掉
network &HostName
HostName CDH11
ETHERNET ON 
CONFIGURE-》geneeral auto matically connnect to this network 
192.168.119.128
ipv4 manual ->address-netmast
选择installtion destion begin installation
准备工作:
关闭防火墙
systemctl stop firewalld.service
[root@CDH11 ~]# systemctl stop firewalld.service
[root@CDH11 ~]# systemctl disable  firewalld.service
[root@CDH11 ~]# vi /etc/hosts
[root@CDH11 ~]# ssh-keygen -t rsa
[root@CDH11 ~]# ssh-copy-id -i .ssh/id_rsa.pub root@CDH11

[root@CDH11 ~]# ssh CDH11

设置主机名
安装JDK
卸载自带的jdk
[root@CDH11 ~]# rpm -qa|grep java
java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64
python-javapackages-3.4.1-11.el7.noarch
javapackages-tools-3.4.1-11.el7.noarch
java-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64
tzdata-java-2018e-3.el7.noarch
[root@CDH11 ~]# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64

[root@CDH11 ~]# rpm -e --nodeps python-javapackages-3.4.1-11.el7.noarch
[root@CDH11 ~]# rpm -e --nodeps javapackages-tools-3.4.1-11.el7.noarch
[root@CDH11 ~]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64
[root@CDH11 ~]# rpm -e --nodeps tzdata-java-2018e-3.el7.noarch
[paohaiijiao@CDH11 opt]$ rpm -ivh jdk-8u201-linux-x64.rpm
echo JAVA_HOME="/usr/java/latest" >>/etc/enviroment

[root@CDH11 opt]# echo JAVA_HOME="/usr/java/latest" >>/etc/enviroment
[root@CDH11 opt]# java -version
配置mysql(marial db) 数据库 
[root@CDH11 opt]# systemctl start mariadb
[root@CDH11 opt]# systemctl enable mariadb
[root@CDH11 opt]# mysql_secure_installation设置密码
创建数据库
mysql -u -p105104gou
create database hive;
create database amon;必须
create database oozie;
create database hue;

create database sqoop;
安装数据库的驱动程序需要使用yum
设置-》光盘-》已连接
[root@CDH11 opt]# mkdir /root/cdroom/
[root@CDH11 opt]# mount /dev/cdrom /root/cdroom/
mount: /dev/sr0 is write-protected, mounting read-only
删除所有的repo
[root@CDH11 opt]# cd /etc/yum.repos.d/
[root@CDH11 yum.repos.d]# ls
CentOS-Base.repo  CentOS-Debuginfo.repo  CentOS-Media.repo    CentOS-Vault.repo
CentOS-CR.repo    CentOS-fasttrack.repo  CentOS-Sources.repo
[root@CDH11 yum.repos.d]# rm -rf *
[root@CDH11 yum.repos.d]# vi my.repo
[centos-yum]
baseurl=file:///root/cdroom
enabled=1
gpgcheck=0
开启NTP
[root@CDH11 yum.repos.d]# yum install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd
root@CDH11 yum.repos.d]# yum install mysql-connector-java
3开始安装CDH
安装配置clouder manager
1.将cloudera-manager-centos-cm5.12.1_x86_64上传到/opt目录并解压
[root@CDH11 opt]# tar -zxvf cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz
2.将mysql的驱动放到/opt/cm-5.12.1/share/cmf/lib
cp /usr/share/java/mysql-connector-java.jar /opt/cm-5.12.1/share/cmf/lib
3.初始化cloudera manager 的数据库元信息
/opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh  mysql cm -hlocalhost -uroot -p105104gou --scm-host localhost scm scm scm 
g that we can write to /opt/cm-5.12.1/etc/cloudera-scm-server
Creating SCM configuration file in /opt/cm-5.12.1/etc/cloudera-scm-server
groups: cloudera-scm: no such user
Executing:  /usr/java/jdk1.8.0_201-amd64/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cm-5.12.1/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /opt/cm-5.12.1/etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
[                          main] DbCommandExecutor              INFO  Successfully connected to database.
All done, your SCM database is configured correctly!--执行成功了
4.创建cloudera-scm用户
useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm 
5.配置介质
默认路径/opt/cloudera/parcel-repo
[root@CDH11 parcel-repo]# ls
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel       manifest.json
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
[root@CDH11 parcel-repo]# mv CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha
[root@CDH11 parcel-repo]# ls
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel      manifest.json
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha
修改/opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini 中的server_host为主节点的主机名
[root@CDH11 parcel-repo]# vi /opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini
server_host=CDH11
启动服务
/opt/cm-5.12.1/etc/init.d/cloudera-scm-server start
/opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start
[root@CDH11 opt]# vi /opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini
[root@CDH11 opt]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-server start
Starting cloudera-scm-server:                              [  OK  ]
[root@CDH11 opt]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start
Starting cloudera-scm-agent:                               [  OK  ]
http://192.168.174.132:7180/cmf/login[启动时间长,刷新admin admin]17分钟
接受协议-》继续当前管理的主机-》继续
在选择存储库-》更多选项删除远程的东西
继续当前管理的主机-》继续
echo 10 >/proc/sys/vm/swappiness
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
重新运行
完成
自定义
  Cloudera Management Service              
report manager
create database report;

https://blog.csdn.net/xjping0794/article/details/77746630
[root@CDH11 opt]# cd /opt/cloudera/parcel-repo
输入 sudo,然后输入密码,回到root用户
cd ~ 进入 /root目录

[paohaiijiao@CDH11 ~]$ su -
Password: 
su: Authentication failure
[paohaiijiao@CDH11 ~]$ sudo passwd root
Changing password for user root.
New password: 
Retype new password: 
passwd: all authentication tokens updated successfully.
[paohaiijiao@CDH11 ~]$ su -

转载于:https://my.oschina.net/goudingcheng/blog/3014087

centos7搭建CDH相关推荐

  1. CentOS7安装CDH 第三章:CDH中的问题和解决方法

    CentOS7安装CDH 第三章:CDH中的问题和解决方法 参考文章: (1)CentOS7安装CDH 第三章:CDH中的问题和解决方法 (2)https://www.cnblogs.com/yang ...

  2. CentOS7搭建Git服务器

    CentOS7搭建Git服务器 文章目录 CentOS7搭建Git服务器 前言 搭建步骤 参考链接 前言 现有一台操作系统为CentOS 7的服务器,要将其作为代码库服务器使用,要求使用Git进行代码 ...

  3. linux下本地的源的格式,[Linux]CentOS7搭建/配置:YUM仓库/源[本地源/HTTP源/自建源仓库...

    [Linux]CentOS7搭建/配置:YUM仓库/源[本地源/HTTP源/自建源仓库 1 本地YUM源 1.1 [YUM仓库/服务端] 获取:软件包资源 1.2 [YUM仓库/服务端] 挂载/搭建: ...

  4. linux安装mysql5.7.29_linux 之centos7搭建mysql5.7.29的详细过程

    1.下载mysql 1.1下载地址 https://downloads.mysql.com/archives/community/ 1.2版本选择 2.管理组及目录权限 2.1解压mysql tar ...

  5. 阿里云apache配置php mysql_阿里云CentOS7搭建Apache+PHP+MySQL环境

    最近要搭建一个阿里云的LMAP环境,选了CentOS7来做搭建. 1.Apache Centos7默认已经安装httpd服务,只是没有启动. 如果你需要全新安装,可以yum install -y ht ...

  6. 阿里云搭建CDH集群配置邮箱告警

    阿里云搭建CDH集群配置邮箱告警 1.阿里云默认禁止25端口号.申请阿里云开通 2.配置邮箱服务 3.cdh页面配置告警 申请开通25端口号 申请一个邮箱 开通服务smtp服务 记住授权码 cdh配置 ...

  7. 【运维开发】Mac OS(10.13.6)使用 vagrant+VirtualBox +centos7搭建k8s集群

    Mac OS(10.13.6)使用 vagrant+VirtualBox +centos7搭建k8s集群步骤 环境准备工作 下载VirtualBox 地址:https://www.virtualbox ...

  8. Centos7 搭建LNMP架构服务器实战

    Centos7 搭建LNMP架构服务器实战 前言 需求分析 拓朴设计及各服务器地址规划 配置部分 后端服务器实现 Web-1 nginx整合 Web-2 nginx整合 后端服务器测试 高可用Web集 ...

  9. 华为云Centos7搭建hadoop集群二:yum源替换,ssh免密处理,hadoop用户sudo

    华为云Centos7搭建hadoop集群二:yum源替换,ssh免密处理,hadoop用户sudo 新建hadoop用户并设置密码,密码不要设置为简单的123456等,我这里已经创建过了hadoop用 ...

最新文章

  1. c js html页面进度条,js实现进度条的方法
  2. 【项目管理】项目问题诊断
  3. 冲刺第六天 1.7 MON
  4. 蓝色版苹果iPhone 12开箱上手视频流出;谷歌回应司法部反垄断诉讼:存在严重漏洞;​Git 2.29 稳定版发布|极客头条
  5. QT5的exe的发布
  6. shell 删除文本中的重复行(sort+uniq/awk/sed) (方法=效率啊)
  7. clock_gettime系统调用详解
  8. 网贷大数据什么时候会好_为什么大数据待遇那么好 如何入门大数据行业
  9. 定位叠放次序z-index(HTML、CSS)
  10. PHP四种基本排序算法
  11. Bz1621.lzh二进制编辑器下载
  12. 一款JAVA微信小程序商城源码,带完整后台【运行版】
  13. excel常用控件使用方法一看就懂(干货不糊弄)
  14. Rayman的绝顶之路——Leetcode每日一题打卡9
  15. Win10此设备不支持接收 Miracast 无法投影的解决方法
  16. 申请德国农工大学计算机案例,【2014】德州农工大学:腼腆男的春天
  17. AI的10个开源工具/框架
  18. 在html中字怎么修改位置,css怎么设置字体位置?
  19. 【深度学习(李沐)】
  20. C++五子棋源码(Qt版)

热门文章

  1. python 按位运算符_Python按位运算符
  2. python 字符串转大写_Python字符串大写()
  3. Akka创建第一个Actor《nine》译
  4. MIT6.828 boot.S文件分析
  5. 一文读懂C++程序的结构、执行与编译
  6. [HNOI2015]开店
  7. shell中$(( )) 与 $( ) 还有${ }的区别
  8. 获取编译学习笔记 (十三)—— 外部中断
  9. CF Fox And Two Dots (DFS)
  10. linux下c语言url请求