centos7搭建CDH
2019独角兽企业重金招聘Python工程师标准>>>
CDH CENTOS7环境搭建
CentOS-7-x86_64-DVD-1810.iso
最大磁盘80G 内存8G
网络适配器是仅主机模式
时区选择上海 soft selection选择server with gui/右边marialDB database server2 development tool
enable kdump关掉
security policy关掉
network &HostName
HostName CDH11
ETHERNET ON
CONFIGURE-》geneeral auto matically connnect to this network
192.168.119.128
ipv4 manual ->address-netmast
选择installtion destion begin installation
准备工作:
关闭防火墙
systemctl stop firewalld.service
[root@CDH11 ~]# systemctl stop firewalld.service
[root@CDH11 ~]# systemctl disable firewalld.service
[root@CDH11 ~]# vi /etc/hosts
[root@CDH11 ~]# ssh-keygen -t rsa
[root@CDH11 ~]# ssh-copy-id -i .ssh/id_rsa.pub root@CDH11
[root@CDH11 ~]# ssh CDH11
设置主机名
安装JDK
卸载自带的jdk
[root@CDH11 ~]# rpm -qa|grep java
java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64
python-javapackages-3.4.1-11.el7.noarch
javapackages-tools-3.4.1-11.el7.noarch
java-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64
tzdata-java-2018e-3.el7.noarch
[root@CDH11 ~]# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64
[root@CDH11 ~]# rpm -e --nodeps python-javapackages-3.4.1-11.el7.noarch
[root@CDH11 ~]# rpm -e --nodeps javapackages-tools-3.4.1-11.el7.noarch
[root@CDH11 ~]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64
[root@CDH11 ~]# rpm -e --nodeps tzdata-java-2018e-3.el7.noarch
[paohaiijiao@CDH11 opt]$ rpm -ivh jdk-8u201-linux-x64.rpm
echo JAVA_HOME="/usr/java/latest" >>/etc/enviroment
[root@CDH11 opt]# echo JAVA_HOME="/usr/java/latest" >>/etc/enviroment
[root@CDH11 opt]# java -version
配置mysql(marial db) 数据库
[root@CDH11 opt]# systemctl start mariadb
[root@CDH11 opt]# systemctl enable mariadb
[root@CDH11 opt]# mysql_secure_installation设置密码
创建数据库
mysql -u -p105104gou
create database hive;
create database amon;必须
create database oozie;
create database hue;
create database sqoop;
安装数据库的驱动程序需要使用yum
设置-》光盘-》已连接
[root@CDH11 opt]# mkdir /root/cdroom/
[root@CDH11 opt]# mount /dev/cdrom /root/cdroom/
mount: /dev/sr0 is write-protected, mounting read-only
删除所有的repo
[root@CDH11 opt]# cd /etc/yum.repos.d/
[root@CDH11 yum.repos.d]# ls
CentOS-Base.repo CentOS-Debuginfo.repo CentOS-Media.repo CentOS-Vault.repo
CentOS-CR.repo CentOS-fasttrack.repo CentOS-Sources.repo
[root@CDH11 yum.repos.d]# rm -rf *
[root@CDH11 yum.repos.d]# vi my.repo
[centos-yum]
baseurl=file:///root/cdroom
enabled=1
gpgcheck=0
开启NTP
[root@CDH11 yum.repos.d]# yum install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd
root@CDH11 yum.repos.d]# yum install mysql-connector-java
3开始安装CDH
安装配置clouder manager
1.将cloudera-manager-centos-cm5.12.1_x86_64上传到/opt目录并解压
[root@CDH11 opt]# tar -zxvf cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz
2.将mysql的驱动放到/opt/cm-5.12.1/share/cmf/lib
cp /usr/share/java/mysql-connector-java.jar /opt/cm-5.12.1/share/cmf/lib
3.初始化cloudera manager 的数据库元信息
/opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p105104gou --scm-host localhost scm scm scm
g that we can write to /opt/cm-5.12.1/etc/cloudera-scm-server
Creating SCM configuration file in /opt/cm-5.12.1/etc/cloudera-scm-server
groups: cloudera-scm: no such user
Executing: /usr/java/jdk1.8.0_201-amd64/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cm-5.12.1/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /opt/cm-5.12.1/etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
[ main] DbCommandExecutor INFO Successfully connected to database.
All done, your SCM database is configured correctly!--执行成功了
4.创建cloudera-scm用户
useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
5.配置介质
默认路径/opt/cloudera/parcel-repo
[root@CDH11 parcel-repo]# ls
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel manifest.json
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
[root@CDH11 parcel-repo]# mv CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha
[root@CDH11 parcel-repo]# ls
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel manifest.json
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha
修改/opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini 中的server_host为主节点的主机名
[root@CDH11 parcel-repo]# vi /opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini
server_host=CDH11
启动服务
/opt/cm-5.12.1/etc/init.d/cloudera-scm-server start
/opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start
[root@CDH11 opt]# vi /opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini
[root@CDH11 opt]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-server start
Starting cloudera-scm-server: [ OK ]
[root@CDH11 opt]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start
Starting cloudera-scm-agent: [ OK ]
http://192.168.174.132:7180/cmf/login[启动时间长,刷新admin admin]17分钟
接受协议-》继续当前管理的主机-》继续
在选择存储库-》更多选项删除远程的东西
继续当前管理的主机-》继续
echo 10 >/proc/sys/vm/swappiness
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
重新运行
完成
自定义
Cloudera Management Service
report manager
create database report;
https://blog.csdn.net/xjping0794/article/details/77746630
[root@CDH11 opt]# cd /opt/cloudera/parcel-repo
输入 sudo,然后输入密码,回到root用户
cd ~ 进入 /root目录
[paohaiijiao@CDH11 ~]$ su -
Password:
su: Authentication failure
[paohaiijiao@CDH11 ~]$ sudo passwd root
Changing password for user root.
New password:
Retype new password:
passwd: all authentication tokens updated successfully.
[paohaiijiao@CDH11 ~]$ su -
转载于:https://my.oschina.net/goudingcheng/blog/3014087
centos7搭建CDH相关推荐
- CentOS7安装CDH 第三章:CDH中的问题和解决方法
CentOS7安装CDH 第三章:CDH中的问题和解决方法 参考文章: (1)CentOS7安装CDH 第三章:CDH中的问题和解决方法 (2)https://www.cnblogs.com/yang ...
- CentOS7搭建Git服务器
CentOS7搭建Git服务器 文章目录 CentOS7搭建Git服务器 前言 搭建步骤 参考链接 前言 现有一台操作系统为CentOS 7的服务器,要将其作为代码库服务器使用,要求使用Git进行代码 ...
- linux下本地的源的格式,[Linux]CentOS7搭建/配置:YUM仓库/源[本地源/HTTP源/自建源仓库...
[Linux]CentOS7搭建/配置:YUM仓库/源[本地源/HTTP源/自建源仓库 1 本地YUM源 1.1 [YUM仓库/服务端] 获取:软件包资源 1.2 [YUM仓库/服务端] 挂载/搭建: ...
- linux安装mysql5.7.29_linux 之centos7搭建mysql5.7.29的详细过程
1.下载mysql 1.1下载地址 https://downloads.mysql.com/archives/community/ 1.2版本选择 2.管理组及目录权限 2.1解压mysql tar ...
- 阿里云apache配置php mysql_阿里云CentOS7搭建Apache+PHP+MySQL环境
最近要搭建一个阿里云的LMAP环境,选了CentOS7来做搭建. 1.Apache Centos7默认已经安装httpd服务,只是没有启动. 如果你需要全新安装,可以yum install -y ht ...
- 阿里云搭建CDH集群配置邮箱告警
阿里云搭建CDH集群配置邮箱告警 1.阿里云默认禁止25端口号.申请阿里云开通 2.配置邮箱服务 3.cdh页面配置告警 申请开通25端口号 申请一个邮箱 开通服务smtp服务 记住授权码 cdh配置 ...
- 【运维开发】Mac OS(10.13.6)使用 vagrant+VirtualBox +centos7搭建k8s集群
Mac OS(10.13.6)使用 vagrant+VirtualBox +centos7搭建k8s集群步骤 环境准备工作 下载VirtualBox 地址:https://www.virtualbox ...
- Centos7 搭建LNMP架构服务器实战
Centos7 搭建LNMP架构服务器实战 前言 需求分析 拓朴设计及各服务器地址规划 配置部分 后端服务器实现 Web-1 nginx整合 Web-2 nginx整合 后端服务器测试 高可用Web集 ...
- 华为云Centos7搭建hadoop集群二:yum源替换,ssh免密处理,hadoop用户sudo
华为云Centos7搭建hadoop集群二:yum源替换,ssh免密处理,hadoop用户sudo 新建hadoop用户并设置密码,密码不要设置为简单的123456等,我这里已经创建过了hadoop用 ...
最新文章
- c js html页面进度条,js实现进度条的方法
- 【项目管理】项目问题诊断
- 冲刺第六天 1.7 MON
- 蓝色版苹果iPhone 12开箱上手视频流出;谷歌回应司法部反垄断诉讼:存在严重漏洞;​Git 2.29 稳定版发布|极客头条
- QT5的exe的发布
- shell 删除文本中的重复行(sort+uniq/awk/sed) (方法=效率啊)
- clock_gettime系统调用详解
- 网贷大数据什么时候会好_为什么大数据待遇那么好 如何入门大数据行业
- 定位叠放次序z-index(HTML、CSS)
- PHP四种基本排序算法
- Bz1621.lzh二进制编辑器下载
- 一款JAVA微信小程序商城源码,带完整后台【运行版】
- excel常用控件使用方法一看就懂(干货不糊弄)
- Rayman的绝顶之路——Leetcode每日一题打卡9
- Win10此设备不支持接收 Miracast 无法投影的解决方法
- 申请德国农工大学计算机案例,【2014】德州农工大学:腼腆男的春天
- AI的10个开源工具/框架
- 在html中字怎么修改位置,css怎么设置字体位置?
- 【深度学习(李沐)】
- C++五子棋源码(Qt版)
热门文章
- python 按位运算符_Python按位运算符
- python 字符串转大写_Python字符串大写()
- Akka创建第一个Actor《nine》译
- MIT6.828 boot.S文件分析
- 一文读懂C++程序的结构、执行与编译
- [HNOI2015]开店
- shell中$(( )) 与 $( ) 还有${ }的区别
- 获取编译学习笔记 (十三)—— 外部中断
- CF Fox And Two Dots (DFS)
- linux下c语言url请求