Ubuntu18.04LTS搭建CDH6.3.0环境-版本二

CM在线安装版本 注意事项0.最好是干净的环境1.root身份 2.建议主server在线安装 下载好资源后(默认下载到的位置/var/cache/apt/archives) 其他节点直接发过去安装包.deb 然后进行本地安装 dpek --install xxx.deb4.sudo apt-get install openjdk-8-jdk(server节点被这个替换了 不然总是提示找不打java)3.mysql-connector-java-8.20.jar最好root身份且实现root身份的ssh /etc/ssh/sshd_config 进行如下配置 否则CDH安装时会报问题UsePrivilegeSeparation noPermitRootLogin yesPasswordAuthentication yes5.关闭防火墙 6.关闭selinux(可选)7.启动Httpd服务(可选)8.jdk安装 jdk-1.8.0_201 (建议采用 sudo apt-get install openjdk-8-jdk)9.每个节点实现时区修改和更新 同时mysql中也要进行时区设置 参看下面的“安装遇到问题集锦 1”10.实现集群的时间同步(机器联网状态可以不做)11.相关离线资源(也是在线安装时的自动下载资源地方)参考地址https://archive.cloudera.com/cm6/6.3.0/ubuntu1804/apt/https://archive.cloudera.com/cdh6/1.集群每个节点执行 (执行前去https://archive.cloudera.com/ 看看最近的版本 确定版本号 此处采用的是6.3.0)wget https://archive.cloudera.com/cm6/6.3.0/ubuntu1804/apt/archive.keysudo apt-key add archive.keywget https://archive.cloudera.com/cm6/6.3.0/ubuntu1804/apt/cloudera-manager.listsudo mv cloudera-manager.list /etc/apt/sources.list.d/#更新软件清单sudo apt-get update**切记版本号集群统一，别弄错了2.server主节点java-connector-java.jar 下载地址https://mvnrepository.com/artifact/mysql/mysql-connector-javaroot@s100:~#  mkdir -p /usr/share/javaroot@s100:~#  cp mysql-connector-java-8.0.20.jar  /usr/share/java/mysql-connector-java.jar3、集群每个节点部署JDK 三种方式3.1 当前terminal窗口生效root@s100:~#  mkdir /usr/javaroot@s100:~#  tar -zxf cdh/jdk-8u191-linux-x64.tar.gz -C /usr/java/root@s100:~#  chown -R root:root /usr/java/jdk1.8.0_191root@s100:~#  echo "export JAVA_HOME=/usr/java/jdk1.8.0_191" >> /etc/profileroot@s100:~#  echo "export PATH=/usr/java/jdk1.8.0_191/bin:${PATH}" >> /etc/profile root@s100:~#  source /etc/profileroot@s100:~# which java/usr/java/jdk1.8.0_191/bin/java[root@node06 ~]# java -versionjava version "1.8.0_191"Java(TM) SE Runtime Environment (build 1.8.0_191-b12)Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)或者 安装位置为/home/fgq/soft/jdk  root@s102:/home/fgq# echo "export JAVA_HOME=/home/fgq/soft/jdk" >> /etc/profileroot@s102:/home/fgq# echo "export PATH=/home/fgq/soft/jdk/bin:${PATH}" >> /etc/profileroot@s102:/home/fgq# source /etc/profile3.2 或 永久生效root身份下的.bashrcexport JAVA_HOME=/home/fgq/soft/jdk   export PATH=${JAVA_HOME}/bin:$PATH3.3 或 推荐此法sudo apt-get install openjdk-8-jdk4.因为我的是fgq用户 所以切换成root进行相关操作 ubuntu切换用户root时认证失败   如果使用root远程登陆，在安装完之后需要使用passwd root来重置root密码。 否则在远程登陆时会提示没有权限。ubuntu一开始并没有给root分配密码，所以切换到root超级用户，输入任何密码都会认证失败。只要在命令行中输入sudo passwd，输入新的密码就ok了。如下：fgq@s100: sudo passwd输入新的UNIX密码：重新输入新的UNIX密码：fgq@s100: su root密码：fgq@s100:~$ shutdown -h now（关机命令）5.安装mysql创建数据库 scm、hue、hive...配置MySQL 安装完毕后 有一点需要配置修改/etc/mysql/mysql.conf.d/mysqld.cnf#bind-address           = 127.0.0.1使其可远程访问6.在线在server主节点安装cloudera （机器太少所以也安装一个ageng节点）sudo apt-get install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-servercloudera安装过后的位置和目录如下fgq@s100:/opt/cloudera$ ls -ltotal 16drwxr-xr-x 27 root         root         4096 Jul 28 19:24 cmdrwxr-xr-x 10 root         root         4096 Jul 28 04:07 cm-agentdrwxr-xr-x  2 cloudera-scm cloudera-scm 4096 Mar 12 10:07 csddrwxr-xr-x  2 cloudera-scm cloudera-scm 4096 Jul 28 00:42 parcel-repo注意.ubuntu中一般来说apt-get安装与默认路径 一、apt-get 安装（ubuntu使用apt如果是centos则使用yum安装方式）deb是debian linus的安装格式，跟red hat的rpm非常相似，最基本的安装命令是：dpkg -i file.deb或者直接双击此文件dpkg 是Debian Package的简写，是为Debian 专门开发的套件管理系统，方便软件的安装、更新及移除。所有源自Debian的Linux发行版都使用dpkg，例如Ubuntu、Knoppix 等。以下是一些 Dpkg 的普通用法：1、dpkg -i安装一个 Debian 软件包，如你手动下载的文件。2、dpkg -c列出 的内容。3、dpkg -I从 中提取包裹信息。4、dpkg -r移除一个已安装的包裹。5、dpkg -P完全清除一个已安装的包裹。和 remove 不同的是，remove 只是删掉数据和可执行文件，purge 另外还删除所有的配制文件。6、dpkg -L列出 安装的所有文件清单。同时请看 dpkg -c 来检查一个 .deb 文件的内容。7、dpkg -s显示已安装包裹的信息。同时请看 apt-cache 显示 Debian 存档中的包裹信息，以及 dpkg -I 来显示从一个 .deb 文件中提取的包裹信息。8、dpkg-reconfigure重新配制一个已经安装的包裹，如果它使用的是 debconf (debconf 为包裹安装提供了一个统一的配制界面)。二、软件安装后相关文件位置1.下载的软件存放位置 apt通过apt源配置路径进行资源下载存放地方/var/cache/apt/archives2.安装后软件默认位置 安装地方/usr/share3.可执行文件位置/usr/bin4.配置文件位置/etc5.lib文件位置/usr/lib
7.每个agent节点 安装agent （daemons）root@s101:~# apt-get install cloudera-manager-daemons cloudera-manager-agent
8.给cm指定各个管理库的信息(之前mysql中都已经创建好了的)sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm scm123456sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql amon amon amon123456sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql rman rman rman123456sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql hue hue hue123456sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql hive hive hive123456sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql sentry sentry sentry123456sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql nav nav nav123456sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql navms navms navms123456sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql oozie oozie oozie123456#/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -hs100 -uroot -p123456 --scm-host s100 scm scm scm123456#9.修改每个agent节点的CM主机地址   暂时不需要做呢
#   sudo vim /etc/cloudera-scm-agent/config.ini
#   # 将server_host修改为CM-Server所在的主机名
#   server_host=s10010.启动#启动cloudera-scm-serversystemctl start cloudera-scm-serversystemctl stop cloudera-scm-serversystemctl status cloudera-scm-serverroot@s100:~# systemctl start cloudera-scm-serverroot@s100:~# systemctl status cloudera-scm-server● cloudera-scm-server.service - Cloudera CM Server ServiceLoaded: loaded (/lib/systemd/system/cloudera-scm-server.service; enabled; venActive: active (running) since Thu 2020-07-30 10:13:24 CST; 7min agoMain PID: 20322 (java)Tasks: 92 (limit: 5863)CGroup: /system.slice/cloudera-scm-server.service└─20322 /usr/lib/jvm/java-1.8.0-openjdk-amd64/bin/java -cp .:/usr/shaJul 30 10:13:24 s100 systemd[1]: Started Cloudera CM Server Service.Jul 30 10:13:24 s100 cm-server[20322]: JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdkJul 30 10:13:24 s100 cm-server[20322]: OpenJDK 64-Bit Server VM warning: ignorinJul 30 10:13:26 s100 cm-server[20322]: ERROR StatusLogger No log4j2 configuratioJul 30 10:13:28 s100 cm-server[20322]: Loading class `com.mysql.jdbc.Driver'. Thlines 1-13/13 (END)#查看启动日志，等待Jetty启动完成sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log root@s100:~# jps20322 Main   -----Main即为cloudera-scm-server进程21309 Jps11.浏览器访问http://s100:7180用户名：admin密码：admin7180： Cloudera Manager WebUI端口7182： Cloudera Manager Server 与 Agent 通讯端口   /etc/cloudera-scm-agent/config.ini#12.所要agent节点开启agent服务
#   root@s101:~# systemctl start cloudera-scm-agent
#   root@s101:~# systemctl status cloudera-scm-agent
#
#   root@s101:~# systemctl stop cloudera-scm-agent13.此时server开启了然后就可以通过浏览器http://s100:7180 用户/密码：admin/admin按照向导搭建集群。根据向导进行安装，切记在选择Specify Hosts那一步时要讲所有集群机器都选上问题集锦1.Exhausted available authentication methods要求Enter Login Credentials 这一步设置的账号 root 密码 123456 跟ubuntu root用户信息一致2./tmp/scm_prepare_node.Fuo0YSZeCould not verify key bundle Cloudera Manager的 Specify Hosts 出现了错误 应当选择所要集群的机器 包括server和所有agent3.注意因为是在线安装的 所要 Cloudera Manager的parcels已经提前下载好了...按照提示进行下去就好4.认真看每一步的要求 进行下去集群起名为cluster 1ssh连接用户 root 密码 123456安装遇到问题集锦       1：cloudera manager The server time zone value 'PDT' is unrecognized or represents more than one time zone. You must configure either the server or JDBC driver (via the 'serverTimezone' configuration property) to use a more specifc time zone value if you wanThe server time zone value 'PDT' is unrecognized or represents more than one time zone数据库链接错误因为系统做了Ubuntu修改时区和更新时间zhengchaooo 2018-03-09 17:05:03 140291 收藏 55分类专栏： Ubuntu版权先查看当前系统时间root@ubuntu:/# date -R   结果时区是：-0500我需要的是东八区，这儿显示不是，所以需要设置一个时区1.运行tzselectroot@ubuntu:/# tzselect在这里我们选择亚洲 Asia，确认之后选择中国（China)，最后选择北京(Beijing)2.复制文件到/etc目录下root@ubuntu:/# cp /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime3.再次查看时间date -R，已经修改为北京时间而mysql并没有做时区同步更新步骤1 进入数据库步骤2 数据库中键入show variables like ‘%time_zone%’;步骤3 继续键入select now();由于我的ubuntu系统的默认时区是PDT，改成了CST后出现了这个问题键入：set global time_zone=’+8:00’;改成中国时区键入：flush privileges;刷新一次数据库，重启也可以成功成功或者添加默认系统时间set time_zone=SYSTEM;刷新后查看一下数据库是否能够成功登入
2：ubuntu各个版本的代号  Ubuntu 14.04 (LTS)代号为trustyUbuntu 15.04 代号为vividUbuntu 15.10 代号为wilyUbuntu 16.04 (LTS)代号为xenialUbuntu 18.04 (LTS)代号为bionic
3.手动安装(离线安装) 不建议 会缺失很多依赖(需要apt --fix-broken install联网进行补全依赖)1.root身份2.与上面唯一不同的就是 apt-get install ... 改成了 dpkg --install xxx.deb问题：下载好的.deb文件在使用dpkg --install xxx.deb安装时会提示依赖缺失和apt --fix-broken install的错误解决：删除失败的安装目录（/opt/cloudera/cm-agent）运行apt --fix-broken install 进行安装缺失内容的包参考https://blog.csdn.net/zhouzhiyao960211/article/details/89716036
4.数据库配置：/etc/cloudera-scm-server/db.properties日志： /var/log/cloudera-scm-agent/ 和 /var/log/cloudera-scm-server/
5.systemctl status cloudera-scm-server 查看状态 为失败jdk不匹配#安装jdk8sudo apt-get install openjdk-8-jdk

Ubuntu18.04LTS搭建CDH6.3.0环境-版本二相关推荐

搭建 gxt-2.2.0 环境，让我们第一个简单程序跑起来
最近对gxt有兴趣,它是一个Rich Application Client,界面很漂亮,所以今天试着搭建环境,让自己的一个程序起来. 我的是gxt是gxt-2.2.0,gwt是gwt-2.0.4版本. ...
Ubuntu18.04搭建AirSim+ROS仿真环境
AIRSIM在UBuntu 18.04上构建的官网文档一.安装UE4引擎 AIRSIM是依赖于UE4引擎实现的,因此在安装AIRSIM之前要安装UE4引擎. 1.获取UE4的github许可在Ub ...
7001.ubuntu18.04搭建go语言开发环境
ubuntu搭建go开发环境下载go源码 https://studygolang.com/dl 这里我下载版本为go1.13.6.linux-amd64.tar.gz源码编译安装包 go开发环境配置 ...
搭建大数据运行环境之二
前言上篇文章咱们将大数据相关的一些组件都集成安装在了一个docker中搭建大数据运行环境之一这篇文章咱们继续启动下该docker中的大数据相关的组件将大数据运行环境跑起来上篇文章的几个注意 ...
Ubuntu18.04LTS搭建nodejs环境和webStorm
前言 Ubuntu18.04的apt虽然可以安装NodeJs.虽然已经安装了,但是在webstorm中一直找不到npm包,该问题一直没解决的,所以我采用了nvm的形式进行安装,最后可以使用websto ...
CDH6.1.0环境搭建完成后登录admin账户失败
CDH环境搭建完成,启动cloudera-manager-server成功,下面是启动日志 [root@node-1 ~]# sudo systemctl start cloudera-scm-ser ...
【深度学习】环境搭建—TensorFlow 2.0环境搭建
前沿: 本来想是搭建一个本地环境,可是在安装过程中需要 cuda 10.0 ,而我安装的是 cuda 10.1 不匹配.所以就寻思着安装了一个 docker,使用容器化安装. Created with ...
wxWidgets(1) ：mac下搭建wxWidgets 3.0 环境
本文原文连接: http://blog.csdn.net/freewebsys/article/details/45643897 转载请注明出处! 1,关于wxWidgets 参考:http://zh ...
Linux搭建elasticsearch-7.8.0单机版本

Ubuntu18.04LTS搭建CDH6.3.0环境-版本二

Ubuntu18.04LTS搭建CDH6.3.0环境-版本二相关推荐

最新文章

热门文章