青云QingMR集群创建、HDFS节点与Client节点管理教程
青云Spark集群创建详细教程
- 总共分为六步
- 第一步，创建QingMR集群
- 1、在创建QingMR集群之前，首先需要创建**VPC网络和** 和**私有网络**
- 2、私有网络创建只需要输入名称，点击提交即可；
- 3、在AppCenter中创建QingMR集群
- 第二步，创建QingStor对象存储
- 第三步，QingMR集群为QingStor对象存储配置参数
- 第四步，为QingMR集群通过VPC网络来配置VPN，利用OpenVPN软件连接访问集群的HDFS节点
- 第五步，OpenVPN打开后，利用XShell软件通过ssh远程登录集群的Client节点
- 第六步，QingMR集群Client节点命令
总共分为六步
创建QingMR集群、创建QingStor对象存储、QingMR集群为QingStor对象存储配置参数、配置VPN访问HDFS、ssh远程登陆Client以及Ubuntu系统下Client节点的一些命令
第一步，创建QingMR集群
1、在创建QingMR集群之前，首先需要创建VPC网络和 和私有网络
VPC网络的创建只需输入名称，选择类型，然后点击创建即可。
VPC网络创建图
2、私有网络创建只需要输入名称，点击提交即可；
在创建好的私有网络上右键选择添加到VPC网络，选择刚才创建好的VPC网络，这样就完成了VPC网络和私有网络的绑定。
3、在AppCenter中创建QingMR集群
首先，在左侧的导航栏中找到大数据平台下的QingMR，点击创建后，在创建界面的第1步：基本设置中输入集群名称；
然后，在集群创建界面的第2步：网络设置中选择刚才创建好的私有网络即可；
最后，在第5步：用户协议上勾选同意协议，点击提交完成集群的创建。
之后，可在AppCenter的管理下查看创建好的集群，小型的QingMR集群如下所示：
第二步，创建QingStor对象存储
在左侧的存储下方的对象存储中点击创建Bucket，输入Bucket的名称，即可完成QingStor对象存储的创建；
之后，在创建好的Bucket上可以选择新建文件夹，也可以将本地文件上传至对象存储。
第三步，QingMR集群为QingStor对象存储配置参数
为了将QingStorm对象存储中的文件传输到集群的Client节点和HDFS节点，需要对集群做如下的配置：
在集群的配置参数界面，将QingStor设为True,同时必须输入API秘钥才可生效（API秘钥可到账号一栏下方申请）
第四步，为QingMR集群通过VPC网络来配置VPN，利用OpenVPN软件连接访问集群的HDFS节点
如果要想通过本地电脑利用VPN的方式来访问集群HDFS的webUI界面，需要申请一个公网ip，将公网ip右键绑定到VPC网络，然后打开集群绑定VPC网络的OpenVPN服务，添加账号后记得点击右上方的应用修改；
申请公网ip界面
对VPC网络详情中的管理配置下方的VPN网络打开OpenVPN服务，同时添加OpenVPN账号，以便后续通过本地安装的OpenVPN软件登录使用。（记得在防火墙中打开UDP下行的1194端口，同时将下载的解压后的Window证书放到OpenVPN软件安装目录下的config文件夹下）
接下来，就可以通过本地OpenVPN软件来连接QingMR集群网络，访问HDFS节点的WebUI界面了。
连接成功后，在浏览器下输入http://192.168.0.7:50070/即可访问集群HDFS节点（这里假设HDFS节点的IP为192.168.0.7，具体可以到集群界面查看）
第五步，OpenVPN打开后，利用XShell软件通过ssh远程登录集群的Client节点
由于ssh默认都通过22端口来连接Client节点，所以需要在青云的防火墙上打开TCP下行22端口，才能通过XShell软件利用ssh远程登陆集群的Client节点。
另外，还需要在青云集群中登陆Client节点后开启ssh服务，需要输入如下命令：
输入vim /etc/ssh/sshd_config 回车后
将PermitRootLogin那一项的值改为yes,然后按ESC键再输入 :wq即可生效
再输入service ssh restart 来重启ssh服务
然后打开XShell软件，新建会话，输入集群Client节点的ip和用户名、密码
最后，点击连接就可登陆到Client节点成功，如下图所示。
第六步，QingMR集群Client节点命令
//首先将青云对象存储QingStor上的文件传输到Client节点上并查看，输入如下命令：
cd /opt/hadoop
bin/hdfs dfs –get (青云分区名称)://mybucket/myfile
ls
//下面需要将Client节点上hadoop下的myfile文件夹传输到HDFS节点上，并确认传输后HDFS节点上是否有了myfile文件：
Cd /opt/hadoop
bin/hdfs dfs –put /opt/hadoop/myfile /
bin/hdfs dfs –ls /myfile
//复制文件命令
cp /opt/hadoop/myfile /opt/spark/myfilefuben
青云QingMR集群创建、HDFS节点与Client节点管理教程相关推荐
- CDH集群中HDFS单点故障解决方案：HA模式（High Availability）
CDH集群开发HDFS的High Avaliability模式 Step1 什么是单点故障? Step2 HDFS为什么会出现单点故障?它是怎么解决的? Step3 开启HDFS的高可用(High A ...
- 从0开始搭建Hadoop2.x高可用集群（HDFS篇）
从0开始搭建Hadoop2.x高可用集群(HDFS篇) 演示目标 演示环境 注意事项 准备虚拟机 关闭防火墙 检查系统时间 修改host 设置免密登录 卸载OpenJDK 安装软件 准备HDFS 配置 ...
- Hadoop集群之HDFS伪分布式安装 HA（二）
1.首先看看HA的对象是谁? 主要解决的是NameNode的HA 2.Datanode不需要HA吗? DataNode的HA是NameNode的checksize机制(主动复制)来解决的 3.Name ...
- [Hadoop集群模式安装与配置全过程]红帽子RatHat6下hadoop集群模式安装（3个节点，master,slave1,slave2）
红帽子RatHat6下hadoop集群模式安装(3个节点,master,slave1,slave2) 一.学习目标: 使用红帽子RatHat6在虚拟机上搭建hadoop集群,包含3个节点,体验集群分布 ...
- 使用Cloudera Manager搭建zookeeper集群及HDFS HA实战篇
使用Cloudera Manager搭建zookeeper集群及HDFS HA实战篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.使用Cloudera Manager搭建zo ...
- redis集群扩容和缩容_Redis一站式管理平台，支持集群的创建、管理、监控和报警...
redis是一个开源的key value存储系统,受到了广大互联网公司的青睐.redis3.0版本之前只支持单例模式,在3.0版本及以后才支持集群,我这里用的是redis3.0.0版本: redis集 ...
- mysql集群重启报错lock_CentOS7.2 下 MySQL 之 PXC 集群部署【Docker+单机多节点】
背景 [注意]: 鄙人认为本篇适合做入门测试/学习之用,选择的 "单机多节点配置",后面再整理 "多机配置"文章. 近期正突击学习数据库知识 想着对 PXC 集 ...
- hadoop集群之HDFS和YARN启动和停止命令
2019独角兽企业重金招聘Python工程师标准>>> hadoop集群之HDFS和YARN启动和停止命令 博客分类: hadoop 假如我们只有3台linux虚拟机,主机名分别为h ...
- spark-测试模式-在windows中连接虚拟机中cdh集群的hdfs和hive和linux单机模式
需求1:在windows的idea中连接虚拟机cdh集群的hdfs和hive 在windows中的idea中直接把spark程序的master设为local,然后连接虚拟机中的hdfs和hive.这是 ...
最新文章
- 解决ecilpse插件安装速度变得很慢
- THE REAL DRAGON WARRIORS
- excel层级数据获取_量化获取股票市场及金融财经数据到Excel
- [Swift]LeetCode1017. 负二进制转换 | Convert to Base -2
- cicd持续集成全程_CICD-持续集成amp;持续交付
- MediaPlayer对象从停止状态到播放状态调用的方法是prepare()和start()
- 列表理解与lambda +过滤器
- 名企架构师的心声：让我一次“架”个“构”
- Scala：提取器(Extractor)
- 【作业报告】作业5 四则运算 测试与封装 5.1
- Java之数组（下)
- VBA在Excel中的插件制作
- 如何保持格式拆分工作表？
- SharePoint常用CAML查询语法及举例
- image could not be accessed on a registry to record its digest
- [工具]Chrome(Google浏览器)常用插件
- Intel SGX Explained
- 人工智能之华为云5G基站有AI，智能处理流量“潮汐”
- 【愚公系列】2022年09月 微信小程序-three.js绘制正方体
- python的项目骨架_练习 46 - 一个项目骨架 - Learn Python 3 The Hard Way