如何使用云容器搭建基于CentOS7的Hadoop2.x伪分布式环境(CSDN开发者云平台使用初体验)
文章目录
- 前言
- CSDN开发者云平台
- 白piao云主机
- 云容器购买指南
- 创建过程
- 安装Hadoop2.x
- 详细安装步骤如下:
- 我们先开始配置java环境
- hadoop2.x(2022.06.12更新)
- 接下来需要利用vim来操作core-site 和 hdfs-site
- 踩坑:
- 验证成果
- 保留节目:使用CSDN云容器创建多集群做实验
- 测评优点
- 测评不足
- 总结
前言
前不久CSDN联合国内顶级云厂商,共同为开发者提供稳定便宜的云服务,送了学长两张优惠券,一张云容器,一张云主机。恰好最近在学习某硅谷的SeaTunnel课程需要用到主机做实验,使用本地的还需要重头安装VMware
,有诸多不便,于是想试试CSDN的云容器
服务。
CSDN开发者云平台
目前CSDN开发者云平台主要有如下资源:
(1)云容器 快速构建学习、
(2)实验容器环境 云主机 稳定、
(3)安全的弹性计算服务 云磁盘 高性能的、
(4)弹性块存储服务 、
(5)数据库 可靠易用免维护的数据服务、
(6)云存储 大规模分布式对象存储服务。
其中我个人用的最多的是云主机
。
白piao云主机
送了40元优惠券仅限云主机1核1GB1MB1个月
云容器购买指南
CSDN 云容器通过深度融合新一代云原生技术,提供以容器为核心的高性能 Kubernetes 容器服务,助力用户快速构建学习、实验容器环境。同时有效控制使用成本,只需要支付远低于市场价的费用就可以全年不限次数使用10核10GB的容器资源。
产品优势
仅需支付相同规格服务器5%-10%的费用,就能全年不限次数使用容器服务。
产品类型
云容器实例:一个容器实例目前有 CentOS7 和Ubuntu16两种操作系统可以供选择,同时提供多种规格可供选择
简单易用
提供简单易用的web界面,方便用户一键创建多台容器、登录管理容器、上传下载文件。
存储管理
支持创建容器时同时自动挂载云存储服务,多个容器间可以共享云存储服务,解决容器状态存储问题。
实验数据集
提供常用软件安装包及常用实验数据集,而且直接挂载到容器指定目录,免去用户查找、下载实验资源,让用户更专注实验流程。
使用时间
会员有效期内,不限使用次数。
适用场景
体验真实云场景
秒级构建云环境,快速模拟真实生产场景。用户可以从默认提供的公共存储软件包快速安装常用软件,构建常用开发部署环境。
随时随地做实验
快速创建多台容器,真实还原分布式场景,更全面的对分布式场景进行实验测试。例如Mysql主从同步、kafka集群安装使用、Hadoop集群安装使用、Flink集群安装使用等实验。
会员使用规则
购买即同意《开发云服务协议》(opens new window)
【配额范围】:云容器规格配额为10核10GB内存,可根据实际需求开通并使用。
【使用时间】:会员有效期内,不限使用次数。
【使用限制】:云容器主要是提供给用户进行实验或学习,无法用于生产,需实名认证后才能正常使用。
【特别说明】:单次实验或学习时长为72小时,超过72小时后,云容器将自动销毁,使用期间请留意倒计时。
创建过程
创建1个2核4G的容器。
这里我踩了一个小坑,直接创建10核10G的容器,主机一直连接不成功,后来改成2核4G连接成功,可能是csdn考虑到要用来做Hadoop集群、Flink集群等实验,需要使用多集群默认了不能创建10核10G。
jps命令没有,先安装一下。
命令如下:
yum install java-1.8.0-openjdk.x86_64
yum install java-1.8.0-openjdk-devel.x86_64
安装Hadoop2.x
详细安装步骤如下:
我们先开始配置java环境
首先下载java的jdk
wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
然后解压
tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
移动位置并且配置java路径
mv java-se-8u41-ri/ /usr/java8
echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile
检查是否安装成功
java -version
这是理想情况,若安装成功会出现如下结果
hadoop2.x(2022.06.12更新)
wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz
tar -zxvf hadoop-2.10.1.tar.gz -C /opt/
mv /opt/hadoop-2.10.1 /opt/hadoop
配置地址
echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile
配置yarn和hadoop
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh
查看Hadoop 安装情况
hadoop version
若出现上图情况,则说明安装成功
接下来需要利用vim来操作core-site 和 hdfs-site
vim /opt/hadoop/etc/hadoop/core-site.xml
进入vim环境
按下i(insert)修改
光标移动至configuration之间,复制如下的信息
<property><name>hadoop.tmp.dir</name><value>file:/opt/hadoop/tmp</value><description>location to store temporary files</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
然后按下esc,停止修改,然后打":wq"(实际无“”)退出vim修改
同理操作hdfs-site
vim /opt/hadoop/etc/hadoop/hdfs-site.xml
<property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/opt/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/opt/hadoop/tmp/dfs/data</value></property>
配置master和slave连接,运行如下指令,并且一直回车,直至出现如下图
ssh-keygen -t rsa
运行如下代码
cd .ssh
cat id_rsa.pub >> authorized_keys
启动Hadoop
hadoop namenode -format
start-dfs.sh
start-yarn.sh
踩坑:
ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation
这里踩了一个小坑,
解决方案:
https://blog.csdn.net/ystyaoshengting/article/details/103026872
查看是否配置成功
jps
成功图
验证成果
起初HDFS没有文件所以无任何显示
上传yum日志到HDFS系统中,可以看到系统上有文件
保留节目:使用CSDN云容器创建多集群做实验
用CSDN云容器创建多集群暂时未试过,小伙伴们又兴起可以做一做
csdn有丰富的教程,按照教程一步步实现想必并不困难,这里贴出其中一个教程。
https://blog.csdn.net/code__online/article/details/80178032
测评优点
(1)正如文档写的提供简单易用的web界面
,方便用户一键创建多台容器、登录管理容器、上传下载文件。可以随时随地搭建集群做实验
(2)仅需支付相同规格服务器5%-10%的费用,就能全年不限次数使用容器服务。
(3)容器实例目前有 CentOS7 和Ubuntu16两种操作系统可以供选择,对我来说够用了。
(4)支持创建容器时同时自动挂载云存储服务,多个容器间可以共享云存储服务,解决容器状态存储问题。
测评不足
(1)提供常用软件安装包及常用实验数据集,这个在实际操作中并没有看到有,也许是学长没找到或者藏的太深。
(2)超过72小时自动销毁也让很多东西受到限制,
(3)建议多关联操作文档,这也是CSDN一大优势(相关详细的文章很多),像Mysql主从同步、kafka集群安装使用、Hadoop集群安装使用、Flink集群安装使用的文档可以放在一边,方便开发者看着一步步实现操作。
总结
对于刚刚推出的云服务有不足之处,CSDN开发者云的优势在于用户基数大,有刚性的使用需求,同时在CSDN发表的文章本就很完善,希望在后面的不断优化中推出更完善的服务。
如何使用云容器搭建基于CentOS7的Hadoop2.x伪分布式环境(CSDN开发者云平台使用初体验)相关推荐
- openstack-r版(rocky)搭建基于centos7.4 的openstack swift对象存储服务 四
openstack-r版(rocky)搭建基于centos7.4 的openstack swift对象存储服务 一 openstack-r版(rocky)搭建基于centos7.4 的openstac ...
- Spark基础学习笔记04:搭建Spark伪分布式环境
文章目录 零.本讲学习目标 一.搭建伪分布式Hadoop (一)登录ied虚拟机 (二)配置免密登录 1.生成密钥对 2.将生成的公钥发送到本机(虚拟机ied) 3.验证虚拟机是否能免密登录本机 (三 ...
- Flume+Kafka+Strom基于伪分布式环境的结合使用
--------------------------------------- 博文作者:迦壹 博客地址:Flume+Kafka+Strom基于伪分布式环境的结合使用 转载声明:可以转载, 但必须以超 ...
- HDFS伪分布式环境搭建-很不错
HDFS伪分布式环境搭建 原创 ZeroOne01 2018-03-24 19:51:20 评论(0) 655人阅读 HDFS概述及设计目标 什么是HDFS: 是Hadoop实现的一个分布式文件系统( ...
- 搭建 Hadoop 伪分布式环境
软硬件环境 CentOS 7.2 64 位 OpenJDK- 1.8 Hadoop- 2.7 关于本教程的说明 云实验室云主机自动使用 root 账户登录系统,因此本教程中所有的操作都是以 root ...
- Windows 7 64位系统上搭建Hadoop伪分布式环境(很详细)
在开始配置前,我们先了解Hadoop的三种运行模式. Hadoop的三种运行模式 独立(或本地)模式:无需运行任何守护进程,所有程序都在同一个JVM上执行.在独立模式下测试和调试MapReduce程序 ...
- 在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境
近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop ...
- Hadoop单机和伪分布式环境搭建
hadoop环境搭建 1.三个环境 单机.伪分布式.分布式 2.三个分支 apache版本(Apache基金会) cdh版本(cloudera公司) ...
- Hadoop学习总结(3)——Hadoop伪分布式环境搭建
一.Hadoop运行模式 Local (Standalone) Mode 本地模式 适用于开发人员测试Debug 使用本地文件系统 Pseudo-Distributed Mode 伪分布式模式 适用于 ...
最新文章
- 如何提高增加包含大量记录的表的主键字段的效率
- C++知识点2——指针、引用基础
- 二叉堆的优先队列基本原理及实现
- mongodb之索引学习
- Tempter of the Bone(HDU1010)
- 红心大战c语言程序设计教程课后答案,[原创]Windows 红心大战随机发牌程序分析...
- C++设计模式-外观模式
- python 函数特殊属性
- 点击项目任意页面都是404,且报错class path resource [] cannot be opened because it does not exist等
- python全栈开发-Day11 迭代器、生成器、面向过程编程
- ✨Shell脚本实现Base64 加密解密
- Linux服务器jps报process information unavailable
- 剑指offer 面试26题
- Lightbox滚轮缩放功能
- 【渝粤题库】陕西师范大学163107饭店管理 作业【高起专】
- 网桥是什么(配图)mark
- SQL外部联合:right outer join、left outer join、full outer join
- 盖茨和李嘉诚双龙卸甲 他们的区块链业务一个在链圈扶贫 一个在币圈赚钱
- 如何恢复录音删除的录音文件_如何使用goldwave给麦克风录音
- EasyNVR二次开发云台控制接口实例
热门文章
- Activiti7子流程之Call activity
- 一种监狱室内人员定位解决方案-室内人员定位-新导智能
- 对羟基苯甲酸脂类混合物的反相HPLC实验
- 【Linux】通过 Shell 脚本修改用户密码
- python读取usb扫码枪数据_PyUsb USB条码扫描
- Boom 3D for Mac(音效增强软件)
- 小蚂蚁学memcache笔记—php操作memcache(3)
- 微信小程序,动态添加和删除表单项
- 如何解决choregraphe由于VCOMP120.DLL丢失而导致的闪退问题
- lpc1788_ucos\cmsis\flash.scat Flash.ini verctors.s --ucosii移植在lpc1788--part1