云服务器上搭建hadoop伪分布式环境
1.
软硬件环境
- CentOS 7.2 64 位
- OpenJDK- 1.8
- Hadoop- 2.7
2.
安装SSH客户端
- 安装SSH安装SSH:
安装完成后,可以使用下面命令进行测试:
输入 root 账户的密码,如果可以正常登录,则说明SSH安装没有问题。
3.安装java环境
安装 JDK
使用 yum 来安装1.7版本 OpenJDK:
安装完成后,输入
java
和javac
命令,如果能输出对应的命令帮助,则表明jdk已正确安装。配置 JAVA 环境变量
执行命令:编辑 ~/.bashrc,在结尾追加:保存文件后执行下面命令使 JAVA_HOME 环境变量生效:
为了检测系统中 JAVA 环境是否已经正确配置并生效,可以分别执行下面命令:
若两条命令输出的结果一致,且都为我们前面安装的 openjdk-1.8.0 的版本,则表明 JDK 环境已经正确安装并配置。
4.安装hadoop
下载 Hadoop
本教程使用 hadoop-2.7 版本,使用 wget 工具在线下载安装 Hadoop
将 Hadoop 安装到 /usr/local 目录下:对安装的目录进行重命名,便于后续操作方便:
检查Hadoop是否已经正确安装:
如果成功输出hadoop的版本信息,表明hadoop已经成功安装。
5.hadoop伪分布式环境配置
设置 Hadoop 的环境变量
编辑 ~/.bashrc,在结尾追加如下内容:使Hadoop环境变量配置生效:
修改 Hadoop 的配置文件
Hadoop的配置文件位于安装目录的 /etc/hadoop 目录下,在本教程中即位于 /url/local/hadoop/etc/hadoop 目录下,需要修改的配置文件为如下两个:编辑 core-site.xml,修改
<configuration></configuration>
节点的内容为如下所示:同理,编辑 hdfs-site.xml,修改
<configuration></configuration>
节点的内容为如下所示:格式化 NameNode
格式化NameNode:在输出信息中看到如下信息,则表示格式化成功:
启动 NameNode 和 DataNode 守护进程
启动 NameNode 和 DataNode 进程:执行过程中会提示输入用户密码,输入 root 用户密码即可。另外,启动时ssh会显示警告提示是否继续连接,输入 yes 即可。
检查 NameNode 和 DataNode 是否正常启动:
如果NameNode和DataNode已经正常启动,会显示NameNode、DataNode和SecondaryNameNode的进程信息:
6.运行伪分布式实例
查看 Hadoop 自带的例子
Hadoop 附带了丰富的例子, 执行下面命令可以查看:在 HDFS 中创建用户目录
在 HDFS 中创建用户目录 hadoop:准备实验数据
本教程中,我们将以 Hadoop 所有的 xml 配置文件作为输入数据来完成实验。执行下面命令在 HDFS 中新建一个 input 文件夹并将 hadoop 配置文件上传到该文件夹下:此时会出现如下警告:
原因:
Apache提供的hadoop本地库是32位的,而在64位的服务器上就会有问题,因此需要自己编译64位的版本。1、首先找到对应自己hadoop版本的64位的lib包,可以自己手动去编译,但比较麻烦,也可以去网上找,好多都有已经编译好了的。
2、可以去网站:http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 下载对应的编译版本
3、将准备好的64位的lib包解压到已经安装好的hadoop安装目录的lib/native 和 lib目录下:
4、然后增加环境变量:
5、增加下面的内容:
6、让环境变量生效
7、自检hadoop checknative –a 指令检查
再次在 HDFS 中创建用户目录 hadoop:
不再提示警告
准备实验数据
本教程中,我们将以 Hadoop 所有的 xml 配置文件作为输入数据来完成实验。执行下面命令在 HDFS 中新建一个 input 文件夹并将 hadoop 配置文件上传到该文件夹下:使用下面命令可以查看刚刚上传到 HDFS 的文件:
运行实验
上述命令以 HDFS 文件系统中的 input 为输入数据来运行 Hadoop 自带的 grep 程序,提取其中符合正则表达式 dfs[a-z.]+ 的数据并进行次数统计,将结果输出到 HDFS 文件系统的 output 文件夹下。
查看运行结果
上述例子完成后的结果保存在 HDFS 中,通过下面命令查看结果:如果运行成功,可以看到如下结果:
删除 HDFS 中的结果目录:
运行 Hadoop 程序时,为了防止覆盖结果,程序指定的输出目录不能存在,否则会提示错误,因此在下次运行前需要先删除输出目录。
关闭 Hadoop 进程
关闭 Hadoop 进程:再起启动只需要执行下面命令:
7.
部署完成
转载于:https://www.cnblogs.com/ztca/p/8679056.html
云服务器上搭建hadoop伪分布式环境相关推荐
- Windows 7 64位系统上搭建Hadoop伪分布式环境(很详细)
在开始配置前,我们先了解Hadoop的三种运行模式. Hadoop的三种运行模式 独立(或本地)模式:无需运行任何守护进程,所有程序都在同一个JVM上执行.在独立模式下测试和调试MapReduce程序 ...
- 在多台机器上搭建Hadoop的分布式环境
2019独角兽企业重金招聘Python工程师标准>>> 分布式环境搭建之环境介绍 之前我们已经介绍了如何在单机上搭建伪分布式的Hadoop环境,而在实际情况中,肯定都是多机器多节点的 ...
- 搭建 Hadoop 伪分布式环境
软硬件环境 CentOS 7.2 64 位 OpenJDK- 1.8 Hadoop- 2.7 关于本教程的说明 云实验室云主机自动使用 root 账户登录系统,因此本教程中所有的操作都是以 root ...
- 如何用鲲鹏弹性云服务器部署《Hadoop伪分布式》
1.安装环境和说明 CentOS 7.6 64 OpenJDK- 1.8 Hadoop- 3.0 2.安装 SSH 客户端 sudo yum install openssh-clients opens ...
- “化鲲为鹏,我有话说”如何用鲲鹏弹性云服务器部署《Hadoop伪分布式》
1.安装环境和说明 CentOS 7.6 64 OpenJDK- 1.8 Hadoop- 3.0 2.安装 SSH 客户端 yum install openssh-clients openssh-se ...
- 本地搭建Hadoop伪分布式环境之一:虚拟机的安装
作者:GISer_Leo 好久没有写技术文档了,最近都在做项目:今日抽空搭建下Hadoop伪分布式环境: 个人笔记本:win8.1系统,内存32G,i7,硬盘1.5T: 准备软件:1.VMware-w ...
- 本地搭建Hadoop伪分布式环境之四:开启搭建Hadoop2.4.0之旅
1.准备软件 64位下载包下载: hadoop-2.4.0-64bit.tar.gz 百度网盘: 链接: http://pan.baidu.com/s/1hqEDe2S password: ...
- 在多台云服务器上的Hadoop和Spark环境配置
1.安装jdk1.8(下载地址): https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.ht ...
- 阿里云服务器上搭建微信小程序服务端环境。
无论是搭建个人博客空间也好,微信小程序也罢,搭建环境必需的两点:云服务器.域名,下面一步步给搭建演示如果在一台阿里云服务器上搭建微信小程序服务端环境. 1.云服务器准备:可在阿里云购买ECS服务器 ...
- 构建Hadoop伪分布式环境
构建Hadoop伪分布式环境 这篇文章介绍Hadoop伪分布式环境的搭建过程与原理,是个人的学习总结,以纪念在各个步骤中遇到的麻烦.踩过的坑! 这篇笔记包含这样几个内容: 配置伪分布式环境 运行一个简 ...
最新文章
- sqlalchemy中的first_or_404()和get_or_404()使用(前端页面可视化操作——查询和添加)
- 女朋友羞辱我一线程序员35岁后没出路?该回二线发展!我没忍住,吼她两句!我错了吗?...
- Linux在shell终端中清空DNS缓存,刷新DNS的方法(ubuntu,debian)
- Object类 任何类都是object类的子类 用object对象接收数组 object类的向上向下转型...
- 前端控制器html,DispatcherServlet(前端控制器)访问顺序和url匹配规则
- Android --- 选项卡背景样式,左侧边有颜色
- Java中实用类:Date、Calendar、Math、Random、String、StringBuffer的用法
- python股票数据预处理_Python股票处理之六_数据预处理A
- ITK:均值滤波的图像
- [R]RMySQL set up
- java docx文档解析_带有docx4j的Java Word(.docx)文档
- 某些小技巧的技术分享
- ArcGIS For Flex学习之Mapping---Map Extent and Mouse Coordinates
- java剪刀石头布编程_Java如何编写石头剪子布游戏程序
- Win11打印机脱机了怎么重新连接?Win11打印机脱机的解决方法
- tp5 php 使用array_column函数方法 记录集数组取值(取得某个元素的值)
- Python问题:NotImplementedError: The confidence keyword argument is only available if OpenCV is install
- python 查找excel内容所在的单元格_python 读取excel中单元格的内容
- goplus (go+)初识
- 文本数据“关键词渲染”的高频词可视化——词云图。
热门文章
- 敏捷开发之产品级经验分享
- android全局计时_Android中使用定时器的三种方法
- kafka消息堆积原因解析
- Your branch is ahead of ‘origin/main‘ by 1 commit.
- Hbase二级索引入门
- Linux开发_反编译开发_破解简单登录程序外加缓冲区溢出攻击
- LeetCode 144 ——二叉树的前序遍历
- 无法访问移动磁盘显示磁盘未被格式化的文件寻回方案
- Tomcat6.0连接器源码分析3
- EMC混合云解决方案Enterprise Hybrid Cloud升级