Hadoop的安装与配置——设置单节点群集
本篇博客将主要介绍如何设置和配置单节点Hadoop安装,以便我们可以使用Hadoop 的MapReduce与HDFS快速执行简单的操作。
零、先决条件
1、本系列以Ubuntu Linux作为开发和生产平台
2、Linux所需的软件包括:
- JAVA:必须安装Java,配置好JDK环境变量;
- SSH:如果要使用可选的启动和停止脚本,则必须安装ssh并且必须运行sshd才能使用管理远程Hadoop守护程序的Hadoop脚本;
- pdsh:安装pdsh以便更好地进行ssh资源管理。
如果群集中没有必需的软件,则需要安装它。在Ubuntu Linux上:
$ sudo apt-get install ssh$ sudo apt-get install pdsh
一、下载
可以从 Apache Download Mirrors下载获得最稳定的发行版
下载后,使用 : tar -zxvf tar包名,解压到指定位置!
编辑文件etc/ hadoop / hadoop-env.sh以定义一些参数
# set to the root of your Java installationexport JAVA_HOME=/usr/local/java/jdk1.8export HADOOP_CONF_DIR=/usr/local/apps/hadoop-3.2.1/etc/hadoop
尝试以下命令:
$ bin / hadoop
二、准备启动Hadoop集群
这将显示hadoop脚本的用法文档
现在,我们可以以三种支持的模式之一启动Hadoop集群:
- 本地(独立)模式
- 伪分布式模式
- 全分布式模式
2.1、独立模式运行
默认情况下,Hadoop被配置为在非分布式模式下作为单个Java进程运行。这对于调试很有用。
下面的示例复制解压缩的conf目录以用作输入,然后查找并显示给定正则表达式的每个匹配项。输出被写入给定的输出目录。
$ mkdir input$ cp etc/hadoop/*.xml input$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+'$ cat output/*
2.2、伪分布式操作模式运行
Hadoop也可以以伪分布式模式在单节点上运行,其中每个Hadoop守护程序都在单独的Java进程中运行。
在以下配置文件中进行修改或添加内容
etc/hadoop/core-site.xml:
<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>
etc/hadoop/hdfs-site.xml:
<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>
设置无密码SSH
现在检查您是否可以在不使用密码的情况下SSH到本地主机:
$ ssh localhost
如果没有密码就无法SSH到本地主机,就执行以下命令:
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$ chmod 0600 ~/.ssh/authorized_keys
以下说明是在本地运行MapReduce作业:
- 格式化文件系统:
$ bin/hdfs namenode -format
- 启动NameNode守护程序和DataNode守护程序:
$ sbin/start-dfs.sh
hadoop守护程序日志输出将写入$ HADOOP_LOG_DIR目录(默认为$ HADOOP_HOME / logs)。
- 浏览Web界面的NameNode;默认情况下,它在以下位置可用:
NameNode - http://localhost:9870/ - 设置执行MapReduce作业所需的HDFS目录:
$ bin/hdfs dfs -mkdir /user$ bin/hdfs dfs -mkdir /user/root
- 将输入文件复制到分布式文件系统中:
$ bin/hdfs dfs -mkdir input$ bin/hdfs dfs -put etc/hadoop/*.xml input
- 运行提供的一些示例:
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+'
- 检查输出文件:将输出文件从分布式文件系统复制到本地文件系统并检查它们:
$ bin/hdfs dfs -get output output$ cat output/*
- 完成后,使用以下命令停止守护进程:
$ sbin / stop-dfs.sh
以伪分布式模式在YARN上运行MapReduce作业:
以下指令假定上述本地运行MapReduce作业指令的1.〜4. 步骤已经执行。
- 如下配置参数:
etc / hadoop / mapred-site.xml:
<configuration> <property> <name> mapreduce.framework.name </ name> <value> yarn </ value> </ property> <property> <name> mapreduce.application.classpath </ name> <value> $ HADOOP_MAPRED_HOME / share / hadoop / mapreduce / *:$ HADOOP_MAPRED_HOME / share / hadoop / mapreduce / lib / * </ value> </ property>
</ configuration>
etc / hadoop / yarn-site.xml:
<configuration> <property> <name> yarn.nodemanager.aux-services </ name> <value> mapreduce_shuffle </ value> </ property> <property> <name> yarn.nodemanager.env-whitelist </ name> <value> JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME </ value> </ property>
</ configuration>
- 启动ResourceManager守护程序和NodeManager守护程序:
$ sbin/start-yarn.sh
- 浏览Web界面以找到ResourceManager;默认情况下,它在以下位置可用:
ResourceManager- http:// localhost:8088 /
运行MapReduce作业。
- 完成后,使用以下命令停止守护进程:
$ sbin/stop-yarn.sh
2.3、全分布式运行
有关设置完全分布式的非重要集群的信息,将在以后进行介绍!
Hadoop的安装与配置——设置单节点群集相关推荐
- CentOS7下分布式文件系统FastDFS的安装 配置 (单节点)
背景 FastDFS是一个开源的轻量级分布式文件系统,为互联网量身定制,充分考虑了冗余备份.负载均衡.线性扩容等机制,并注重高可用.高性能等指标,解决了大容量存储和负载均衡的问题,特别适合以文件为载体 ...
- hadoop ubantu环境搭建_Ubuntu16.04 下 hadoop的安装与配置(伪分布式环境)
一.准备 1.1创建hadoop用户 $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell $ sudo pass ...
- hadoop的安装与配置(伪分布式模式安装)
最近偶然在研究hadoop看完网络上的配置文章居然在linux下安装成功的hadoop就把别人的文章进行说明一下,提供给需要的读者. hadoop 的安装分为本地模式.伪分布模式.集群模式.本地模式是 ...
- Flume部署安装详细图文步骤(单节点)
步骤一:flume的下载 当然,这里也可以使用wget命令在线下载,很简单,不多说. 步骤二:flume的上传 [hadoop@djt002 flume]$ ls apache-flume-1.6.0 ...
- hadoop详细安装及配置
一.下载 http://hadoop.apache.org/?? hadoop官网 二.解压 注:使用管理员权限解压 三.配置环境变量 添加HADOOP_HOME配置:自己安装hadoop路径,我的是 ...
- Hadoop的安装与配置及示例程序wordcount的运行
前言 最近在学习Hadoop,文章只是记录我的学习过程,难免有不足甚至是错误之处,请大家谅解并指正!Hadoop版本是最新发布的Hadoop-0.21.0版本,其中一些Hadoop命令已发生变化,为方 ...
- Mac Hadoop的安装与配置
这里介绍Hadoop在mac下的安装与配置. 安装及配置Hadoop 首先安装Hadoop $ brew install Hadoop 配置ssh免密码登录 用dsa密钥认证来生成一对公钥和私钥: $ ...
- Hadoop的安装与配置——搭建完全分布式集群
一.搭建集群 1.准备服务器(这里以我的3台Centos7为例) 1个主节点:Carlota1(192.168.33.21), 2个子节点:Carlota2(192.168.33.22),Carlot ...
- Hadoop的安装与配置(非常重要)
官方的原生配置文档Hadoop3.1.0 HDFS的组成 NameNode secondaryNameNode DataNode 这是以主从模式来运行的,前两个在maser节点上,最后一个在slave ...
最新文章
- 增强现实:一场正在到来的医疗革命
- c#第一个程序-计算平方根
- Spring MVC 使用拦截器 HiddenHttpMethodFilter配置Rest风格的URL
- ios无痕埋点_iOS无痕埋点方案分享探究
- RMAN备份与恢复(三)--备份相关概念
- java判断 图片_java判断是否为图片的步骤和方法
- 计算机一级wps选择题必背知识点,计算机一级考试wps选择题专项训练
- windows 打开exe传参_“以管理员身份运行”,这个打开软件时经常遇到的问题,有何含义...
- Mobx与Redux区别
- HTML标签悬浮到最下方,HTML – 如何在兄弟姐妹的悬停上显示元素?
- 如何让大数据分析更有效
- SPOJ-LCS Longest Common Substring
- 题目9:身高排序(绝对差值)
- 根据VendorId 和DeviceId 查看PCI设备的名称
- 简明理解 行列式和秩
- 计算机专业进银行和国家电网,银行春招与国家电网那个好?
- APK安装包如何安装到安卓手机上
- selenium 与浏览器 以及浏览器驱动版本问题
- make clean和make clobber区别
- 人工智能到底是啥_到底什么是人工智能
热门文章
- linux java文件 core_linux下部署.net core/java
- C语言 数组定义和使用 - C语言零基础入门教程
- 打印三角形之细节讲解
- java上传excel文件代码,求java把上传文件的excel表中数据存入数据库中.实现录入的代码?...
- python画鱼_Python经典五人分鱼实例讲解
- hbase 按时刻查询_Hbase查询工具类,根据时间查询数据
- MySQL的乱码解决方案
- 中北大学和陕西科技大学计算机专业,西北地区两所重点大学,中北大学和陕西科技大学...
- oracle00333,Oracle数据库REDO损坏ora-00333修复手札
- 幼儿学数数的c语言程序,【资源学习】c语言程序代码,登录幼儿园200个小朋友的数据...