hadoop 2.7.3伪分布式安装
hadoop 2.7.3伪分布式安装
hadoop集群的伪分布式部署由于只需要一台服务器,在测试,开发过程中还是很方便实用的,有必要将搭建伪分布式的过程记录下来,好记性不如烂笔头。
hadoop 2.7.3
JDK 1.8.91
到Apache的官网下载hadoop的二进制安装包。
cd /home/fuxin.zhao/soft
tar -czvf hadoop 2.7.3.tar.gz
cd hadoop-2.7.3
cd etc/hadoop/
pwd
1. 建立本机到本机的免密登录
ssh-keygen -t rsa -P ""
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh localhost
1. 修改hadoop的配置文件
位于$HADOOP_HOME/conf目录下的修改四个配置文件:slaves、core-site.xml
hdfs-site.xml 、mapred-site.xml 、 yarn-site.xml
vi etc/hadoop/yarn-env.sh
export JAVA_HOME=/usr/local/jdk
vi etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/local/jdk
vi slaves
##加入本机的hostname
fuxin.zhao@ubuntuServer01:~/soft/hadoop-2.7.3/etc/hadoop$ vi slaves
ubuntuServer01
vi core-site.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://ubuntuServer01:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:/home/fuxin.zhao/hadoop/tmp</value><description>Abase for other temporary directories.</description></property>
</configuration>
vi hdfs-site.xml:
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/home/fuxin.zhao/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/home/fuxin.zhao/hadoop/tmp/dfs/data</value></property><property><name>dfs.block.size</name><value>67108864</value></property>
</configuration>
vi yarn-site.xml
<configuration>
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>
<property><name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property><name>yarn.scheduler.minimum-allocation-mb</name><value>512</value>
</property>
<property><name>yarn.scheduler.maximum-allocation-mb</name><value>2048</value>
</property>
<property><name>yarn.scheduler.minimum-allocation-vcores</name><value>1</value>
</property>
<property><name>yarn.scheduler.maximum-allocation-vcores</name><value>2</value>
</property>
</configuration>
vi mapred-site.xml
<configuration>
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>
<property><name>yarn.app.mapreduce.am.resource.mb</name><value>512</value>
</property>
<property><name>mapreduce.map.memory.mb</name><value>512</value>
</property>
<property><name>mapreduce.reduce.memory.mb</name><value>512</value>
</property>
</configuration>
vi .bashrc
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/home/fuxin.zhao/soft/hadoop-2.7.3
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
配置完成后,执行 NameNode 的格式化:
./bin/hdfs namenode -format
./sbin/start-dfs.sh
./sbin/start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
查看hdfs的web页面:
http://ubuntuserver01:50070/
http://ubuntuserver01:8088/
hadoop fs -ls /
hadoop fs -mkdir /user
hadoop fs -mkdir /user/fuxin.zhao
hadoop fs -touchz textFile
运行官方自带的测试job(teragen and terasort):
测试job(teragen and terasort)
#在/tmp/terasort/1000000下生成100M数据
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar teragen 1000000 /tmp/terasort/1000000-input#排序,输出到/tmp/terasort/1000000-output
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar terasort /tmp/terasort/1000000-input /tmp/terasort/1000000-output#删除临时文件
hadoop fs -rm -r /tmp/terasort/1000000-input
hadoop fs -rm -r /tmp/terasort/1000000-output
转载于:https://www.cnblogs.com/honeybee/p/6400709.html
hadoop 2.7.3伪分布式安装相关推荐
- centos 7下Hadoop 2.7.2 伪分布式安装
centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN.详细步骤如下: 1.0 安装JDK 1.1 查看是否安装了openjdk [l ...
- hadoop hbase java_Hadoop、Hbase伪分布式安装
环境 本文介绍Hadoop.Hbase的伪分布式安装. 操作系统: Centos7 Hadoop: 2.7.3 Hbase: 1.2.3 Hadoop安装 JAVA_HOME环境变量配置 由于Hbas ...
- hadoop伪分布式安装
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/qq1010885678/article/details/43447733 首先需要有一台linux的 ...
- Hadoop单机伪分布式安装(完整版)
在学习Hadoop时,我发现网上的各种安装的资料要不不全,要不前后不匹配(比如有的是伪分布式,有的是完全分布式).此篇文章,我总结了身边的同学在安装Hadoop时遇到的毛病,在前面安装配置环节,尽可能 ...
- 单机安装 hadoop 环境(Hadoop伪分布式安装)
任务描述: 作为某公司运维工程师,需在单机安装 hadoop 环境(Hadoop伪分布式安装).本环节需要使用 root用户完成相关配置,具体部署要求如下: 1. 关闭虚拟机防火墙 2. 修改&quo ...
- Hadoop Single Node Setup(hadoop本地模式和伪分布式模式安装-官方文档翻译 2.7.3)
Purpose(目标) This document describes how to set up and configure a single-node Hadoop installation so ...
- Hadoop集群之HDFS伪分布式安装 HA(二)
1.首先看看HA的对象是谁? 主要解决的是NameNode的HA 2.Datanode不需要HA吗? DataNode的HA是NameNode的checksize机制(主动复制)来解决的 3.Name ...
- Linux伪分布式安装Hadoop
Linux伪分布式安装Hadoop 1. 更新软件列表 hadoop@jeff:~$ sudo apt update 2. 安装vim编辑器 hadoop@jeff:/home/jeff$ sudo ...
- HBase基础和伪分布式安装配置
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/qq1010885678/article/details/43796441 一.HBase(NoSQL ...
最新文章
- Python 常见的坑汇总
- 中文微博客的热门锐推用户榜
- python 仪表盘-python仪表盘
- Linux运维13款实用工具
- 【leetcode】27.RemoveElement
- Windows7 Credential Manage
- python多线程threading之阻塞线程(join)线程同步和守护线程(setDaemon(True))实例详解
- android studio 便携式wlan热点 网络名称_速存 | WLAN信号增强器
- c语言10000以内最大的质数,for语句计算输出10000以内最大素数怎么搞最简单??各位大神们...
- nodejs后台系列--第二篇--使用Navicat来创建数据库
- C1083,无法打开包括文件...
- 大学生微信公众号使用情况调查
- 「AI产品」产品小姐姐分析抖音背后的计算机视觉技术
- 103000大写加零吗_关于支票金额大写规范写零的问题,比如1008712元,100万后要不要加零...
- 前端网站资源精编!!
- C118+FT232rl 免按键刷机实现方法
- 解决Java连接达梦数据库报For input string: “8“的问题
- 公司现有一个工作组workgroup,需要添加samba服务器作为文件服务器,并发布共享目录
- Arduino初初教程7——模拟量采集
- 用千千静听练听力的小工具:Mp3字慕助手(带下载慢速Voa)
热门文章
- Mybatis-puls打印sql语句
- 自制简单的小型Linux,自制小型Linux系统
- java反射 Method
- aop判断方法是否执行成功_判断图中是否有环的三种方法
- 用matlab数学综合实验,MATLAB与数学实验(第2版)
- mysql 主从一致性_mysql 主从一致性保证
- php获取本机ip外网地址,php获取本机ip(远程IP地址)
- php mysql循环语句怎么写_mysql数据库循环语句该怎么写???
- 前端性能优化篇——浏览器http同域名并发请求对限制
- 求1+2!+3!+......+20!的和