hadoop 单机单间_Hadoop单机模式配置

Required Software

1. 安装Java环境推荐的版本在链接中有介绍HadoopJavaVersions.

2. 安装ssh以使用hadoop脚本管理远程Hadoop daemons.

Download Hadoop

Installing Software

安装JDK，网上的教程比较多，不做详述

安装ssh，在Ubuntu Linux系统上通过如下指令安装：

$ sudo apt-get install ssh

$ sudo apt-get install rsync

对于mac操作系统，需要在偏好设置中开启远程登录服务。

Configuration

配置Hadoop环境变量

export HADOOP_HOME="/Users/majun/mysoftware/hadoop272"

export PATH="$PATH:/Users/majun/mysoftware/scala/bin:$HADOOP_HOME/bin"

export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/usr/local/hadoop/lib/native"

修改etc/hadoop/core-site.xml:

fs.defaultFS

hdfs://localhost:9000

etc/hadoop/hdfs-site.xml:

dfs.replication

Setup passphraseless ssh

使用如下命令来判断是否需要输入密码来ssh登陆：

ssh localhost

如果无法登陆在不输密码的情况下，可以执行下面的语句：

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

$ chmod 0600 ~/.ssh/authorized_keys

Execution

序列化数据

$ bin/hdfs namenode -format

启动namenode和datanode daemon

$ sbin/start-dfs.sh

打开NameNode的web

NameNode - http://localhost:50070/

创建hdfs目录

$ bin/hdfs dfs -mkdir /user

$ bin/hdfs dfs -mkdir /user/

将本地input拷进hdfs系统中

$ bin/hdfs dfs -put etc/hadoop input

运行官方提供的sample

$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'

检验输出文件，将hdfs文件拷到本地

$ bin/hdfs dfs -get output output

$ cat output/*

Reference

hadoop 单机单间_Hadoop单机模式配置相关推荐

hadoop 单机单间_初学Hadoop之单机模式环境搭建
本文仅作为学习笔记,供大家初学Hadoop时学习参考.初学Hadoop,欢迎有经验的朋友进行指导与交流! 1.安装CentOS7 准备 CentOS系统镜像CentOS-7.0-1406-x86_64 ...
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
给力星追逐内心的平和首页笔记搜藏代码音乐关于 Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04 2014-08-09 (updated: 2016 ...
hbase单机模式配置
1.软件 https://pan.baidu.com/s/1mgPA8s02FFyPqcc9DmR-FA 提取码: 337t 2.在安装hbase之前,确保你的电脑已经安装Hadoop3.1.3,hb ...
CENTOS上的网络安全工具（九）走向Hadoop（1） SingleNode模式安装与配置
如果只是在小型企业中构架网络安全,单机的suricata.arkime等工具基本够用了.大型的企业,必然带来更大的需要分析的数据量,如果只是粗略统计一下,提取个别典型协议的少数要素,大致SiLK也就够 ...
Kafka单机、集群模式安装详解(二)
本文环境如下: 操作系统:CentOS 6 32位 JDK版本:1.8.0_77 32位 Kafka版本:0.9.0.1(Scala 2.11) 接上篇 Kafka单机.集群模式安装详解(一) 6. ...
Hadoop集群_Hadoop安装配置
1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesy ...
hadoop 实战练习_Hadoop 实战实例
Hadoop 是Google MapReduce的一个Java实现.MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行.就如同java程序员可以不 ...
Hadoop下水环境模拟集群运算模式
Hadoop下水环境模拟集群运算模式马金锋1, 唐力2, 饶凯锋1, 洪纲3, 马梅1,4 1 中国科学院饮用水科学与技术重点实验室(中国科学院生态环境研究中心),北京 100085 2 深圳市环境 ...
Hadoop集群—完全分布式模式(Fully-Distributed Mode)
云服务器---Hadoop集群完全分布式模式 1.配置环境 2.创建hadoop用户 3.修改主机名 4.设备之间的免密登录 4.1单机的免密登录 4.2多服务器的免密登录 5.安装jdk 6.安装H ...

hadoop 单机单间_Hadoop单机模式配置

hadoop 单机单间_Hadoop单机模式配置相关推荐

最新文章

热门文章