Hadoop学习之路一 Single Node Setup

　　从研究生入学到现在，快一年的时间了。和很多人一样，我迷茫着，一直没想明白自己想要干什么。年轻的时候真的想和所有人不一样，直到最后选择了大数据方向，更多的也是感觉。青春的魅力在于可能性。没有过多的犹豫纠结，专心练剑才是王道。

　　刚开始学习Hadoop，用的最多的是apache的官方网站，www.apache.org。可以从主页的DownLoad里下载apache的软件，在下方的Apahce Project List里可以找到软件的详细信息，我主要用到的是Hadoop的文档。

Overview: 介绍了hadoop的主要改进。
Single Node Setup:介绍了最简单的Hadoop的使用，这种模式不使用HDFS，只访问本地文件。

单节点模式需要的软件：jdk和hadoop

版本信息：Hadoop-2.5.2；jdk1.7.0_79

安装位置：/home/hadoop/jdk1.7.0_79;

　　　　　/home/hadoop/hadoop-2.5.2

配置信息：home/hadoop/hadoop-2.5.2/etc/hadoop/hadoop-env.sh(修改之前先备份，养成习惯)

　　　　export JAVA_HOME=/home/hadoop/jdk1.7.0_79

　　　　　 export HADOOP_PREFIX=/home/hadoop/hadoop-2.5.2

到这里，单击模式的Hadoop就完成了。

Try the following command:

　　$ bin/hadoop

正常情况下，会出现Usage信息

测试：Standalone Operation

　　$ mkdir input

　　$ cp etc/hadoop/*.xml input

　　$ bin/hadoop jar share/hadoop/mapreduce//hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'

　　$ cat output/*

结果为：1 dfsadmin

可能会出现错误信息，如：无法加载主类，org.apace....Runjar

我第一次实验的时候出现这个问题，没有解决。最后之后，清理空间，重新安装才成功。

转载于:https://www.cnblogs.com/fuchao1992/p/4554717.html

Hadoop学习之路一 Single Node Setup相关推荐

3台云腾讯云开始hadoop学习之路笔记二
3台云腾讯云开始hadoop学习之路笔记二(接上) 大三党开始学习hadoop之路了,菜鸟学习hadoop,有啥错误请大佬指教.由于自己电脑配置不够,只能买3台腾讯云服务器来学习了.以下笔记都是记录我 ...
Hadoop Single Node Setup（hadoop本地模式和伪分布式模式安装-官方文档翻译 2.7.3）
Purpose(目标) This document describes how to set up and configure a single-node Hadoop installation so ...
我的hadoop学习之路
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上. Ha ...
Hadoop学习之路（九）HDFS深入理解
HDFS的优点和缺点 HDFS的优点 1.可构建在廉价机器上通过多副本提高可靠性,提供了容错和恢复机制服务器节点的宕机是常态必须理性对象 2.高容错性数据自动保存多个副本,副本丢失后,自动 ...
hadoop学习之路(5)
HadoopHA 1.zookeeper配置 zoo.cfg # The number of milliseconds of each tick tickTime=2000 # The number ...
hadoop学习之路(3)
重新系统化学习hadoop 虽然官方对centos6已经停止维护,但还是硬着头皮沿用之前的centos6,并解决了一点小疑惑. 1.修改ip地址的文件 /etc/sysconfig/network-s ...
Hadoop学习之路（二）Hadoop发展背景
Hadoop产生的背景 1. HADOOP最早起源于Nutch.Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取.索引.查询等功能,但随着抓取网页数量的增加,遇到了严重的可扩展性问题-- ...
Hadoop学习之路（三）Hadoop-2.7.5在CentOS-6.7上的编译
下载Hadoop源码 1.登录官网 2.确定你要安装的软件的版本一个选取原则: 不新不旧的稳定版本几个标准: 1)一般来说,刚刚发布的大版本都是有很多问题 2)应该选择某个大版本中的最后一个小版本 ...
Hadoop学习之路（十三）MapReduce的初识
MapReduce是什么首先让我们来重温一下 hadoop 的四大组件: HDFS:分布式存储系统 MapReduce:分布式计算系统 YARN:hadoop 的资源调度系统 Common:以上三大 ...

Hadoop学习之路一 Single Node Setup

Hadoop学习之路一 Single Node Setup相关推荐

最新文章

热门文章