2019独角兽企业重金招聘Python工程师标准>>>

摘要自:http://www.powerxing.com/install-hadoop/
wget http://mirror.bit.edu.cn/apache/hadoop/common/stable/hadoop-2.7.3.tar.gz
wget http://mirror.bit.edu.cn/apache/hadoop/common/stable/hadoop-2.7.3-src.tar.gz

如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户,那么需要增加一个名为 hadoop 的用户。 sudo useradd -m hadoop -s /bin/bash
设置密码,可简单设置为 hadoop,按提示输入两次密码:
sudo passwd hadoop
可为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题:
sudo adduser hadoop sudo

先更新一下 apt,后续我们使用 apt 安装软件
sudo apt-get update

安装SSH、配置SSH无密码登陆
集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server:
sudo apt-get install openssh-server
安装后,可以使用如下命令登陆本机
ssh localhost
输入 yes 。然后按提示输入密码 hadoop
但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。
退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥 ,并将密钥加入到授权中
exit # 退出刚才的 ssh localhost
cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa # 会有提示,都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys # 加入授权
此时再用 ssh localhost 命令,无需输入密码就可以直接登陆了

安装Java环境
sudo apt-get install openjdk-7-jre openjdk-7-jdk
安装好 OpenJDK 后,需要找到相应的安装路径,这个路径是用于配置 JAVA_HOME 环境变量的。执行如下命令:
dpkg -L openjdk-7-jdk | grep '/bin/javac'
vi ~/.bashrc
export JAVA_HOME=JDK安装路径
source ~/.bashrc # 使变量设置生效

设置好后我们来检验一下是否设置正确:
echo $JAVA_HOME     # 检验变量值
java -version
$JAVA_HOME/bin/java -version  # 与直接执行 java -version 一样

安装 Hadoop 2
Hadoop 2 可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载,一般选择下载最新的稳定版本,即下载 “stable” 下的
将 Hadoop 安装至 /usr/local/ 中:
sudo tar -zxf hadoop-2.7.3.tar.gz -C /usr/local # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.7.3/ ./hadoop # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop # 修改文件权限
Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息:
cd /usr/local/hadoop
./bin/hadoop version

hadoop@ubuntu64:/usr/local/hadoop$ ./bin/hadoop version
Hadoop 2.7.3
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r   baa91f7c6bc9cb92be5982de4719c1c8af91ccff
Compiled by root on 2016-08-18T01:41Z
Compiled with protoc 2.5.0
From source with checksum 2e4ce5f957ea4db193bce3734ff29ff4
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-2.7.3.jar

Hadoop单机配置(非分布式)
Hadoop 默认模式为非分布 式模式,无需进行其他配置即可运行。非分布式即单 Java 进程,方便进行调试。
现在我们可以执行例子来感受下 Hadoop 的运行。Hadoop 附带了丰富的例子(运行 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar 可以看到所有例子),包括 wordcount、terasort、join、grep 等。
在此我们选择运行 grep 例子,我们将 input 文件夹中的所有文件作为输入,筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数,最后输出结果到 output 文件夹中。

cd /usr/local/hadoop
mkdir ./input
cp ./etc/hadoop/*.xml ./input   # 将配置文件作为输入文件
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
cat ./output/*          # 查看运行结果
注意,Hadoop 默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将 ./output 删除。
rm -r ./output

转载于:https://my.oschina.net/kenzheng/blog/994564

Ubuntu 14.04 hadoop单机安装相关推荐

  1. 在Ubuntu 14.04 64bit上安装Markdown编辑器Remarkble

    目前Markdown已经是非常流行和高效的文档整理和书写工具语言, 我以前接触过, 但是一直没有坚持下来, 这次五一假期期间我强迫自己去熟悉它的语法格式和编辑器, 原来我在Ubuntu 14.04 6 ...

  2. 在ubuntu 14.04 64bit上安装酷我音乐盒Linux客户端kwplayer

    kwplayer 是linux桌面下的轻量级的音乐播放软件, 由LiuLang同学开发, 使用的是Python3+gtk3, 开源的(GPLv3). 它的主要特点有: • 使用了kuwo.cn(酷我音 ...

  3. Ubuntu 14.04 64bit上安装Intel官方集显更新驱动程序

    说实在的,玩Linux现在唯一不爽的就是几个地方,网银支付,显卡驱动等等,好在现在显卡的驱动有些眉目了,Intel,NviDIA,ATI等显卡厂商开始逐渐重视Linux用户的需求了,Nvidia已经开 ...

  4. Ubuntu 14.04 python3.6 安装

    参考 how-do-i-install-python-3-6-using-apt-get Ubuntu 14.04 python3.6 安装 sudo add-apt-repository ppa:j ...

  5. 酷我音乐for linux,在ubuntu 14.04 64bit上安装酷我音乐盒Linux客户端kwplayer

    kwplayer是linux桌面下的轻量级的音乐播放软件, 由LiuLang同学开发, 使用的是Python3+gtk3, 开源的(GPLv3). 它的主要特点有: 使用了kuwo.cn(酷我音乐盒) ...

  6. 红帽 linux 安装gns3,Ubuntu 14.04 LTS 64-bit安装GNS3 1.3.7

    在Ubuntu 14.04 LTS 64-bit安装GNS3 1.3.7过程,全英文. Updated for GNS3 version 1.3.7 Please NOTE: This documen ...

  7. 在ubuntu 14.04 64bit上安装酷我音乐盒Linux客户端

    kwplayer是linux桌面下的轻量级的音乐播放软件, 由LiuLang同学开发, 使用的是Python3+gtk3, 开源的(GPLv3). 它的主要特点有: 使用了kuwo.cn(酷我音乐盒) ...

  8. 在Ubuntu 14.04 64bit上安装lua5.2

    缘起 近来Nginx+Lua的开发日渐盛行,也激发了我学习lua的兴趣,下面是在Ubuntu 14.04上lua环境的搭建笔记.对cdn厂商来说,流行的思路是, 前端nginx专注业务(使用lua轻量 ...

  9. 在Ubuntu 14.04 64bit上安装Markdown和绘图软件Haroopad

    简介 Haroopad:一款让你欲罢不能的Markdown编辑器 身为大程序员,我本来是不需要 Markdown 编辑器的,但是 Haroopad 让我简直欲罢不能,不能再爱更多.跨平台,代码高亮,V ...

最新文章

  1. 7能看出圆的周长吗_分手后真的能看出一个人的人品吗
  2. mysql 工具图形学_[计算机图形学]贝塞尔曲线
  3. Oracle数据库查看表空间sql语句、查看Oracle数据库表空间剩余 、修改表空间、库备份
  4. Meditation Guide
  5. [Linux]配置网络
  6. linux——文件权限的更改与管理
  7. scala运行的方式
  8. Java黑皮书课后题第7章:*7.11(统计:计算标准差)编程练习题5.45计算数字的标准差。本题…计算标准差,使用一个数组存储x的每个数。编写测试程序,提示用户输入10个数字,显示平均值和标准差
  9. mac怎么合并两个容器_Mac怎么合并文件夹?macz不容错过的苹果mac教程分享
  10. 《CCIE路由和交换认证考试指南(第5版) (第2卷)》——1.6节理解与记忆
  11. 【硬件】推荐软件『软硬件的基准测试工具』
  12. python word处理_Python 处理word期间遇到的问题
  13. 数字逻辑电路课程设计报告
  14. 推荐四款实用的局域网文件夹同步工具
  15. CAS单点登录【1】-理论(cas架构、https、SSL、TLS、非对称加密、证书、CA、握手)、OpenSSL、cas(认证、指定加密策略)
  16. stm32 iap升级
  17. BOOTROM的理解
  18. Real-time signal
  19. UE4智慧城市开发流程梳理
  20. 广东大专计算机行业什么学校好,2021广东大专学校排名榜 哪个学校好

热门文章

  1. java字符串反转方法【全】
  2. Windows XP Ghost系统安装
  3. 电脑卡得厉害,得采取一些措施了
  4. 《大话数据结构》第9章 排序 9.7 堆排序(上)
  5. OpenCV中SurfDescriptorExtractor
  6. java版spring cloud+spring boot+redis多租户社交电子商务平台(十二)断路器监控(Hystrix Dashboard)...
  7. 进程间通信——POSIX 有名信号量与无名信号量
  8. windows installer无法启动
  9. 刷固件Layer1到手机FLASH(硬刷)
  10. 《CCNP SWITCH 300-115认证考试指南》——第1章 企业园区网络的设计