Hadoop单机模式安装入门(Ubuntu系统)
闲来无事,突然看到关于Hadoop集群。以前也了解过,网上找过一些关于百度,谷歌等底层hadoop集群的文档,可是面对很多陌生的技术,看不太通透。所有想自己动手虚拟机试试。经常听到这么高大上的名词,Hadoop已经成为大数据的代名词。短短几年间,Hadoop从一种边缘技术成为事实上的标准。而另一方面,MapReduce在谷歌已不再显赫。当企业瞩目MapReduce的时候,谷歌好像早已进入到了下一个时代。
Hadoop支持三种启动集群模式,分别是单机模式,wei分布式模式,安全分布式模式。下面我做的测试是单机模式。
我用的是阿里云ECS主机免费试用版,,,,,,
uname -a
Linux iZ25wbw8q4uZ 3.13.0-32-generic #57-Ubuntu SMP Tue Jul 15 03:51:08 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
1,创建hadoop户和群组
回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可。
如果不输入密码,回车后会重新提示输入密码,即密码不能为空。
最后确认信息是否正确,如果没问题,输入 Y,回车即可。
修改hadoop为root权限
vim /etc/sudoers
修改添加hadoop ALL=(ALL:ALL) ALL
2,安装ssh支持服务,实现免密登录
查询ssh包支持,并创建ssh免密登录服务器
用到的命令:su hadoop //切换用户
dpkg -l | grep openssh-server //查询ssh支持包
service ssh start //启动ssh远程连接服务
ssh-keygen -t rsa //生成ssh私/公钥密码文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys //拷贝公钥认证文件
ssh localhost //本机ssh登录测试
3,安装JAVA环境
http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载jdk
java -version命令出现如下是因为没有正确设置环境变量
tar zxvf jdk-8u51-linux-x64.tar.gz
mv jdk1.8.0_51/ /usr/local/src/jdk1.8
修改环境变量,
vim ~/.bashrc
4,安装Hadoop2.7.1
http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz
tar zxvf hadoop-2.7.1.tar.gz
mv hadoop-2.7.1 /usr/local/hadoop
chown -R hadoop.hadoop hadoop
chmod 774 /usr/local/hadoop/
hadoop@iZ25wbw8q4uZ:/usr/local/hadoop$ vim ~/.bashrc //修改hadoop用户环境变量,最下面添加
#HADOOP VARIABLES START
export JAVA_HOME=/usr/local/src/jdk1.8/
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
hadoop@iZ25wbw8q4uZ:/usr/local/hadoop$ vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh //修改handoop认证环境变量,最下面添加一行
5,WordCount测试
单机模式安装完成,下面通过执行hadoop自带实例WordCount验证是否安装成功
/usr/local/hadoop路径下创建input文件夹
mkdir input
cp README.txt input //拷贝README.txt到input
执行WordCount
hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount input output
执行 cat output/*,查看字符统计结果
到此,hadoop单机模式已经完成。
转载于:https://blog.51cto.com/wanderboy/1685022
Hadoop单机模式安装入门(Ubuntu系统)相关推荐
- 【云计算平台】Hadoop单机模式环境搭建
Centos7环境 – Hadoop单机模式部署 正文开始@Assassin 目录: Centos7环境 -- Hadoop单机模式部署 1. Hadoop介绍: 2. Hadoop发展史及生态圈: ...
- Hadoop单机模式和伪分布式搭建教程CentOS
版权声明:本文为博主原创文章,欢迎转载,请注明地址. 目录(?)[-] 准备工作 1 软件准备 2 创建hadoop用户 3 配置SSH无密码访问 4 安装JAVA环境 单机模式安装 伪分布式安装 首 ...
- ubuntu 分区_系统小技巧:迁移通过Wubi方式安装的Ubuntu系统
当通过Wubi安装了Ubuntu系统的电脑需要升级更换硬盘,或者同一台Windows电脑希望同时安装32位和64位的Ubuntu时,直接迁移Ubuntu无疑是比较好的方法,它既不用重装系统也不用一个个 ...
- 安装完ubuntu系统后的优化
下面给出一些安装完ubuntu系统后,为了更好的使用需要做的一些事: 1.卸载掉系统自带的不好用或者基本不用的软件 卸载掉Amazon软件 sudo apt-get remove unity-weba ...
- uefi安装win10原版镜像|uefi gpt模式安装win10官方系统教程
原文摘自:http://www.xitongcheng.com/jiaocheng/xtazjc_article_34109.html uefi安装win10原版镜像|uefi gpt模式安装win1 ...
- ubuntu linux显卡驱动安装教程,Ubuntu系统怎么安装英伟达显卡驱动呢 快速安装步骤详解...
Ubuntu系统怎么安装英伟达显卡驱动呢?Ubuntu系统的电脑,显卡驱动都是默认的开源,并非官方驱动 在性能和功能方面,与官方驱动还是有差别的 下面介绍利用Ubuntu的驱动程序安装显卡官方驱动.需 ...
- UEFI模式安装win10+Ubuntu双系统
本人的电脑是Lenovo Miix510,近期因学习Linux需要安装Ubuntu.因为电脑配置不高,在虚拟机上安装之后运行有点卡,用得不爽,所以想着直接来个双系统.在网络上找了好多教程,发现很多都是 ...
- [喵咪大数据]Hadoop单机模式
千里之行始于足下,学习大数据我们首先就要先接触Hadoop,上节介绍到Hadoop分为Hadoop-HDFS,Hadoop-YARN,Hadoop-Mapreduce组成,分别负责分布式文件存储,任务 ...
- CentOS下Hive2.0.0单机模式安装详解
本文环境如下: 操作系统:CentOS 6 32位 Hive版本:2.0.0 JDK版本:1.8.0_77 32位 Hadoop版本:2.6.4 1. 所需要的环境 Hive 2.0需要以下运行环境: ...
最新文章
- 用 Hystrix 构建高可用服务架构
- Ubuntu14.04安装NVIDIA驱动后之后无法进入图形界面
- 2021-01-10 Halcon初学者知识 【10】形状匹配 【二】模板的形状匹配
- Algorithm:【Algorithm算法进阶之路】之十大经典排序算法
- Salesforce 数据备份和恢复小知识
- php+mockjs,mockjs的常用方法分享
- Shell脚本编程30分钟入门
- 【英语学习】【WOTD】 putsch 释义/词源/示例
- webpack3.0 压缩css 但是不在html中引用,webpack怎样压缩css?
- 引领架构创新之路第八届系统架构师大会撼世来袭
- HDU2021 发工资咯:)【整数计算】
- MySQL数据库默认的端口号是_数据库的默认端口号
- Django:ORM单表操作和多表操作、锁和事务
- 爬虫实战——QQ空间自动点赞!这个脚本值三千五你信吗?
- 服务器word文档会是只读的,WORD文档一保存就提示只读是什么原因
- quoted string not properly terminated错误提示
- 123457123457#0#-----com.cym.shuXueWangGuo1--前拼后广--儿童数学
- 淘宝Tmall,1688,拼多多API商品详情接口
- 18.1.25 2.3分支+3循环
- ios view 切上部分圆角_iOS - 指定UIView的某几个角为圆角
热门文章
- 计算机考研择校真的要选大城市吗,2020考研,择校前要考虑的6大问题
- 今天吃什么网站源码火遍朋友圈
- PHP ICO/STO Token销售管理面板/ICO管理程序开心版
- VideoJS - HTML5免费视频播放器源码 支持多格式
- 使用一个程序同时启动多个程序(c#)
- 提高WordPress访问速度与性能的技巧总结
- 经验总结[系统方面]
- 详细介绍Linux shell脚本系列基础学习(列表)
- Moodle: 获取老师的课程 Get Faculty Course Profiles
- CakePHP 2.x十分钟博客教程