CentOS 7伪分布式方式安装Hadoop-2.6.0-cdh5.6.0并且通过主机浏览器访问hadoop工作台
安装准备
jdk-8u151-linux-x64.tar.gz
hadoop-2.6.0-cdh5.6.0.tar.gz
安装JDK
1.将jdk-8u151-linux.x64.tar.gz移动到/opt文件夹下,执行
tar -xzvf jdk-8u151-linux-x64.tar.gz
2.配置环境变量,对/etc/profile追加:
export JAVA_HOME=/opt/jdk1.8.0_151
export PATH=$PATH:JAVA_HOME/bin
执行source /etc/profile使之生效
3.更改java版本,将原链接在系统自带的openjdk上的java和javac链接到新安装的java和javac上:
a.执行 which java 和which javac查看链接文件的位置,然后将其删除(rm -rf)
b.执行以下命令
ln -s $JAVA_HOME/bin/javac /usr/bin/javac
ln -s $JAVA_HOME/bin/javac /usr/bin/java
c.验证,执行
java -version
看到java的版本是 java1.8.0_151
安装配置Hadoop
1.将hadoop-2.6.0-cdh5.6.0.tar.gz移动到/opt下,执行
tar -zxvf hadoop-2.6.0-cdh5.6.0.tar.gz
2.进入hadoop-2.6.0-cdh5.6.0/etc/hadoop下,配置hadoop:
# gedit core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
# gedit hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
(注解:dfs.replication指定HDFS文件的备份方式默认3,由于是伪分布式,因此需要修改为1。)
# gedit mapred-site.xml.template
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.app.mapreduce.am.staging-dir</name>
<value>/data/hadoop/staging</value>
</property>
</configuration>
(注解:mapreduce.framework.name配置mapreduce框架。)
#gedit yarn-site.xml
<configuration>
<!-- Site specific YARN configurationproperties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Hadoop</value>
</property>
</configuration>
(注解:配置YARN信息)
3.配置hadoop环境变量,在/etc/profile文件下追加:
export HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.6.0
export PATH=$PATH:$HADOOP_HOME/bin
执行 source /etc/profile 使之生效
4. 格式化hdfs,执行
hdfs namenode -format
5.进入/opt/hadoop-2.6.0-cdh5.6.0/etc/hadoop下,执行:
vi hadoop-env.sh
在其中再显示地重新声明一遍JAVA_HOME,添加:
export JAVA_HOME=/opt/jdk1.8.0_151
启动Hadoop并且验证安装
1.进入目录/opt/hadoop-2.6.0-cdh5.6.0/sbin下,执行:
./start-all.sh
【可能会多次输入密码】
之后如果执行jps显示:
NameNode 进程号
DataNode 进程号
ResourceManager 进程号
NodeManager 进程号
SecondaryNameNode 进程号
打开浏览器,输入:
http://localhost:50070/
如果能够查看信息说明Hadoop安装成功了
2.验证,运行WordCount实例
创建测试两侧文件file1.txt,file2.txt
$ vi file1.txt
welcome to hadoop
hello world!
$ vi file2.txt
hadoop hello
在HDFS上创建输入input输入目录:
$ hdfs dfs -mkdir /input
将file1.txt与file2.txt文件上传到HDFS的input目录
$ hdfs dfs -put file1.txt /input
$ hdfs dfs -put file2.txt /input
查看刚才上传的两个文件
$ hdfs dfs -ls /input
14/10/25 14:43:43 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 2 items
-rw-r--r-- 1 hadoop supergroup 31 2014-10-25 14:43 /input/file1.txt
-rw-r--r-- 1 hadoop supergroup 13 2014-10-25 14:43 /input/file2.txt
执行hadoop自带的WordCount程序,统计单词数
进入/opt/hadoop-2.6.0-cdh5.6.0/share/hadoop/mapreduce执行命令:
$ hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /input /output
执行没报错,查看运行结果:
$ hdfs dfs -ls /output/part-r-00000
14/10/25 14:54:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
ls: `/outputpart-r-00000': No such file or directory
$ hdfs dfs -cat /output/part-r-00000
14/10/25 14:54:30 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
hadoop 2
hello 2
to 1
welcome 1
world! 1
统计结果正确!
centos7伪分布式方式安装Hadoop成功!
CentOS 7伪分布式方式安装Hadoop-2.6.0-cdh5.6.0并且通过主机浏览器访问hadoop工作台相关推荐
- Hadoop伪分布式简明安装操作说明
Hadoop伪分布式简明安装操作说明 1)cd /usr/local/ 切换到安装目录 2)mv hadoop-2.6.0-cdh5.7.0/ hadoop-2.6.0-cdh5.7.0.bak ...
- Spark的三种伪分布式方式
伪分布式一: 只有一台机子,搞伪分布式,很简单, IP分别来自127.0.0.1和局域网ip,这样一台机子就变成两台,spark认为一个IP就是一台机子 伪分布式二: 两台机子,虽然看起来是集群,其实 ...
- 如何通过浏览器访问Hadoop文件系统
如何通过浏览器访问Hadoop文件系统 打开浏览器,再浏览器网址处输入:(谷歌浏览器吧,IE好像不行) 192.168.x.xxx:50070 进入 前面为自己的虚拟机IP地址,例如我的虚拟机IP地址 ...
- hadoop的安装与配置(伪分布式模式安装)
最近偶然在研究hadoop看完网络上的配置文章居然在linux下安装成功的hadoop就把别人的文章进行说明一下,提供给需要的读者. hadoop 的安装分为本地模式.伪分布模式.集群模式.本地模式是 ...
- Hadoop 单机版和伪分布式版安装
1 依赖项 java ssh $ java -version java version "1.8.0_181" Java(TM) SE Runtime Environment (b ...
- hadoop 2.6 伪分布式的安装
我们选择安装的版本为: hadoop-2.6.0-cdh5.4.0.tar.gz. 一.下载.解压 二.修改配置文件 配置文件在 hadoop-2.6.0-cdh5.4.0/etc/hadoop/ 路 ...
- Hadoop Single Node Setup(hadoop本地模式和伪分布式模式安装-官方文档翻译 2.7.3)
Purpose(目标) This document describes how to set up and configure a single-node Hadoop installation so ...
- 伪分布式kafka安装与验证
基本信息 安装环境:Centos7 # java -version openjdk version "1.8.0_102" OpenJDK Runtime Environment ...
- CentOS 7以yum方式安装zabbix3.2及配置文件详解
一.zabbix简介与环境准备 简介详见 ---> zabbix简介 环境准备: CentOS 7(node7):zabbix-server,web,mysql,agent mariadb:5. ...
- centos7 docker安装_教你如何在 CentOS 7 下 yum 方式安装 Docker 环境
记录在CentOS 7下使用yum方式安装Docker环境的步骤. 1.移除旧版本: yum remove docker \ docker-client \ ...
最新文章
- JS打字效果的动态菜单代码分享
- log4j 超完美配置文件!
- 判断二进制数1的个数
- Flex 常见问题解答(from MM)
- WebApi个人理解概要
- linux多线程编程——同步与互斥
- c和java内存泄漏区别_内存溢出和内存泄漏的区别(转)
- 两台windows笔记本创建家庭组实现文件共享
- [Tarjan四连] TarjanLCA
- Gamma矫正,先有鸡还是先有蛋的故事
- 笔记本(无线网卡)配置虚拟机上网
- java手机游戏主角技能上剑魂,DNF高手来回答
- (高小德用车)高仿滴滴/快的应用源码
- DS1308 Datasheet
- AI应用第一课:C语言支付宝刷脸登录
- 实时换脸技术——直播,视频通话|脸部交换程序
- 如何把一个数字x最右侧那个1拿出来,变成00...10..的格式
- leaflet图标样式
- 不安分的管家——Jenkins
- 物联网趣谈-我接触的第一个设备
热门文章
- 【搜索】P1032 字串变换
- 一道综合练习题实践list及dictionary集合类
- The host '192.168.174.130' is unreachable. the host may be down..............
- ArrayList源码详解篇
- AngularJS的ng-click阻止冒泡
- 经典排序算法(十六)--珠排序Bead Sort
- Python+Appium+夜神模拟器安装与简单运行(2/2)
- 文件大小图形化软件 SpaceSniffer(转载)
- java 传递intent_intent传递参数
- button执行onclick函数_【JavaScript】函数