Hadoop安装过程
1、安装JDK
apt-get install openjdk-7-jdk
2、配置环境变量
vim /etc/profile
编辑:
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64(jdk安装位置)
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
让配置生效:
source /etc/profile
3、配置Hadoop
3.1 下载Hadoop:
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
3.2 放到/opt/下
root@imooc:~# mv hadoop-1.2.1.tar.gz /opt/
3.3 解压:
root@imooc:/opt# tar -zxvf hadoop-1.2.1.tar.gz
3.4 配置文件:
root@imooc:/opt# cd hadoop-1.2.1/conf/
需要修改的有四个文件:mapred-site.xml core-site.xml hdfs-site.xml hadoop-env.sh
3.4.1 vim hadoop-env.sh
修改JAVA_HOME配置(可用echo $JAVA_HOME查看JAVA_HOME位置)
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
3.4.2 vim core-site.xml
<configuration><!-- hadoop工作目录 --><property><name>hadoop.tmp.dir</name><value>/hadoop</value></property><!-- namenode所有元数据目录 --><property><name>dfs.name.dir</name><value>/hadoop/name</value></property><!-- 文件系统namenode改如何访问,其中imooc为host的name --><property><name>fs.default.dir</name><value>hdfs://imooc:9000</value></property> </configuration>
3.4.3 vim hdfs-site.xml
<configuration><!-- 文件系统数据存放目录 --><property><name>dfs.data.dir</name><value>/hadoop/data</value></property> </configuration>
3.4.4 vim mapred-site.xml
<configuration><property><!-- 配置任务调度器改如何访问,其中imooc为主机名 --><name>mapred.job.tracker</name><value>imooc:9001</value></property> </configuration>
3.5 配置hadoop环境变量
vim /etc/profile
加上 export HADOOP_HOME=/opt/hadoop-1.2.1
PATH加上$HADOOP_HOME/bin
生效 source /etc/profile
执行hadoop命令,如果有改命令则配置成功,改命令在 /opt/hadoop-1.2.1/bin/ 下。
4、启动hadoop
启动之前先对namenode进行格式化:hadoop namenode -format
启动:start-all.sh(改命令在 /opt/hadoop-1.2.1/bin/ 下),期间需要输出几次密码
执行jps,如果看到JobTracker Jps DataNode TaskTracker NameNode SecondaryNameNode说明hadoop正常运行
转载于:https://www.cnblogs.com/LinKArftc/p/4933020.html
Hadoop安装过程相关推荐
- hadoop 安装过程记录
1)首先配置好了四个linux虚拟机 root pwd:z****l*3 关闭了防火墙 开通了 sshd服务 开通了 ftp服务 配置了 jdk 1.8 配置好了互信 (之前配置的过程忘了!--检查了 ...
- hadoop安装过程命令汇总
命令汇总 网络配置: hostname 查看主机名 vi /etc/sysconfig/network 设置主机名 ifconfig ...
- Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误
25. 集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据 ...
- Hadoop安装及eclipse配置
Hadoop安装 彻底关闭防火墙 chkconfig iptables off 查看主机名 hostname 修改主机名 vim /etc/sysconfig/network 修改之后不会立即执行需要 ...
- Hadoop安装与配置问题说明
说明:本博客对Hadoop安装与配置过程中可能存在的问题做简单记录 启动Hadoop hadoop@ubuntu16:/usr/local/java/hadoop/hadoop-2.7.1$ ./sb ...
- Hadoop 安装详解--新手必备
准备: 这次学习,我使用的是虚拟机vmware,安装了3台虚拟机,系统为centos 5(其它版本亦可),主机名依次命名为hdfs1.hdfs2.hdfs3,ip地址一次为:172.16.16.1.1 ...
- Hadoop安装记录
参考网页:http://vampire1126.iteye.com/blog/891693 http://vampire1126.iteye.com/blog/891735 基本上是参照这个博客做下来 ...
- windows上hadoop安装(cygwin等)
http://cjnetwork.iteye.com/blog/1474745 hadoop运行方式 1.本机方式:不做任何配置 2.伪分布式:pseudo distributed 3.全分布式:fu ...
- Hadoop安装及配置
Hadoop的三种运行模式 单机模式(Standalone,独立或本地模式):安装简单,运行时只启动单个进程,仅调试用途: 伪分布模式(Pseudo-Distributed):在单节点上同时启动nam ...
最新文章
- 项目发布: error CS0103: 当前上下文中不存在名称“*****”
- sqlserver yml配置文件
- LinCode落单的数
- [react] 和Component两者的区别是什么
- redis介绍与使用
- 计算机会考操作题vb,2016年9月计算机二级考试《VB》上机操作题题库(2)
- 蓝桥杯 基础练习 回形取数
- VBA调用bat,doc 命令行 窗口关闭之后,VBA代码 再继续执行
- 中公电网计算机类题库讲练版百度云,2021电网二批招聘考试题库:计算机类练习题(5)...
- 黑马程序员 re模块的高级用法 学习笔记
- WordPress 速度优化的完整指南
- ShareSDK分享 和新浪登陆冲突解决方法
- UNI-APP在iOS系统中加载来源于微信公众号的文章时(html片段),某些图片显示不出来的问题解决
- xpath 爬取51job,存于excel
- 【笔记------STM32】高级定时器TIM1,CH3N输出PWM的示例
- 年后第一场面试,被阿里P8测试专家虐惨了....
- Linux从一般用户切换到root用户
- 无线电视服务器主机名,电视服务器主机名怎么填
- SLAM流程之视觉前端
- 三级网络技术应付式速成考试笔记(汇总)
热门文章
- Scala分支控制 if-else之单分支的使用
- Scala是完全面向函数式的编程语言体现点
- Intel CPU内存屏障
- jQuery easyUI--accordion折叠面板
- 【面试题】struts2的工作流程
- elasticsearch高亮显示查询结果
- 职称计算机windows 7,2017职称计算机考试Windows训练题
- html制作手机预览效果,新移动端Html5方式预览报表插件
- 线性规划总结3——单纯形法和对偶单纯形法
- float 与 double、隐式类型转换、switch、重写与重载、Java 与 C++ 的区别、JRE or JDK