配置单节点伪分布式Hadoop
先写的这一篇,很多东西没再重复写。
一.所需软件
jdk和ubuntu都是32位的。
二.安装JDK
1.建jdk文件夹
cd usr sudo mkdir javajdk
2.移动mv或者复制cp安装包
//进入桌面 cd home/hxsyl/DeskTop sudo mv /usr/javajdk
3.安装
//切换到root下 //如果忘记密码,先 sudo passwd //直接会让你输入新密码,不需要输入原来的密码 //到jdk目录下 ./jdk-6u30-linux-i586.bin //如果提示权限不足,先 chmod 777 jdk-6u30-linux-i586.bin
3.配置环境变量
sudo gedit /etc/profile
加入如下内容
# /etc/profile: system-wide .profile file for the Bourne shell (sh(1)) # and Bourne compatible shells (bash(1), ksh(1), ash(1), ...). #set java environment export JAVA_HOME=/usr/javajdk/jdk1.6.0_45 export JRE_HOME=/usr/local/java/jdk1.6.0_45/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH
注意:为了以后集群工作的方便,这里建议每台机器的java环境最好一致。一般更改/etc/profile文件后,需要重启机器才能生效。这里介绍一种不用重启使其生效的方法。
source /etc/profile
这个我没试过,我记得win下配置jdk的环境变量,不需要重启吧.......通过
//根目录下(已经知道在哪了),可以查看是否配置成功
java -version
注:java -version时出错:
The program 'java' can be found in the following packages:
* default-jre
* gcj-4.8-jre-headless
* openjdk-7-jre-headless
* gcj-4.6-jre-headless
* openjdk-6-jre-headless
Try: apt-get install <selected package>
意思是,系统可能自带有java,且现在还是使用默认自带的,未使用自行安装的jdk,所以需要更改默认的jdk才OK!
sudo update-alternatives --install /usr/bin/java java /usr/javajdk/jdk1.6.0_30/bin/java 300
sudo update-alternatives --install /usr/bin/javac javac /usr/javajdk/jdk1.6.0_30/bin/javac 300
sudo update-alternatives --config java
三.安装Hadoop
1.先把Hadoop文件搞到usr/hadoop1.2.1file下,然后进入该文件并解压。
sudo tar -zxvf hadoop-1.2.1.tar.gz
//hxsyl是此时登陆的用户
sudo chown -hR hxsyl /usr/hadoop1.2.1file
2.配置环境变量
直接洁的别人图,可以复制jdk的环境变量,然后结合这个图,修改配置下就ok。
3.设置安全外壳协议
推荐安装OpenSSH,Hadoop需要通过SSH来启动Slave列表中各台主机的守护进程,因此SSH是必需安装的。虽然我们现在搭建的是一个伪分布式的平台,但是Hadoop没有区分开集群式和伪分布式,对于伪分布式,Hadoop会采用与集群相同的处理方式,即按次序启动文件conf/slaves中记载的主机进程,只不过在伪分布式中Salve为localhost而已,所以对于伪分布式,SSH是必须的。
//配置过程(首先确保连接上网络):
//安装SSH,在命令行输入如下
sudo apt-get install openssh-server
//配置可以免密码登陆本机
//在命令行输入(注意其中的ssh前面还有一个“.”不要遗漏)
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
(解释一下上面这条命令,ssh-keygen 代表生成密钥;-t 表示指定生成的密钥类型;dsa 是dsa密钥认证的意思;-P 用于提供密语(接着后面是两个单引号,不要打错);-f 表示指定生成密钥文件)
这条命令完成后,会在当前文件夹下面的.ssh文件夹下创建id_dsa和id_dsa.pub两个文件,这是SSH的一对私钥和公钥,把id_dsa.pub(公钥)追加到授权的key中去,输入如下命令:
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
说明:一般来说,安装SSH时会自动在当前用户下创建.ssh这个隐藏文件夹,一般不会直接看到,除非安装好了以后,在命令行使用命令ls才会看到。
输入ssh localhost,显示登陆成功信息。
四.配置hadoop伪分布式
1.现在进入到安装Hadoop的文件夹,找到里面的conf文件夹,点击进去;配置hadoop环境文件hadoop-env.sh;打开文件,找到某行有”# export JAVA_HOME = ...” 字样的地方,去掉“#”,然后在等号后面填写你自己的JDK路径。
2.配置Hadoop的核心文件core-site.xml,打开文件,会发现标签<configuration></configuration>中是空的,在空的地方添加如下配置
<property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value>
</property>
<property> <name>dfs.replication</name> <value>1</value>
</property>
<property> <name>hadoop.tmp.dir</name> <value>/home/hxsyl/tmp</value>
</property>
注意:在最后一个value值中,上面是hxsyl,是因为那是我的用户名,所以你需要将那个修改为你自己的用户名。
3.配置Hadoop中MapReduce的配置文件mapred-site.xml,打开文件,会发现标签<configuration></configuration>中是空的,在空的地方添加如下配置
<property> <name>mapred.job.tracker</name> <value>localhost:9001</value>
</property>
4.配置Hadoop中hdfs-site.xml的配置文件,同样的在标签<configuration></configuration>中加入一下代码
<property>
<name>dfs.name.dir</name>
<value>/usr/hadoop1.2.1file/hadoop-1.2.1/datalog1,/usr/local/hadoop/hadoop-1.2.1/datalog2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/hadoop1.2.1file/hadoop-1.2.1/data1,/usr/local/hadoop/hadoop-1.2.1/data2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
注意:若是直接打开修改后无法保存,那么就
sudo gedit ...................
五.格式化HDFS并启动Hadoop
1.首次运行hadoop必须进行格式化Hadoop文件系统,以后运行即可跳过。打开命令行,进入安装了Hadoop的文件路径下,然后在命令行输入
bin/hadoop namenode -format
//格式化文件系统,然后启动Hadoop,在命令行里面输入
bin/start-all.sh
2.验证是否正常启动,在命令行里面输入jps,然后回车。
jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令,简单实用,非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。
关闭hadoop
bin/stop-all.sh
3.运行自带WordCount在上一篇博文中有详细说明。
参考文献:http://www.cnblogs.com/yangxiao99/p/4574889.html
配置单节点伪分布式Hadoop相关推荐
- 大数据基础系列 4:伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤及易错点分析
文章目录 前言 一.创建 Ubuntu 用户 二.安装 Java 2.1.查看本地 Java 版本 2.2.验证 Java 在本地的配置情况 三.安装 ssh 服务 3.1.安装 openssh-se ...
- 配置伪分布式hadoop集群(附常见配置问题)
配置伪分布式hadoop并运行wordcount程序 ps:本教程在虚拟机和阿里云服务器上都配置成功,建议使用虚拟机(容易成功).本实验最后将运行hadoop自带的wordcount程序用以检验配置是 ...
- 《Hadoop系列》脚本开发自动化配置伪分布式Hadoop
shell脚本配置伪分布式Hadoop 一 hadoop安装 install_hadoop.sh ## !/bin/bash## 安装jdk ./install_java.sh ##安装前的路径 IN ...
- 在单台云主机搭伪分布式hadoop环境
Hadoop是大数据的基础框架模型,处理大数据,不应只谈偏向业务环境的大数据(如超市买婴儿尿不湿同时还应该推荐啤酒的经典案例),作为解决方案经理,技术是不能缺少的,否则存在忽游的嫌疑.:) 做解决方 ...
- ZooKeeper基础知识笔记(含3节点伪分布式安装配置流程)
本笔记涉及代码:https://github.com/hackeryang/Hadoop-Exercises/tree/master/src/main/java/ZooKeeper 一.ZooKeep ...
- Ubuntu配置伪分布式hadoop时报错:localhost: mkdir: 无法创建目录/usr/local/hadoop/logs: 权限不够...
博主在Ubuntu上搭建伪分布式环境时,遇到: 启动namenode和datanode进程时,输入: ./sbin/start-dfs.sh 时: 会报错,仔细看后,错误原因是: localhost: ...
- Spark之伪分布式搭建、伪分布式Hadoop、Hive安装
2019独角兽企业重金招聘Python工程师标准>>> 怎么在本地安装Spark,这里就不再描述了. List-1 #在SPARK_HOME/conf下 >cp slaves. ...
- hadoop hive集群_基于伪分布式Hadoop搭建Hive平台详细教程
一.搭建环境的前提条件 环境:Linux系统 Hadoop-2.6.0 MySQL 5.6 apache-hive-2.3.7 这里的环境不一定需要和我一样,基本版本差不多都ok的,所需安装包和压缩包 ...
- 大数据学习笔记06:伪分布式Hadoop
文章目录 一.Hadoop生态系统 二.Hadoop安装模式 1.单机模式 2.伪分布式模式 3.完全分布式模式 三.伪分布式安装Hadoop 1.启动虚拟机tiger 2.利用SecureCRT登录 ...
最新文章
- Mysql 内部结构 / Replication | 原理
- 微服务架构 — 微服务框架
- JavaScript 实现继承的5种方式
- 4个数字,如何最快找到最小的2个数
- 如何免费去酒吧看球赛并喝扎啤
- Foxmail中配置O365邮箱和Hotmail邮箱
- latex表格横向、纵向合并问题
- 修改图书信息c语言,图书信息管理系统c语言.doc
- nginx 过滤某个url请求
- dell电脑更新win11后黑屏但有鼠标(已解决)
- CSS实现横向图片滚动播放
- 实时监控Mysql数据库变化_进行数据同步_了解Canal_---Canal工作笔记001
- nmap——端口扫描_基础命令
- 横杠转义(正则表达)
- 除了性生活就是打麻将:中国 2000 多个县城生活实录
- java判断字符串st6_是否包含st5_第 18 章 在机器指令级调试
- express 4.x API 及简单示例
- [医疗信息化][DICOM教程]DICOM标准简介
- 高低电平触发开关IC
- 三年通过注册会计师考试的经历及心得
热门文章
- IntelliJ IDEA 安装问题解决
- 周报速递丨《“十四五”国家信息化规划》出台;​快手美团两大生态互联互通
- 神策数据与 UCloud 达成战略合作,开启高效企业服务新模式
- Nginx反代Mogilefs分布式储存示例
- ArrayList实现原理
- PE经典DIY案例1:全解开方案让量产PE也能
- windows API 实现截图
- springmvc+mybatis+ajax 批量插入数据
- Android项目导出jar包的小技巧
- Yii 框架里数据库操作详解-[增加、查询、更新、删除的方法](转)