我是在32位的系统下配置的,所以在下载安装文件时候要注意。

第一步:下载并配置JDK

1.下载jdk,这里下载的是jdk1.7.0_65版本的,命令如下

$ wget http://download.oracle.com/otn-pub/java/jdk/7u65-b17/jdk-7u65-linux-i586.tar.gz?

2.解压下载好的文件

$ tar zxvf jdk-7u65-linux-i586.tar.gz

3.将解压完的文件复制到/opt/目录下

$ sudo cp -r jdk1.7.0_65 /opt/

4.配置jdk环境变量,打开/etc/profile,并添加如下代码

$ sudo vim /etc/profile

  在末端添加的代码:

  # set java environment   export JAVA_HOME=/opt/jdk1.7.0_65  export JRE_HOME=${JAVA_HOME}/jre  export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

5.重新执行配置文件使之立即生效

$ source /etc/profile

6.验证配置是否成功

$ java –version

  

  出现下列则成功

  java version "1.7.0_65"

  Java(TM) SE Runtime Environment (build 1.7.0_65-b10)

  Java HotSpot(TM) Server VM (build 20.10-b01, mixed mode)

第二步:安装SSH并设置无密码登录

2.1 安装openssh-server

$ sudo apt-get install openssh-server

2.2 检查是否安装好

$ ssh -version

  出现下面信息说明安装好了:

OpenSSH_5.9p1, Debian-5ubuntu1.4,OpenSSL 1.0.1 29 Mar 2012Bad escape character 'rsion'.

2.3 启动/关闭服务

$ /etc/init.d/sshd start/stop

或者

$ service sshd start/stop

2.4 配置无密码登录

参考地址:http://www.iteblog.com/archives/781

$ ssh-keygen –t dsa –P ‘’

这样就会下生成id_dsa和id_dsa.pub两个文件

将id_dsa.pub里面的内容加到用于认证的公钥文件中,命令如下(注意:不要复制,一定要用cat去操作,不信你可以去试试。):

$ cat id_dsa.pub >> authorized_keys

接着输入下列命令

$ ssh localhost

可以登录说明配置好了。

第三步:部署Hadoop(2.2.0版本)

注意,一定要在用户目录下安装配置,否则会出现各种permission denied问题。

链接地址:http://www.iteblog.com/archives/790

(32位系统的hadoop直接下载安装就可以了,64位的需要编译。

参考地址:http://blog.csdn.net/john_f_lau/article/details/17690239)

3.1 下载Hadoop并解压到根用户目录下

$ wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz
$ tar zxvf hadoop-2.2.0.tar.gz

这里我解压后放在了用户目录下的opt/目录下。

3.2 设置Hadoop环境变量

$ sudo vim /etc/profile

在/etc/profile文件的末尾加上一下设置

# set Hadoop environmentexport HADOOP_DEV_HOME=${用户目录}/opt/Hadoopexport PATH=$PATH:$HADOOP_DEV_HOME/binexport PATH=$PATH:$HADOOP_DEV_HOME/sbinexport HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME}export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}export YARN_HOME=${HADOOP_DEV_HOME}export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/Hadoop

然后运行命令让设置生效:

$ sudo source /etc/profile

验证环境变量是否配置成功

$ Hadoop versio

3.3 编辑JDK所在路径

修改Hadoop的hadoop-env.sh配置文件,设置jdk所在的路径

$ vim etc/hadoop/hadoop-env.sh

在里面找到JAVA_HOME,并将它的值设置为你电脑jdk所在的绝对路径

# The java implementation to use.export JAVA_HOME=/opt/jdk1.7.0_45

设置好后保存退出

 

3.4 配置几个必须的文件(师兄指导后的精简版)

在hadoop目录下的etc/hadoop目录下

core-site.xml

<configuration>
 <property>
   <name>fs.default.name</name>
   <value>hdfs://localhost:9000</value> 
 </property>
</configuration>

hdfs-site.xml

<configuration>
<property>
  <name>dfs.replication</name>
   <value>2</value> 
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>${用户目录}/data/Hadoop/tmp </value>
 </property>

</configuration>

mapred-site.xml

<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>localhost:9001</value> 
 </property>
</configuration>

其中的hdfs-site.xml文件中的${用户目录}/data/Hadoop/tmp必须要先建好。

上述文件中的字段解释:

fs.default.name:这是一个描述集群中NameNode结点的URI(包括协议、主机名称、端口号),集群里面的每一台机器都需要知道NameNode的地址。DataNode结点会先在NameNode上注册,这样它们的数据才可以被使用。独立的客户端程序通过这个URI跟DataNode交互,以取得文件的块列表。

dfs.replication副本集的个数。

hadoop.tmp.dirHadoop的默认临时路径,这个最好配置,如果在新增节点或者其他情况下莫名其妙的DataNode启动不了,就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录,那么就需要重新执行NameNode格式化的命令。

mapred.job.tracker连接jobtrack服务器的配置项,指定JobTracker进程运行的位置。

更多参数说明参考:http://www.aboutyun.com/thread-7800-1-1.html

转载于:https://www.cnblogs.com/kkrimen/p/Hadoop.html

ubuntu server 12.04 jdk,ssh及hadoop配置相关推荐

  1. 尝鲜Ubuntu Server 12.04 LTS

    作为一个尝试远离Windows的Linux初学者,一直都比较关注对初学者来说比较简单的Ubuntu Server. 4月中旬之后有几次都需要装DB服务器,因为希望能够使用最新版本,所以就一直在等Ubu ...

  2. 在Ubuntu Server 12.04 LTS上搭建可远程访问的Postgresql 9.1环境

    1. 搭建Ubuntu Server 12.04 LTS 参看博文:尝鲜Ubuntu Server 12.04 LTS 注:安装方式中选择了Postgresql数据库服务器安装 2. 搭建Postgr ...

  3. ubuntu server 12.04中文显示不完整

    发现有台服务器ubuntu server 12.04在远程过去时文件名的中文现实没有问题,但ls的时候时间居然乱码. 搜索了一下,应该是locale的问题,可以这样处理: 1. 编辑/var/lib/ ...

  4. ubuntu server 12.04.2 安装桌面之后没有上面的工具条

    转载自:http://forum.ubuntu.org.cn/viewtopic.php?p=3025553 作者 内容 1 楼  amymengfan 文章标题 : ubuntu server 12 ...

  5. 2012系统如何搭建pptp服务器,ubuntu server 12.04 搭建 pptp 服务器

    ubuntu server 12.04 搭建 pptp 服务器 blog 归档 运维 Linux pptp 前几天把pptp服务器搭上了, xen的vps就这点好处, 想怎么搞就怎么搞, 虽说贵了点. ...

  6. Ubuntu server 12.04 U盘安装 光盘读取错误

    今天用Ultraiso将Ubuntu server 12.04 刻入U盘中安装系统,中介提示错误从光盘中读取数据出错.上网搜了下解决方案,很多推荐用win32diskimager这款软件进行刻录.初次 ...

  7. Ubuntu Server 18.04 LTS 安装Tomcat并配置systemctl管理Tomcat服务

    本文目录 1 下载安装JDK 2 下载安装Tomcat 3 配置systemctl管理Tomcat服务 2019.11.13补充 软件环境 系统版本:Ubuntu Server 18.04.1 LTS ...

  8. Ubuntu Server 16.04 LTS上给Docker配置镜像加速器

    场景 Ubuntu Server 16.04 LTS上安装Docker(使用脚本的方式): https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/deta ...

  9. Ubuntu Server 12.04 搭建 hadoop 集群版环境——基于VirtualBox

    1 . 下载和安装Oracle VM VitualBox http://www.oracle.com/technetwork/server-storage/virtualbox/downloads/i ...

最新文章

  1. 分享一个 markdown 编辑器 - Mditor
  2. 别乱提交代码了,看下大厂 Git 提交规范是怎么做的!
  3. java创建文件和目录
  4. 为Drupal7.22添加富编辑器 on Ubuntu 12.04
  5. requests模拟登陆 验证码
  6. linux编程之pthread_create函数
  7. ICLR 2022 | 在注意力中重新思考Softmax,商汤提出cosFormer实现多项SOTA
  8. B端运营级视频服务技术平台搭建
  9. haproxy负载均衡_Haproxy+keepalived高可用集群实战
  10. JSP学习笔记(六十二):struts2中的Lambda表达式
  11. 视频教程-IT必备技能Cisco认证CCNA全集-思科认证
  12. 分享“我是如何实现财务小自由的”
  13. 909422229_Mysql创建序列
  14. 面试非重复数字的全排列
  15. windows下利用注册表regedit手动删除文件
  16. WIN10家庭版虚拟机启动蓝屏问题
  17. postgresql: the application server could not be contacted --2020-11-17
  18. nrf uart for android,nRF Toolbox for BLE
  19. 冰蝎软件的配置与应用
  20. java 内部接口 内部类_Java接口/内部类

热门文章

  1. 【图像处理】U-Net中的重叠-切片(Overlap-tile)
  2. 知识技能归档-SSL协议20210325
  3. python文件备份_基于 Python 的文件备份
  4. java resourse 报错_java.nio.file.InvalidPathException: Illegal char :
  5. 信安教程第二版-第17章网络安全应急响应技术原理与应用
  6. 计算机网络四个阶段的发展特点,计算机网络的发展分哪四个阶段,特点?
  7. JavaScript---DOM元素
  8. spring jpa.踩坑经验分享
  9. 十二、安装redis3.2
  10. Java基础(六) static五大应用场景