1.   Ubuntu环境安装和基本配置

本例程中在MAC上安装使用的虚拟机Ubuntu系统(64位,desktop);

基本配置

考虑到以后涉及到hadoop的应用便于权限的管理,特别地创建一个hadoop用户,user和group名称均为hadoop。首先创建hadoop用户组:

sudo addgroup hadoop

在刚才创建的分组中创建hadoop用户:

sudo adduser –ingroup hadoop hadoop

创建用户的时候会提示输入密码,以及全名,房间号码等信息。然后,为hadoop用户添加权限,编辑/etc/sudoers文件,注意,在ubuntu下编辑此文件时必须要使用命令(直接使用vim可能导致不能正常保存或系统崩溃):

sudo visudo –f /etc/sudoers

默认使用的时nano编辑器打开,在root下添加一行将使得hadoop用户也具有管理员权限。

创建用户完成后,安装ssh服务openssh-server,使得外部系统可以通过ssh命令直接进行操作。

java环境安装

运行hadoop要求必须要有一个java环境,这里直接通过下面的方式进行安装。

sudo apt-get install openjdk-7-jdk

安装完成后,配置环境变量JAVA_HOME,普通方式我们无法直接看到java安装的地址,这是因为java安装完成后都是通过link文件的方式放到/usr/bin/javac中,可以通过下图的手段看到java的安装地址:

设置环境变量有几种方式,本shell中直接export,只能影响当前shell窗口;本用户目录下的~/.bashrc文件,只会影响本用户;编辑/etc/profile文件则会对所有用户都起作用,这里我们使用第三种方式在文件的最后面加入以下的export语句:

保存退出后并不能起作用,必须要使用source命令手动刷新:

2.   安装和配置Hadoop

本例程中我们使用的是hadoop相对稳定的一个版本2.2.0进行配置(在服务器中下载http://mirror.bit.edu.cn/apache/hadoop/common/stable/)。

将hadoop解压到~/Public/hadoop文件夹下。

编辑文件hadoop/etc/hadoop/hadoop-env.sh文件,设置JAVA_HOME,如果前一步骤中已经设置,这部分也可以跳过。

编辑文件hadoop/etc/hadoop/core-site.xml文件:

注意,在设置hadoop.tmp.dir后,其中的/home/hadoop/Public/hadoop/tmp必须存在,需要手动去mkdir,否则后面会报错。

编辑hadoop/etc/hadoop/mapred-site.xml文件:

编辑hadoop/etc/hadoop/hdfs-site.xml文件:

3.   启动Hadoop

在配置完成之后,开始启动hadoop。

在初次运行hadoop时,需要初始化hadoop文件系统,在hadoop/bin目录下执行下面的命令:

./hdfs namenode –format

执行完成后,如果成功,会在日志看到以下的内容:

然后,在hadoop/sbin目录下运行命令:

./start-dfs.sh

若停止hadoop,依次运行如下命令:

./stop-yarn.sh
./stop-dfs.sh

但整个过程下来,我们发现还是出现错误...,这是因为hadoop编译的库使用的是32位的,而我们的Ubuntu Server使用的是64位,经过查证,需要重新进行编译……,下一章中我们将会进行hadoop环境的编译安装。

Hadoop 2.2.0 - warning: You have loaded library /home/hadoop/2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard.

转载于:https://www.cnblogs.com/mmaa/p/5789932.html

Hadoop单机环境搭建整体流程相关推荐

  1. yolov5 onnxruntime c++在linux平台上GPU推理环境搭建整体流程

    前言 最近在学习yolov5模型,然后用onnxruntime在linux平台上搭建一个GPU推理环境,运行一下,顺带记录一下环境搭建的整体过程,记录一下踩坑经历,造福后来人,也避免自己忘记了,可以回 ...

  2. hadoop单机环境搭建

    #配置Java环境变量 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home #配合Had ...

  3. 大数据测试之hadoop单机环境搭建(超级详细版)

    友情提示:本文超级长,请备好瓜子 Hadoop的运行模式

  4. SRS流媒体服务器——单机环境搭建和源码目录介绍

    SRS流媒体服务器--单机环境搭建和源码目录介绍 1. 目录 环境搭建 源码目录介绍 1. 环境搭建 srs官⽹:https://github.com/ossrs/srs 码云的源速度快:https: ...

  5. Hadoop集成环境搭建

    Hadoop集成环境搭建 一.准备工作 首先,我们需要准备好Java和Hadoop的安装包,我这里使用的包名为:jdk-8u144-linux-x64.tar.gz 和 hadoop-2.8.0.ta ...

  6. Hadoop入门(上):大数据特点、大数据前景、大数据组织结构、Hadoop组成、Hadoop版本介绍、Hadoop运行环境搭建、CentOS6安装JDK、安装Hadoop、Hadoop目录结构

    资料来源于尚硅谷 本篇文章目录 第1章·大数据概论 1.1.大数据概念. 1.2.大数据特点(4V) 1.3.大数据应用场景 1.4.大数据发展前景 1.5·大数据部门业务流程分析. 1.6·大数据部 ...

  7. HBase单机环境搭建

    HBase单机环境搭建 转自:https://songlee24.github.io/2015/07/20/hbase-standalone-mode/ 在搭建HBase单机环境之前,首先你要保证你已 ...

  8. 搭建kafaka_kafka单机环境搭建及其基本使用

    最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! ...

  9. 单机 搭建kafka集群 本地_Kafka单机环境搭建简记

    最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! ...

最新文章

  1. 快来领60 本书!涵盖 Linux、Spring Boot、Python、MongoDB、Hadoop等!免费包邮!
  2. JSP Cookie案例
  3. 使用redis实现订阅功能
  4. 简述机器指令与微指令之间的关系_计算机组成原理期末考试题-百度文库
  5. 云时代下,移动云揭秘数据库“新解”
  6. Java三种嵌入jsp的方法
  7. java 坦克大战_java课程设计之坦克大战
  8. 关于数据分析用到的统计学知识
  9. 多年前,初始架构:php+mysql下,对网站架构方面的一些认识
  10. 关于AlertDialog的小坑
  11. 打开计算机出现服务器运行失败,win7打开Windows Media Player听歌提示“服务器运行失败”怎么办...
  12. 使用 backdoor 工具注入ShellCode
  13. 微信小程序搜索wifi列表
  14. 最小二乘支持向量机(lssvm)回归预测(matlab)
  15. virsh的详细命令解析
  16. NDM - 一款免费的下载工具
  17. html中移动端遮罩层,移动端微信分享弹出遮罩层js效果_蓝戒的博客
  18. Netty 编解码器详解
  19. sklearn preprocessing 数据预处理 OneHotEncoder
  20. 魔兽美服服务器维护,心得:美服12小时纯任务练级获服务器第一90级

热门文章

  1. ISA频繁断线的原因和解决方法
  2. 企业任务管理工具“日事清”获星河互联1000万A轮融资
  3. java学习4-Maven的发布war并部署到tomcat
  4. Android Theme 主题总结
  5. ThreadPoolExecutor的应用和实现分析(中)—— 任务处理相关源码分析 线程利用(转)...
  6. linux 模拟延时和丢包
  7. Python开发规范
  8. 什么是树(Tree),数据结构中一般有哪些树?
  9. 电力行业信息安全等级保护管理办法_信息安全等级保护是什么???
  10. ios点击推送闪退_苹果应用闪退是什么原因?如何解决进行ios签名后的苹果应用闪退问题?...