Hadoop单机环境搭建整体流程
1. Ubuntu环境安装和基本配置
本例程中在MAC上安装使用的虚拟机Ubuntu系统(64位,desktop);
基本配置
考虑到以后涉及到hadoop的应用便于权限的管理,特别地创建一个hadoop用户,user和group名称均为hadoop。首先创建hadoop用户组:
sudo addgroup hadoop
在刚才创建的分组中创建hadoop用户:
sudo adduser –ingroup hadoop hadoop
创建用户的时候会提示输入密码,以及全名,房间号码等信息。然后,为hadoop用户添加权限,编辑/etc/sudoers文件,注意,在ubuntu下编辑此文件时必须要使用命令(直接使用vim可能导致不能正常保存或系统崩溃):
sudo visudo –f /etc/sudoers
默认使用的时nano编辑器打开,在root下添加一行将使得hadoop用户也具有管理员权限。
创建用户完成后,安装ssh服务openssh-server,使得外部系统可以通过ssh命令直接进行操作。
java环境安装
运行hadoop要求必须要有一个java环境,这里直接通过下面的方式进行安装。
sudo apt-get install openjdk-7-jdk
安装完成后,配置环境变量JAVA_HOME,普通方式我们无法直接看到java安装的地址,这是因为java安装完成后都是通过link文件的方式放到/usr/bin/javac中,可以通过下图的手段看到java的安装地址:
设置环境变量有几种方式,本shell中直接export,只能影响当前shell窗口;本用户目录下的~/.bashrc文件,只会影响本用户;编辑/etc/profile文件则会对所有用户都起作用,这里我们使用第三种方式在文件的最后面加入以下的export语句:
保存退出后并不能起作用,必须要使用source命令手动刷新:
2. 安装和配置Hadoop
本例程中我们使用的是hadoop相对稳定的一个版本2.2.0进行配置(在服务器中下载http://mirror.bit.edu.cn/apache/hadoop/common/stable/)。
将hadoop解压到~/Public/hadoop文件夹下。
编辑文件hadoop/etc/hadoop/hadoop-env.sh文件,设置JAVA_HOME,如果前一步骤中已经设置,这部分也可以跳过。
编辑文件hadoop/etc/hadoop/core-site.xml文件:
注意,在设置hadoop.tmp.dir后,其中的/home/hadoop/Public/hadoop/tmp必须存在,需要手动去mkdir,否则后面会报错。
编辑hadoop/etc/hadoop/mapred-site.xml文件:
编辑hadoop/etc/hadoop/hdfs-site.xml文件:
3. 启动Hadoop
在配置完成之后,开始启动hadoop。
在初次运行hadoop时,需要初始化hadoop文件系统,在hadoop/bin目录下执行下面的命令:
./hdfs namenode –format
执行完成后,如果成功,会在日志看到以下的内容:
然后,在hadoop/sbin目录下运行命令:
./start-dfs.sh
若停止hadoop,依次运行如下命令:
./stop-yarn.sh
./stop-dfs.sh
但整个过程下来,我们发现还是出现错误...,这是因为hadoop编译的库使用的是32位的,而我们的Ubuntu Server使用的是64位,经过查证,需要重新进行编译……,下一章中我们将会进行hadoop环境的编译安装。
Hadoop 2.2.0 - warning: You have loaded library /home/hadoop/2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard.
转载于:https://www.cnblogs.com/mmaa/p/5789932.html
Hadoop单机环境搭建整体流程相关推荐
- yolov5 onnxruntime c++在linux平台上GPU推理环境搭建整体流程
前言 最近在学习yolov5模型,然后用onnxruntime在linux平台上搭建一个GPU推理环境,运行一下,顺带记录一下环境搭建的整体过程,记录一下踩坑经历,造福后来人,也避免自己忘记了,可以回 ...
- hadoop单机环境搭建
#配置Java环境变量 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home #配合Had ...
- 大数据测试之hadoop单机环境搭建(超级详细版)
友情提示:本文超级长,请备好瓜子 Hadoop的运行模式
- SRS流媒体服务器——单机环境搭建和源码目录介绍
SRS流媒体服务器--单机环境搭建和源码目录介绍 1. 目录 环境搭建 源码目录介绍 1. 环境搭建 srs官⽹:https://github.com/ossrs/srs 码云的源速度快:https: ...
- Hadoop集成环境搭建
Hadoop集成环境搭建 一.准备工作 首先,我们需要准备好Java和Hadoop的安装包,我这里使用的包名为:jdk-8u144-linux-x64.tar.gz 和 hadoop-2.8.0.ta ...
- Hadoop入门(上):大数据特点、大数据前景、大数据组织结构、Hadoop组成、Hadoop版本介绍、Hadoop运行环境搭建、CentOS6安装JDK、安装Hadoop、Hadoop目录结构
资料来源于尚硅谷 本篇文章目录 第1章·大数据概论 1.1.大数据概念. 1.2.大数据特点(4V) 1.3.大数据应用场景 1.4.大数据发展前景 1.5·大数据部门业务流程分析. 1.6·大数据部 ...
- HBase单机环境搭建
HBase单机环境搭建 转自:https://songlee24.github.io/2015/07/20/hbase-standalone-mode/ 在搭建HBase单机环境之前,首先你要保证你已 ...
- 搭建kafaka_kafka单机环境搭建及其基本使用
最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! ...
- 单机 搭建kafka集群 本地_Kafka单机环境搭建简记
最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! ...
最新文章
- 快来领60 本书!涵盖 Linux、Spring Boot、Python、MongoDB、Hadoop等!免费包邮!
- JSP Cookie案例
- 使用redis实现订阅功能
- 简述机器指令与微指令之间的关系_计算机组成原理期末考试题-百度文库
- 云时代下,移动云揭秘数据库“新解”
- Java三种嵌入jsp的方法
- java 坦克大战_java课程设计之坦克大战
- 关于数据分析用到的统计学知识
- 多年前,初始架构:php+mysql下,对网站架构方面的一些认识
- 关于AlertDialog的小坑
- 打开计算机出现服务器运行失败,win7打开Windows Media Player听歌提示“服务器运行失败”怎么办...
- 使用 backdoor 工具注入ShellCode
- 微信小程序搜索wifi列表
- 最小二乘支持向量机(lssvm)回归预测(matlab)
- virsh的详细命令解析
- NDM - 一款免费的下载工具
- html中移动端遮罩层,移动端微信分享弹出遮罩层js效果_蓝戒的博客
- Netty 编解码器详解
- sklearn preprocessing 数据预处理 OneHotEncoder
- 魔兽美服服务器维护,心得:美服12小时纯任务练级获服务器第一90级
热门文章
- ISA频繁断线的原因和解决方法
- 企业任务管理工具“日事清”获星河互联1000万A轮融资
- java学习4-Maven的发布war并部署到tomcat
- Android Theme 主题总结
- ThreadPoolExecutor的应用和实现分析(中)—— 任务处理相关源码分析 线程利用(转)...
- linux 模拟延时和丢包
- Python开发规范
- 什么是树(Tree),数据结构中一般有哪些树?
- 电力行业信息安全等级保护管理办法_信息安全等级保护是什么???
- ios点击推送闪退_苹果应用闪退是什么原因?如何解决进行ios签名后的苹果应用闪退问题?...