【转载】Hadoop 2.7.3 和Hbase 1.2.4安装教程
转载地址:http://blog.csdn.net/napoay/article/details/54136398
目录(?)[+]
一、机器环境
- 系统:MAC OS
- Hadoop:2.7.3
- Hbase:1.2.4
- JDK: 1.8.0_112
二、配置SSH免密码登录
第一步:打开terminal,进入根目录,运行命令:
cd
第二步: 显示隐藏文件,这时还没有.ssh文件夹
ls –a
第三步:生成密钥
ssh-keygen -t rsa -P ""
第四步,进入.ssh文件夹,运行:
cat id_rsa.pub >> authorized_keys
第五步: ssh登录
ssh localhost
三、安装Hadoop 2.7.3
3.1下载Hadoop
Hadoop下载地址:http://hadoop.apache.org/releases.html
下载hadoop-2.7.3.tar.gz,大约204MB。
下载后解压缩:
sudo tar –zxvf hadoop-2.7.3.tar.gz
Hadoop有三种安装模式:单机模式、伪分布式模式、分布式模式。
3.2运行Hadoop单机模式
解压安装文件之后,就是单机模式,运行wordcount测试是否安装成功。
第一步:在hadoop-2.7.3目录下新建input文件夹。
sudo mkdir input
第二步:在input文件夹下新增2个文本文件用于测试。
echo 'hello world' > file1.txtecho 'hello hadoop' > file2.txt
第三步:运行wordcount例子
sudo ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-
mapreduce-examples-2.7.3.jar wordcount input/ output
No news is good news,没waring、没error就说明正确运行。
第四步:查看运行结果:
cat output/part-r-00000
统计结果:
hadoop 1
hello 2
world 1
3.3 Hadoop伪分布式模式
3.3.1修改hadoop-env.sh
文件位置: hadoop-2.7.3/etc/hadoop/hadoop-env.sh注释掉 HADOOP_OPTS
#export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
改为:
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="
3.3.2修改core-site.xml
文件位置: hadoop-2.7.3/etc/hadoop/core-site.xml
修改为如下配置:
<configuration><property><name>hadoop.tmp.dir</name> <value>/usr/local/Cellar/hadoop-2.7.3/hdfs/tmp</value> <description>A base for other temporary directories</description> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
其中/Users/bee/Documents/bd/hadoop-2.7.3/hdfs/tmp可以自定义. fs.default.name 保存了NameNode的位置,HDFS和MapReduce组件都需要用到它,这就是它出现在core-site.xml 文件中而不是 hdfs-site.xml文件中的原因。
3.3.3修改mapred-site.xml.template
<configuration><property><name>mapred.job.tracker</name> <value>localhost:9010</value> </property> </configuration>
变量mapred.job.tracker 保存了JobTracker的位置,因为只有MapReduce组件需要知道这个位置,所以它出现在mapred-site.xml文件中。
3.3.4修改hdfs-site.xml
变量dfs.replication指定了每个HDFS数据库的复制次数。 通常为3, 由于我们只有一台主机和一个伪分布式模式的DataNode,将此值修改为1。
<configuration><property><name>dfs.replication</name> <value>1</value> </property> </configuration>
3.4启动hadoop
3.4.1格式化hdfs
./bin/hadoop namenode -format
3.4.2启动Hadoop
运行启动命令:
./sbin/start-all.sh
查看进程:
jps
启动成功之后可以看到NodeManager、NameNode、SecondaryNameNode、ResourceManager这几个进程。
2338 NodeManager
2389 Jps
1900 NameNode
2108 SecondaryNameNode
2238 ResourceManager
访问HDFS的web端口: http://localhost:50070
四、安装Hbase 1.2.4
4.1 Hbase下载
http://hbase.apache.org/
下载后解压缩。
4.2 单机运行
查看Hbase版本:
./bin/hbase version
启动Hbase:
./bin/start-hbase.sh
进入Hbase shell:
./bin/hbase shell
4.3伪分布式运行
4.3.1 第一步:修改hbase-env.sh
文件位置: hbase-1.2.4/conf/hbase-env.sh
开启HBASE_MANAGES_ZK,改值默认是注释的,作用是:使用自带的ZooKeeper。我们为了方便,使用Hbase自带的ZooKeeper:
export HBASE_MANAGES_ZK=true
4.3.2 第二步:修改hbase-site.xml
<property><name>hbase.rootdir</name> <value>hdfs://localhost:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property>
4.3.3启动Hbase
启动之前,先启动hadoop:
./sbin/start-all.sh
再启动hbase:
./bin/start-hbase.sh
转载于:https://www.cnblogs.com/licheng/p/6833326.html
【转载】Hadoop 2.7.3 和Hbase 1.2.4安装教程相关推荐
- [转]大数据环境搭建步骤详解(Hadoop,Hive,Zookeeper,Kafka,Flume,Hbase,Spark等安装与配置)
大数据环境安装和配置(Hadoop2.7.7,Hive2.3.4,Zookeeper3.4.10,Kafka2.1.0,Flume1.8.0,Hbase2.1.1,Spark2.4.0等) 系统说明 ...
- 在Hadoop集群上,搭建HBase集群
(1)下载Hbase包,并解压:这里下载的是0.98.4版本,对应的hadoop-1.2.1集群 (2)覆盖相关的包:在这个版本里,Hbase刚好和Hadoop集群完美配合,不需要进行覆盖. 不过这里 ...
- Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
编者按:HDFS和MapReduce是Hadoop的两大核心,除此之外Hbase.Hive这两个核心工具也随着Hadoop发展变得越来越重要.本文作者张震的博文<Thinking in BigD ...
- Hadoop,Hbase伪集群安装步骤
Hbase和Hadoop和jdk版本一定要对应,不然很容易出错 Hbase和jdk版本对应关系 Java Version HBase 1.3+ HBase 2.1+ HBase 2.3+ JDK7 支 ...
- 基于Hadoop HA集群部署HBase HA集群(详细版)
文章目录 1.前言 2.ZooKeeper与Hadoop.HBase的关系 3.Hadoop与HBase的关系 4.架构资源规划 5.ZooKeeper集群设置 5.1 设置nn节点的zoo.conf ...
- hadoop +hbase+zookeeper 伪分布安装(超级无敌详细)
hadoop +hbase+zookeeper 伪分布安装(超级无敌详细) hadoop 配置 图片打不开的可以点击下方链接直接去图床查看,辣鸡CSDN 安装jdk sudo apt update// ...
- Thinking in BigData(八)大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
纯干货:Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解. 通过这一阶段的调研总结,从内部机理的角度详细分析,HDFS.MapReduce.Hbase.H ...
- Hadoop、Hbase安装教程保姆级教程
Hadoop.Hbase安装教程 准备Centos系统 设置网络 安装java环境 配置SSH免密登录 安装hadoop 修改Hadoop相关命令执行环境 修改Hadoop配置 运行和测试 Web界面 ...
- Linux中Hadoop的Hbase安装教程
学习目标: 1.学习HBase的安装流程 2.掌握HBase的工作原理 实验平台:章鱼互联网学院(https://www.ipieuvre.com/) 相关知识: HBase是一个分布式的,面向列的开 ...
最新文章
- [NC14301]K-th Number
- Django restfulframework 开发相关知识 整理
- Python函数中4种参数的使用
- 20200207_Dontla_MBTI第二步基本分析报告((ISTJ))
- 《Sibelius 脚本程序设计》连载(四十二) - 4.12 Selection
- 【OpenGL】顶点变换常用函数总结
- Symfony 框架实战教程——第一天:创建项目(转)
- springboot初始篇(一)
- ssh-keygen+ssh-copy-id无密码登录远程LINUX主机(转载)
- 微言Netty:分布式服务框架
- 宏基因组/微生物组杂志简介及2020最新影响因子
- java list去重工具_开发常用小工具类:list集合去重
- 思科SDN技术:ACI架构概述
- 自建CA并签名server证书实现https
- jQuery-放大镜
- 墙裂安利!用腾讯云AI语音合成打造自己的第一本有声书
- Python数据分析:异常值检验的两种方法 -- Z 分数 上下分位点(放入自写库,一行代码快速实现)
- [转]奇虎360黑匣子之谜:暗藏后门盗取用户隐私
- 【前端GUI】——网站设计的重要知识点总结思维导图(二)
- ffmpeg 视频抽取音频,音频分离 方法大全 你长知识了吗?
热门文章
- 关于缓存命中率的几个关键问题!
- Spring 3 MVC and XML example
- IntelliJ IDEA(2017)安装和破解
- Oracle在linux下使用小技巧
- Cocos2d-x移植WP8时间CCScrollView问题
- SharePoint 2013 配置HTTPS(SSL)
- [Head First设计模式]山西面馆中的设计模式——观察者模式
- srm32f4按键蜂鸣器_stm32 用中断实现按键点灯和蜂鸣器鸣叫(固件库版)
- haproxy负载均衡_做负载均衡Nginx、HAProxy和LVS总有一个适合你
- QEMU — VirtIO 的网络实现