实验步骤

实现步骤

先看注意点和参考。

安装Linux系统
安装Hadoop
安装hbase
安装zookeeper
启动集群

安装Linux系统

有如下几种方式

安装虚拟机
安装双系统
使用服务器
docker容器

这里介绍一下虚拟机方式

预先下载vware软件

Ubuntu20.04镜像文件,

文件->新建虚拟机->自定义->下一步
选择Linux 和Ubuntu,选择好要安装的位置,配置自己设置,然后一直下一步如下,点击自定义硬件

选择刚刚下载的映像文件

按照提示界面自主安装

下载一些必要的软件

vim或者其他编辑器软件
```
sudo apt install vim
```
apt换源

安装jdk

sudo apt install update
sudo apt install openjdk-8-jdk -y

ssh

su hadoop
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 640 ~/.ssh/authorized_keys
ssh localhost

安装Hadoop

Hadoop有三种安装方式

单机:下载就可以用了,用于测试mp等等…
伪分布:用一台机器模拟集群
分布式:顾名思义

下载Hadoop

wget https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz #解压
tar -zxf hadoop-3.2.2.tar.gz -C /usr/local/#重命名
mv /usr/local/hadoop-3.2.2/ /usr/local/hadoop
# 添加权限,
chown -R 777 /usr/local/hadoop/

下载后会得到一个压缩文件

配置伪分布

配置路径

vim ~/.bashrc
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin# 退出后保存
#生效
source ~/.bashrc

修改配置信息

cd /usr/local/hadoop/etc/hadoop
vim core-site.xml
vim hdfs.xml

<configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value></property><property><name>fs.defaultFS></name><value>hdfs://localhost:9000</value></property>
</configuration>
<!--hdfs.xml -->
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property>
</configuration>

启动Hadoop

格式namenode 会生成一些基本的信息

cd /usr/local/hadoop/bin
hdfs namenode -format

启动Hadoop
```
cd /usr/local/hadoop/sbin
./start-dfs.sh
```
启动成功后应该看到如下的图

hbase安装

下载解压hbase

wget https://mirrors.cnnic.cn/apache/hbase/2.3.6/hbase-2.3.6-bin.tar.gz
tar -zxf hbase-2.3.6-bin.tar.gz -C /usr/local
mv /usr/local/hbase-2.3.6/ hbase

配置hbase

#在bashrc中添加bin的路径，也可以不加
export path=....<:/usr/local/hbase/bin># 修改权限,为了简单起见
chmod -R 777 /usr/local/hbase

配置hbase-env.sh.

cd /usr/local/hbase/conf
vim hbase-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HBASE_CLASSPATH=/usr/local/hbase/conf
export HBASE_MANAGES_ZK=false #这里和书上不同设置为false我们自己下载zookeeper进行守护

配置hbase-site.xml

  <property><name>hbase.cluster.distributed</name><value>true</value> //这里设置分布</property><property><name>hbase.tmp.dir</name><value>./tmp</value></property><property><name>hbase.unsafe.stream.capability.enforce</name><value>false</value></property><property><name>hbase.rootdir</name><value>hdfs://localhost:9000/hbase</value></property>

##　下载zookeeper

wget https://mirrors.cnnic.cn/apache/zookeeper/stable/apache-zookeeper-3.6.3-bin.tar.gztar -zxf apache-zookeeper-3.6.3-bin.tar.gz -C /usr/localmv /usr/local/apache-zookeeper-3.6.3-bin.tar.gz/ /usr/local/zookeeper

配置zookeeper

cp zoo_sample.cfg zoo.cfgtickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper
clientPort=2181#默认端口,如果有冲突可以改,但是hbase也得修改cd zookeeper/bin #目录下
./zkServer.sh start

全部启动后如下所示

注意点

上述描述了大致的操作过程，可以参考书也可以参考这篇文章，没有全部描述过程但是殊途同归，在安装的时候或多或少会出现一些错误需要注意

善于使用log查看错误

cat ../logs/hadoop-hadoop-namenode-VM-4-6-ubuntu.log

善于使用搜索引擎 Google=bing > 百度 有助于提高效率，同时，StackOverflow>csdn
需要虚拟机配置分配的稍微大一点，我的虚拟机配置内存6G，处理器2核。我在腾讯的1核内存2G的轻量服务器上配置，启动就几乎占满了空间。

参考

书本
Hadoop安装Ubuntu20.04
Hadoop+hbase+zookeeper伪分布安装（这篇文章是我之前写的，或许会有点出入）

1核内存2G的轻量服务器上配置，启动就几乎占满了空间。

[外链图片转存中…(img-PyZigcID-1634369802047)]

参考

书本
Hadoop安装Ubuntu20.04
Hadoop+hbase+zookeeper伪分布安装（这篇文章是我之前写的，或许会有点出入）

hadoop+hbase安装相关推荐

Hadoop Hbase安装配置
数据库描述 Mysql sql,事务处理,增删改查, HIVE sql,数据仓库,存储和查询一般不修改,容量大(hdfs),计算能力强(mr) Hbase nosql,事务处理,增删改查 Hbase ...
Hbase安装~Hbase安装过程中常见的问题
HBase的运行依赖于Zookeeper,Hadoop HBase安装 1.解压文件 tar -zxvf hbase-1.3.1-bin.tar.gz 2.配置文件 1)hbase-env.sh 修改 ...
hbase安装，以及安装前置hadoop(单节点)
1.hadoop下载 https://archive.apache.org/dist/hadoop/common/ 这里我下载的是: hadoop-2.7.4.tar.gz 1-1首先做ssh免密码登 ...
hbase安装配置（整合到hadoop）
如果想详细了解hbase的安装:http://abloz.com/hbase/book.html 和官网http://hbase.apache.org/ 1. 快速单击安装在单机安装Hbase的方 ...
hadoop hbase java_Hadoop、Hbase伪分布式安装
环境本文介绍Hadoop.Hbase的伪分布式安装. 操作系统: Centos7 Hadoop: 2.7.3 Hbase: 1.2.3 Hadoop安装 JAVA_HOME环境变量配置由于Hbas ...
hadoop+HBase+ZooKeeper+Hive完全分布式集群部署安装
本文源自:https://www.cnblogs.com/linxizhifeng/p/7207655.html 1. 系统环境 1.1. 软件版本下表为本系统环境所安装的软件的版 ...
Zookeeper+Hadoop+Hbase完全分布搭建数据仓库安装部署说明
Zookeeper+Hadoop+Hbase 完全分布搭建数据仓库安装部署说明 ------------一个专注学习技术的不正经程序猿,像一颗海草,在技术的海洋里浪啊浪~ 网上一搜一大把这种文章,我这 ...
hbase安装配置整合到hadoop
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! 如果想详 ...
hadoop +hbase+zookeeper 伪分布安装(超级无敌详细)
hadoop +hbase+zookeeper 伪分布安装(超级无敌详细) hadoop 配置图片打不开的可以点击下方链接直接去图床查看,辣鸡CSDN 安装jdk sudo apt update// ...
开发笔记 – Spring Boot集成HBase（Hadoop和Hbase安装）
最近在重新整理搜书吧(一个做图书比价的平台)的系统架构,目前图书产品数量超过了200万条.各种数据加起来超过40G了,使用Mysql数据库存储服务器吃不消,于是考虑使用HBase存储大部分数据. 一. ...

hadoop+hbase安装