版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/43796441

一、HBase(NoSQL)的数据模型

1.1 表(table),是存储管理数据的。

1.2 行键(row key),类似于MySQL中的主键,行键是HBase表天然自带的,创建表时不需要指定

1.3 列族(column family),列的集合。

一张表中有多个行健,一个行健读取出来的是一条记录,列族和MySQL中的列差不多,但是它是列的集合

HBase中列族是需要在定义表时指定的,列是在插入记录时动态增加的。

HBase表中的数据存储在本地磁盘上的时候,每个列族单独一个作为文件存储。

上图表示HBase中表的一行

和关系型数据库不同的是

关系型数据库一行中每一个列的值只能是一个,如:

UserId UserName

1 JChubby

而在NoSql中,一行里面某一个列的值可能是多个的,如上图,或者:

UserId UserName

1 JChubby

Looky

其中省略了timestamp时间戳这一列,但是在NoSql中读取这一行数据的出来时,数据应该是和关系型数据库读出来的是差不多的

时间戳列起到了标识列数据版本的作用,当没有指定时间戳的时候默认取的是最新的列数据,具体请参照上图

1.4 存储的数据都是字节数组。

二、HBase的物理模型

2.1 HBase是适合海量数据(如20PB)的秒级简单查询的数据库。

2.2 HBase表中的记录,按照行键进行拆分, 拆分成一个个的region。

如:在一个有1W行健的表中,每2K个行健拆分成一个region分别存储在不同的节点中,每个region记录着行健的起始位置和最终位置[startkey,endkey]

许多个region存储在region server(单独的物理机器)中的。

这样,对表的操作转化为对多台region server的并行查询。

HBase中有两种特殊的表,分别是-ROOT和.META

.META中记录着各个region的起止行健,当.META中的记录很大时,又会按照相同的规则拆分成不同的region记录中-ROOT表中

如上图所示,当要查询数据时,先找-ROOT表中记录的region信息,找到对应的.META表中的region,在到实际的节点上的region查询数据

三、HBase的体系结构

3.1 HBase是主从式结构,HMaster、HRegionServer

四、HBase伪分布安装

HBase的安装是是建立在hadoop和zookeeper集群之上的

安装时确保hadoop和zookeeper集群已安装成功并启动

4.1 解压缩、重命名、设置环境变量

把hbase-0.94.2-security.tar.gz复制到/home/hadoop

解压hbase-0.94.2-security.tar.gz与重命名

#cd /home/hadoop

#tar -zxvf hbase-0.94.2-security.tar.gz

#mv hbase-0.94.2-security hbase

修改/etc/profile文件。

#vi /etc/profile

增加

export HBASE_HOME=/home/hadoop/hbase

修改

export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HBASE_HOME/bin

保存退出

#source /etc/profile

4.2 修改$HBASE_HOME/conf/hbase-env.sh,修改内容如下:

export JAVA_HOME=/usr/java/jdk1.6.0_45

export HBASE_MANAGES_ZK=true

第一个配置java环境变量

第二个配置在本机器上的HBase可以自己启动zookeeper和使用

4.2 修改$HBASE_HOME/conf/hbase-site.xml,修改内容如下:

<property>

<name>hbase.rootdir</name>

<value>hdfs://master:9000/hbase</value>

</property>

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<property>

<name>hbase.zookeeper.quorum</name>

<value>master</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

hbase.rootdir配置在hdfs文件系统上hbase存储的路径

hbase.cluster.distributed配置是否是分布式的

hbase.zookeeper.quorum配置zookeeper在哪个节点上

dfs.replication配置副本个数

注意:hbase.rootdir的主机和端口号与hadoop的配置文件core-site.xml的fs.default.name的主机和端口号一致

4.3 (可选)文件regionservers的内容为master,该文件记录regionserver的各个节点的主机名,因为是伪分布式安装,所只写一个,localhost或者主机名都可以

4.4 启动hbase,在bin目录下执行命令start-hbase.sh

******启动hbase之前,确保hadoop是运行正常的,并且可以写入文件*******

4.5 验证是否安装成功:

(1)执行jps,发现新增加了3个java进程,分别是HMaster、HRegionServer、HQuorumPeer

(2)使用浏览器访问http://master:60010,可以进入和hadoop类似的web管理页面

HBase基础和伪分布式安装配置相关推荐

  1. hbase 伪分布安装 java_HBase基础和伪分布式安装配置

    一.HBase(NoSQL)的数据模型 1.1 表(table),是存储管理数据的. 1.2 行键(row key),类似于MySQL中的主键,行键是HBase表天然自带的,创建表时不需要指定 1.3 ...

  2. ZooKeeper基础知识笔记(含3节点伪分布式安装配置流程)

    本笔记涉及代码:https://github.com/hackeryang/Hadoop-Exercises/tree/master/src/main/java/ZooKeeper 一.ZooKeep ...

  3. hadoop hbase java_Hadoop、Hbase伪分布式安装

    环境 本文介绍Hadoop.Hbase的伪分布式安装. 操作系统: Centos7 Hadoop: 2.7.3 Hbase: 1.2.3 Hadoop安装 JAVA_HOME环境变量配置 由于Hbas ...

  4. hadoop伪分布式安装

    版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/qq1010885678/article/details/43447733 首先需要有一台linux的 ...

  5. Hadoop单机伪分布式安装(完整版)

    在学习Hadoop时,我发现网上的各种安装的资料要不不全,要不前后不匹配(比如有的是伪分布式,有的是完全分布式).此篇文章,我总结了身边的同学在安装Hadoop时遇到的毛病,在前面安装配置环节,尽可能 ...

  6. ZooKeeper:win7上安装单机及伪分布式安装

    zookeeper是一个为分布式应用所设计的分布式的.开源的调度服务,它主要用来解决分布式应用中经常遇到的一些数据管理问题,简化分布式应用,协调及其管理的难度,提高性能的分布式服务. 本章的目的:如何 ...

  7. hadoop 2.7.3伪分布式安装

    hadoop 2.7.3伪分布式安装 hadoop集群的伪分布式部署由于只需要一台服务器,在测试,开发过程中还是很方便实用的,有必要将搭建伪分布式的过程记录下来,好记性不如烂笔头. hadoop 2. ...

  8. centos 7下Hadoop 2.7.2 伪分布式安装

    centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN.详细步骤如下: 1.0 安装JDK 1.1 查看是否安装了openjdk [l ...

  9. 单机安装 hadoop 环境(Hadoop伪分布式安装)

    任务描述: 作为某公司运维工程师,需在单机安装 hadoop 环境(Hadoop伪分布式安装).本环节需要使用 root用户完成相关配置,具体部署要求如下: 1. 关闭虚拟机防火墙 2. 修改&quo ...

最新文章

  1. 使用jsonp跨域请求后可以获得数据,但是进入error方法,返回parseerror
  2. 安装汇编环境,写一个最简单的窗口程序
  3. java如何调用网页_如何使用网页开发自己的app,在网页中的按钮与自己的java代码绑定来实现打电话即javascript代码调用java代码,和java代码来调用javascript代码...
  4. (7)Java数据结构--集合map,set,list详解
  5. 【iCore3 双核心板_ uC/OS-III】例程五:软件定时器
  6. Mybatis源码分析开篇
  7. C++效率在此笔者不想通过反汇编来实验
  8. 塑料浮船坞行业调研报告 - 市场现状分析与发展前景预测
  9. 【Winhex】狂派入门: Winhex的简单使用教程
  10. java面试 bs cs_面试题思考:BS与CS的区别与联系
  11. Canonical Coordinate System
  12. 解决qt.qpa.plugin: Could not load the Qt platform plugin “xcb“ in ““ even though it was found.问题
  13. GIT 中如何打标签
  14. python的MYSQLdb
  15. 世界杯开赛在即,告诉你5个用区块链玩转球赛的秘密 | 内附独家资源
  16. 汉语与asc码互转最快的办法
  17. 从0到一开发微信小程序(6)—小程序常用API
  18. HTML语言教程(完整版)
  19. oracle utl file grant,oracle中设置UTL_FILE_DIR参数
  20. 20210303-CSR

热门文章

  1. Boost:计时系的测试
  2. ITK:将内核应用于非零图像中的每个像素
  3. C++将带ui界面的qt工程封装为动态库dll
  4. VTK:PolyData之PointsProjectedHull
  5. VTK:PolyData之FitSplineToCutterOutput
  6. VTK:IO之GLTFExporter
  7. OpenGL DoubleWrite的实例
  8. 经典C语言程序100例之七五
  9. 做好的html 保存不了,有些网页不能保存,或者保存后没有内容,怎么办?
  10. 前端中全部盒子靠左对齐_图文详解ul中li内容垂直居中和水平居中的方法