elasticsearch hbase

接下来是学习时间

hbase 是一个分布式的数据库

主要作用：海量数据的存储和准实时查询

一.Hbase的应用场景和特点

大数据类的场景、容量大、列式存储多版本扩展性

HBase 设计目标（特点）：
海量数据存储：如果预估到记录最多只有上百万行，那么传统的RDBMS完全就可以解决，没必要使用 HBase 了，HBase 被设计用来存储海量数据。
实时查询：支持随机、实时读取/写入大规模数据集。
列式存储：根据数据的不同结构，每行数据可以有不同数量的列，这个列是随数据动态伸缩的。
多版本：每一列的数据存储有多个版本
稀疏性：为空的列并不占用存储空间
易扩展：底层依赖于 Hadoop HDFS
高可靠性：HDFS 的多副本存储机制，还有日志，宕机可以恢复
高性能：基于LSM-tree，读写性能能够达到毫秒级别

进入hbase 命令：bin/hbase shell

create 创建表

create 表名,列簇名 | create ‘test’,'info'

enable 激活表

describe 对表查看整个结构说明

is_disables is_enabled 查看表的状态

disable 禁用表

drop 删除表

删除前要先disable禁用一下

list 查看库里有多少张表

count 求和

行数求各

delete 删除某一行

delete表名,行,“列簇：列名”,"值" | delete "test","0001","info:username"

get 获取某一列的数据

get 表名,行,“列簇：列名”,"值" | get "test","0001","info:username"

truncate 删除一个表之后重新又创一个表的初始化

过程：屏蔽->删除掉->新建=====全新的数据初始化，相当于mysql 的删减表

scan 查看全表数据

sacn 表名|scan 'test'

put 添加数据

put 表名,行,“列簇：列名”,"值" | put "test","0001","info:username","zimuxing" put "test","0001","info:age","28"

安装ElasticSearch

1、安装前提

windows下已经安装好了jdk8的版本

2、下载ElasticSearch

https://www.elastic.co/cn/downloads/elasticsearch#ga-release ------下载zip包，将下载的zip文件解压后，直接运行bin下的elasticsearch.bat这个文件，然后访问本机的127.0.0.1:9200,出现以下图说明es安装成功。

图一：

3、安装nodejs

3.1下载地址：https://nodejs.org/en/download/ 根据自己系统下载相应的msi，双击安装。

问题说明：第一次尝试的时候将nodejs安装在了es的安装目录之外（同级目录），在安装head插件时，执行npm - install的时候发现npm这个目录异常消失了，然后重新安装nodejs，安装过程中如果将安装目录直接放在es目录中会报文件名路径过长的问题，导致安装失败

解决办法：现在某个盘将nodejs安装，然后打成压缩包的形式，在es目录中重新解压（目录见图二）

图二：

小插曲：此处安装出现的问题：win10 the error code is 2502

导致这个问题的原因：对系统的操作权限不足，只要我们获得超级管理员权限，或者管理员权限后问题就会解决

解决办法：打开任务管理器，找到explorer.exe这个进程---然后右键结束这个进程----点击文件-运行新任务，按照图四创建任务，并且勾选以系统管理权限创建此任务。再次安装或者卸载文件的时候就不会报权限不足的问题了

说明：explorer.exe是Windows程序管理器或者文件资源管理器，它用于管理Windows图形壳，包括桌面和文件管理

图三：

图四：

3.2使用node -v查看自己nojs的版本，使用npm -v查看npm的版本，执行 npm install -g grunt-cli命令，

安装grunt

Grunt 是基于 Node.js 的项目构建工具。它可以自动运行你所设定的任务

图五：

4、安装head

4.1 修改elasticsearch.yml文件

因为head跟es是两个独立的进程，是有跨越问题的，帮修改下面文件，在config文件里

在文件最后加入

http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true
node.data: true

放开network.host: 192.168.0.1的注释并改为network.host: 0.0.0.0

放开cluster.name；node.name；http.port的注释

双击elasticsearch.bat重启es

4.2 https://github.com/mobz/elasticsearch-head 下载zip文件，然后解压到制定目录，见图二

4.3修改E:\elasticsearch-5.4.1\elasticsearch-head-master\Gruntfile.js

图六：

进入E:\elasticsearch-5.4.1\elasticsearch-head-master\_site修改app.js 中下文内容为服务器地址，如果是本机部署不修改也可以。

4.4进入到如下目录，执行npm install命令

最后，在head源代码目录下启动nodejs：

安装完成执行grunt server 或者npm run start(以后每次)，出现下图证明安装成功，如果还不成功，退出es再执行一次npm install -g grunt-cli

出现如下图所示则证明安装成功：

访问localhost:9100

状态

绿色green 很健康，可以正常运行

黄色yellow 健康不是很好，但可以正常使用

红色 red 健康很差，虽然可以正常搜索数据但出现丢失数据的情况

elasticsearch hbase相关推荐

亿流量大考（4）：自研ES+HBase+纯内存的高性能毫秒级查询引擎
V-xin:ruyuanhadeng获得600+页原创精品文章汇总PDF 一.前情回顾上篇文章(<亿流量大考(3):不加机器,如何抗住每天百亿级高并发流量?>)聊了一下系统架构中,百亿流 ...
ElasticSearch简介及ElasticSearch部署、原理和使用介绍
ElasticSearch简介及ElasticSearch部署.原理和使用介绍第一章:elasticsearch简介 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式 ...
elasticsearch原理及使用
目录 1 简介 1.1 Elasticsearch是什么 1.2 Elasticsearch 的用途是什么 1.3 对比同类中间件 1.3.1 ElasticSearch VS Lucene 1.3. ...
ElasticSearch详细教程-基础加实战
文章目录第1章 ElasticSearch基础 1.1 简介 1.2 使用场景 1.3 ES与其他数据存储进行比较 1.4 ElasticSearch的特点 1.4.1 天然分片,天然集群 1.4. ...
ElasticSearch操作指南
1 ElasticSearch简介 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎.是使用Java开发的. 1.1 使用场景为用户提供关键字 ...
ElasticSearch课件1.22
ElasticSearch 版本:V 1.2.2 一 elasticsearch简介 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于 ...
原来10张图就可以搞懂分布式链路追踪系统原理
分布式系统为什么需要链路追踪? 随着互联网业务快速扩展,软件架构也日益变得复杂,为了适应海量用户高并发请求,系统中越来越多的组件开始走向分布式化,如单体架构拆分为微服务.服务内缓存变为分布式缓存.服务 ...
基于用户画像的实时异步化视频推荐系统
前言这个月做的事情还是蛮多的.上线了一个百台规模的ES集群,还设计开发了一套实时推荐系统. 标题有点长,其实是为了突出该推荐系统的三个亮点,一个是实时,一个是基于用户画像去做的,一个是异步化. 实时 ...
大数据发行版本+组件中的竞品/等同地位关系(持续更新中)
开源大数据版本公司/开源组织是否付费备注 Apache Hadoop Apache 否大数据组件的最初发型版 CDH Cloudera's Distribution Including Apa ...

elasticsearch hbase

elasticsearch hbase相关推荐

最新文章

热门文章