大数据（二）Elasticsearch 分布式搜索引擎（存索引、索引搜索）

一、Elasticsearch 存索引， Hbase 里存原数据

例如：一条告警上报过来，会同时存Hbase, ES里，Hbase存原数据，ES里只存索引（包含告警ID, 告警级别，告警状态，告警时间，告警名称），

　　　所以可以根据上述查询条件，输入关键字，发送请求到ES查询，根据查询出的告警ID, 再拿ID 去Hbase 查出该告警详细信息返回给前端。

二、

Mysql	ES
表	index
	(type)
一条记录	document

ES里面的index 就相当于一张表，document就相当于一条记录。目前ES里就几张表alert, log, monitor-parameter ,就这三张表，按照需求来的。支持告警、日志、监控参数查询。

三、参考文档，百度百科：https://baike.baidu.com/item/elasticsearch/3411206?fr=aladdin

　　 ES基本入门介绍：https://blog.csdn.net/makang110/article/details/80596017

　　　　　　　ES安装、基本操作、增删查改：http://www.ruanyifeng.com/blog/2017/08/elasticsearch.html

　　ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。

　　Elasticsearch是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。

　　1PB=1024T=1048576G

1T=1024G

　　zcy他们的项目数据量是一天几百G, 有些电商数据更大，一天几个T都有可能，目前他们的服务器集群是几十一百多台高性能服务器。

　　ES和Lucene的关系：

　　　　Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。

　　1）Lucene只是一个库。想要使用它，你必须使用Java来作为开发语言并将其直接集成到你的应用中，更糟糕的是，Lucene非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的。

　　2）Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。

1.3 ES主要解决问题：

1）检索相关数据；
2）返回统计结果；
3）速度要快。

转载于:https://www.cnblogs.com/Agnes1994/p/10450903.html

大数据（二）Elasticsearch 分布式搜索引擎（存索引、索引搜索）相关推荐

Elasticsearch——分布式搜索引擎01（索引库、文档、RestAPI、RestClient、拼音分词器、IK分词器）
Elasticsearch--分布式搜索引擎01(索引库.文档.RestAPI.RestClient.拼音分词器.IK分词器) 一.初识 elesticsearch 1.1 简介 1.2 倒排索引(重 ...
JAVA大数据(二) Hadoop 分布式文件系统HDFS 架构，MapReduce介绍，Yarn资源调度
文章目录 1.分布式文件系统HDFS 1.HDFS的来源 2.HDFS的架构图之基础架构 2.1 master/slave 架构 2.2 名字空间(NameSpace) 2.3 文件操作 2.4副本机 ...
ElasticSearch分布式搜索引擎——从入门到精通
ES分布式搜索引擎注意: 在没有创建库的时候搜索,ES会创建一个库并自动创建该字段并且设置为String类型也就是text 什么是elasticsearch? 一个开源的分布式搜索引擎,可以用来实现 ...
elasticsearch分布式搜索引擎详细使用总结
文章目录一.初识elasticsearch 1.1.ES了解 1.1.1.elasticsearch的作用 1.1.2.ELK技术栈 1.1.3.elasticsearch和lucene 1.1.4 ...
ElasticSearch分布式搜索引擎从入门到实战应用（入门篇-基本命令操作）
ElasticSearch分布式搜索引擎从入门到实战应用(入门篇) 1.入门须知 2.ElasticSearch概述 2.1.ES简介 2.2.应用场景 3.ES和Solr的对比 3.1.ES作用 3 ...
爬梯：ElasticSearch分布式搜索引擎
学习资料:狂神说 ElactisSearch 7.6.2 ElasticSearch 分布式搜索引擎 1. 概述 1.1 ELK ELK是ElasticSearch.Logstash.Kibana三大 ...
Hadoop大数据原理(2) - 分布式文件系统HDFS
文章目录 1. 数据存储问题 2. RAID技术的原理和思路 2.1 常用RAID的原理介绍 2.2 RAID间的性能比较 3. 大数据时代的分布式文件系统 3.1 HDFS的稳固地位 3.2 HDF ...
大数据开发：分布式文件存储系统简介
在分布式存储技术体系当中,分布式文件存储是其中的分类之一,也是大数据架构当中常常用到的.得益于Hadoop的高人气,Hadoop原生的HDFS分布式文件系统,也广泛为人所知.但是分布式文件存储系统,并 ...
大数据技术下分布式数据库何去何从？
转自:安华信达的文章链接地址:http://www.sohu.com/a/133784835_481676 一.大数据技术的发展大数据技术从诞生到现在,已历经了十几个年头,市场上也早已有公司或机构 ...

大数据（二）Elasticsearch 分布式搜索引擎（存索引、索引搜索）

1.3 ES主要解决问题：

大数据（二）Elasticsearch 分布式搜索引擎（存索引、索引搜索）相关推荐

最新文章

热门文章