一、搜索引擎篇-揭开es神秘的面纱

一、es是什么？

elasticsearch是一个开源的分布式、RESTful 风格的搜索和数据分析引擎，它的底层是开源库lucene。

二、lucene是什么？

最受欢迎的java开源全文搜索引擎开发工具包。提供了完整的查询引擎和索引引擎，部分文本分词引擎。

三、es中shard是什么？

一个index可能存储大量的数据，以至于一台机器放不下，即使能承载，用单机查询全量数据，也相当耗时。为了解决这个问题，es将index中的数据分成多份，每一份叫一个shard。

四、es中replica是什么？

replica即为shard的备份，每个shard可以有多个replica，其中一个是primary shard，剩余的是replica shard。replica除可以起到容错的作用外，还可以提高查询并发度。

五、lucene在es中的作用？

es的每个副本实际上是一个lucene index实例。

六、es集群结构：

索引的六个分片被均匀分配到集群的三个节点中

1、名词解释：

node代表机器节点

P代表primary shard 主分片

R代表replica shard 副分片

2、分片分配规则：

2.1、让节点间均匀存储。

2.2、保证不把主分片和副分片分配到同一个节点，避免单个节点故障引起数据丢失。

3、集群容灾：

分布式系统难免出现故障，当节点异常时，es会自动处理异常节点。

3.1、主节点异常：

集群会重新选举主节点

3.2、主分片异常：

将副分片提升为主分片

七、为什么需要搜索引擎？

数据库适合结构化数据的精确查询，而不适合半结构化、非结构化数据的模糊查询及灵活搜索（特别是数据量大时），无法提供想要的实时性。

结构化数据：用表、字段表示的数据

半结构化数据： xml、html

非结构化数据：文本、文档、图片、音频、视频等

八、搜索引擎如何做到？

1、为什么称为倒排索引？

原名Inverted index，失败地翻译成了倒排索引，正确翻译为：反向索引

2、索引可以合并在一起吗？

3、反向索引的记录数会不会很大？

《牛津词典》收词41万
《现代汉语规范词典》收录字数13000多个，收录词数72000多个

结论：量不会很大， 100万以内；通过这个索引找文章会很快。

4、如何建立这样一个索引？

5、java开源中文分词器有哪些？

常用中文分词器有： IKAnalyzer mmseg4j

6、分词时能不能统计出词的出现次数、位置？

九、搜索

1、如何做才能快速查询到与“火锅” 有关的新闻？

使用分词器对数据进行分词，建立反向索引

2、有了反向索引了，如何进行搜索？

3、合并后列表该如何排序？

我们希望最相关的排在最前面

4、相关性如何度量？

人可以通过读内容判定相关性，机器不懂人言，得需要一套能评估相关性的模型

5、如何根据次数建立一个相关性评估模型？

规则1：统计出现次数，根据次数从高到底排序

规则2：加入权重，标题权重10，内容权重1，计算权重得分，从高到底排序

一、搜索引擎篇-揭开es神秘的面纱相关推荐

EntityFramework Core表名原理解析，让我来，揭开你神秘的面纱
上一节我们针对最开始抛出的异常只是进行了浅尝辄止的解析,是不是有点意犹未尽的感觉,是的,我也有这种感觉,看到这里相信您和我会有一些疑惑,要是我们接下来通过注解.Fluent APi.DbSet分别对表 ...
揭开 LVS 神秘的面纱
文章目录揭开 LVS 神秘的面纱一前言二认识 LVS 三了解三种模式 3.1 Virtual Server via Network Address Translation(VS/NAT) ...
揭开计算机神秘的面纱教学反思,《揭开计算机神秘的面纱》教学设计.doc
<揭开计算机神秘的面纱>教学设计 <揭开计算机神秘的面纱>教学设计长动小学周勇教学目标 1. 知识与技能 (1)计算机组成部分的名称和作用 ()启发引导学生通过自主学习,提 ...
揭开ESP8266神秘的面纱
欢迎大家来到ESP8266的世界,从现在开始,笔者将带领大家慢慢揭开ESP8266神秘的面纱. 1.1 简介从笔者的角度来说,ESP8266这个词可以理解为ESP8266EX芯片(当然,后面 ...
说说Android桌面(Launcher应用)背后的故事(一)——揭开她神秘的面纱
最近由于项目需要自己定制一套管理系统,遂想到了Android的启动器,下来了源码,一编译到处是错,查了查原因,原来是引用了自家的成员,他们家开发的就是方便,想直接用就直接用.于是下载了个包,终于错误少 ...
冰河浅析 - 揭开***的神秘面纱
一.基础篇(揭开***的神秘面纱) 无论大家把***看得多神秘,也无论***能实现多么强大的功能,***,其实质只是一个网络客户/服务程序.那么,就让我们从网络客户/服务程序的编写开始. 1.基本概念 ...
python可以干什么-Python可以用来做什么为你揭开python神秘面纱
Python可以用来做什么为你揭开python神秘面纱时间:2018-01-24 来源:解读Python 最近,编程界又一语言可谓是着实又火了一把,什么语言呢?python,python为 ...
Android开源框架Afinal第一篇——揭开圣女的面纱
Android开源框架Afinal第一篇--揭开圣女的面纱分类: Android开源框架哪点事2013-09-02 14:25 260人阅读评论(0) 收藏举报 Afinal 这是Afinal在 ...
python可以给你干什么-Python可以用来做什么为你揭开python神秘面纱
Python可以用来做什么为你揭开python神秘面纱时间:2018-01-24 来源:解读Python 最近,编程界又一语言可谓是着实又火了一把,什么语言呢?python,python为 ...

一、搜索引擎篇-揭开es神秘的面纱

一、搜索引擎篇-揭开es神秘的面纱相关推荐

最新文章

热门文章