搜索引擎ElasticSearch

1.1、Elasticsearch相关介绍

1.1.1 ES能做什么？
全文检索（全部字段）、模糊查询（搜索）、数据分析（提供分析语法，例如聚合）

1.1.2 ElasticSearch5和ElasticSearch6区别
ElasticSearch6(和ElasticSearch5的区别在于，root用户权限，一个库能否建立多张表)

1.1.3elasticSearch(搜索引擎）B+tree算法
倒排索引(内容上建立索引，用内容匹配索引)

1.2、Elasticsearch安装

1.2.1安装环境：centos7+jdk8
1.2.2配置文件/config elasticsearch.yml(集群文件)与jvm.options(Jvm配置文件)

1.2.3上传解并解压到centos /opt/es目录下
4. 在opt下新建目录：mkdir -p /opt/es
5. 上传并解压 tar -zxvf elasticsearch-6.3.1.tar.gz、elasticsearch-analysis-ik6.rar、kibana-6.3.1-linux-x86_64.tar.gz
6. chmod 777 -R(循环授权所有目录) elasticsearch-6.3.1

1.2.4配置
Es使用最大线程数、最大内存数、访问的最大文件数

启动脚本elasticsearch
创建用户并切换
- 创建用户：adduser es
- 切换用户：su es
执行脚本./elasticsearch
忽略日志启动脚本：nohup ./elasticsearch &
出现问题
- Es使用Jvm内存大小不够用
修改配置文件
- vim elasticsearch-6.3.1/config/jvm.options 配置jvm的内存大小

在elasticSearch.yml中配置host地址(本机地址)，外网允许访问
- 启动问题：Es使用最大线程数、最大内存数、访问的最大文件数
- 需要修改两处配置文件
  1. 修改Linux的limits文件，设置内存线程和文件
  2. 修改Linux的sysctl文件，配置系统使用内存
- Es权限问题
  1. 首先root用户解压： tar -zxvf elasticsearch-6.3.1.tar.gz
  2. chmod 777 -R(循环授权所有目录) elasticsearch-6.3.1
es文件四处需要修改

1.3、Elasticsearch的基本概念

1.通过(9200端口)http协议进行交互

http://47.101.36.177:9200/_cat/indices?v

2.基本概念

关键字	含义
cluster	整个elasticsearch 默认就是集群状态，整个集群是一份完整,互备的数据。
node	集群中的一个节点，一般只一个进程就是一个node
shard	分片，即使是一个节点中的数据也会通过hash算法，分成多个片存放，默认是5片。
index	相当于rdbms的database, 对于用户来说是一个逻辑数据库，虽然物理上会被分多个shard存放，也可能存放在多个node中。
type	类似于rdbms的table，但是与其说像table，其实更像面向对象中的class , 同一Json的格式的数据集合。
document	类似于rdbms的 row、面向对象里的object
field	相当于字段、属性

3.开发工具kibana

解压kibana：tar -zxvf kibana-6.3.1-linux-x86_64.tar.gz
配置kibana的es信息：vim kibanna.yml
启动kibana：nohup ./kibana &
查看kibana的进程id

3.elasticSearch简单版增删改查

插入数据put

PUT /movie_index/movie/1
{ "id":1,"name":"operation red sea","doubanScore":8.5,"actorList":[
{"id":1,"name":"zhang yi"},
{"id":2,"name":"hai qing"},
{"id":3,"name":"zhang han yu"}
]
}

查询数据get

查询带"红"的所有内容

GET movie_index/movie/_search
{"query": {"match": {"name": "red"}}}

4.elasticSearc对中文的理解

中文拆词

GET _analyze
{"text": "湄公河行动"
}

中文拆词结果

{"tokens": [{"token": "湄","start_offset": 0,"end_offset": 1,"type": "<IDEOGRAPHIC>","position": 0},{"token": "公","start_offset": 1,"end_offset": 2,"type": "<IDEOGRAPHIC>","position": 1},{"token": "河","start_offset": 2,"end_offset": 3,"type": "<IDEOGRAPHIC>","position": 2},{"token": "行","start_offset": 3,"end_offset": 4,"type": "<IDEOGRAPHIC>","position": 3},{"token": "动","start_offset": 4,"end_offset": 5,"type": "<IDEOGRAPHIC>","position": 4}]
}

加入中文分词器

进入插件目录，解压analysis-ik分词器

IK(中英文分词器)有两个

ik_smart(简易分词)

GET _analyze
{"analyzer": "ik_smart", "text": "如果缓存中没有再到MySQL"
}

分词结果

{"tokens": [{"token": "如果",     #分词"start_offset": 0,  #开始偏移"end_offset": 2, #结束偏移"type": "CN_WORD", #单词类型"position": 0    #位置},{"token": "缓存","start_offset": 2,"end_offset": 4,"type": "CN_WORD","position": 1},{"token": "中","start_offset": 4,"end_offset": 5,"type": "CN_CHAR","position": 2},{"token": "没有","start_offset": 5,"end_offset": 7,"type": "CN_WORD","position": 3},{"token": "再到","start_offset": 7,"end_offset": 9,"type": "CN_WORD","position": 4},{"token": "mysql","start_offset": 9,"end_offset": 14,"type": "ENGLISH","position": 5}]
}

ik_max_work(尽最大可能分词)

Kibana出现异常

log   [11:49:18.892] [warning][admin][elasticsearch] No living connectionslog   [11:49:18.894] [warning][admin][elasticsearch] Unable to revive connection: http://node1:9200/log   [11:49:18.894] [warning][admin][elasticsearch] No living connectionserror  [11:49:18.896] [warning][stats-collection] Error: No Living connectionsat sendReqWithConnection (/opt/kibana-6.5.1-linux-x86_64/node_modules/elasticsearch/src/lib/transport.js:226:15)at next (/opt/kibana-6.5.1-linux-x86_64/node_modules/elasticsearch/src/lib/connection_pool.js:214:7)at _combinedTickCallback (internal/process/next_tick.js:131:7)at process._tickDomainCallback (internal/process/next_tick.js:218:9)log   [11:49:18.897] [warning][stats-collection] Unable to fetch data from kibana collectorerror  [11:49:18.897] [warning][stats-collection] Error: No Living connectionsat sendReqWithConnection (/opt/kibana-6.5.1-linux-x86_64/node_modules/elasticsearch/src/lib/transport.js:226:15)at next (/opt/kibana-6.5.1-linux-x86_64/node_modules/elasticsearch/src/lib/connection_pool.js:214:7)at _combinedTickCallback (internal/process/next_tick.js:131:7)at process._tickDomainCallback (internal/process/next_tick.js:218:9)log   [11:49:18.899] [warning][stats-collection] Unable to fetch data from canvas collectorerror  [11:49:18.900] [warning][stats-collection] Error: No Living connectionsat sendReqWithConnection (/opt/kibana-6.5.1-linux-x86_64/node_modules/elasticsearch/src/lib/transport.js:226:15)at next (/opt/kibana-6.5.1-linux-x86_64/node_modules/elasticsearch/src/lib/connection_pool.js:214:7)at _combinedTickCallback (internal/process/next_tick.js:131:7)at process._tickDomainCallback (internal/process/next_tick.js:218:9)log   [11:49:18.902] [warning][stats-collection] Unable to fetch data from kql collectorerror  [11:49:18.909] [warning][stats-collection] Error: No Living connectionsat sendReqWithConnection (/opt/kibana-6.5.1-linux-x86_64/node_modules/elasticsearch/src/lib/transport.js:226:15)at next (/opt/kibana-6.5.1-linux-x86_64/node_modules/elasticsearch/src/lib/connection_pool.js:214:7)at _combinedTickCallback (internal/process/next_tick.js:131:7)at process._tickDomainCallback (internal/process/next_tick.js:218:9)log   [11:49:18.927] [warning][stats-collection] Unable to fetch data from rollups collectorerror  [11:49:18.928] [warning][stats-collection] Error: No Living connectionsat sendReqWithConnection (/opt/kibana-6.5.1-linux-x86_64/node_modules/elasticsearch/src/lib/transport.js:226:15)at next (/opt/kibana-6.5.1-linux-x86_64/node_modules/elasticsearch/src/lib/connection_pool.js:214:7)at _combinedTickCallback (internal/process/next_tick.js:131:7)at process._tickDomainCallback (internal/process/next_tick.js:218:9)log   [11:49:18.929] [warning][stats-collection] Unable to fetch data from reporting collectorerror  [11:49:18.929] [warning][stats-collection] Error: No Living connectionsat sendReqWithConnection (/opt/kibana-6.5.1-linux-x86_64/node_modules/elasticsearch/src/lib/transport.js:226:15)at next (/opt/kibana-6.5.1-linux-x86_64/node_modules/elasticsearch/src/lib/connection_pool.js:214:7)at _combinedTickCallback (internal/process/next_tick.js:131:7)at process._tickDomainCallback (internal/process/next_tick.js:218:9

关闭kibbana

[root@izuf6cn5k7l8xuxojhszqbz es]# ps -ef | grep node
root      4676  4652  0 22:17 pts/1    00:00:00 grep --color=auto node
root      9689     1  0 Jan09 ?        00:03:47 ./../node/bin/node --no-warnings ./../src/cli
[root@izuf6cn5k7l8xuxojhszqbz es]# kill 9689

分词相关性算分

影响相关度算分的参数：
1、TF(Term Frequency)：词频，即单词在文档中出现的次数，词频越高，相关度越高
2、Document Frequency(DF)：文档词频，即单词出现的文档数
3、IDF(Inverse Document Frequency)：逆向文档词频，与文档词频相反，即1/DF。即单词出现的文档数越少，相关度越高（如果一个单词在文档集出现越少，算为越重要单词）
4、Field-length Norm：文档越短，相关度越高

5.elasticSearch的集群

集群配置vim elasticSearch.yml

#集群的名称
cluster.name: steven-es
#节点名称,其余两个节点分别为node-2 和node-3
node.name: node-1
#指定该节点是否有资格被选举成为master节点，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master
node.master: true
#允许该节点存储数据(默认开启)
node.data: true
#索引数据的存储路径
path.data: /opt/es/elasticsearch/data/node1
#日志文件的存储路径
path.logs: /opt/es/elasticsearch/log/node1
#设置为true来锁住内存。因为内存交换到磁盘对服务器性能来说是致命的，当jvm开始swapping时es的效率会降低，所以要保证它不swap
bootstrap.memory_lock: true
#绑定的ip地址
network.host: 192.168.100.97
#设置对外服务的http端口，默认为9200
http.port: 9201
# 设置节点间交互的tcp端口,默认是9300
transport.tcp.port: 9301
#Elasticsearch将绑定到可用的环回地址，并将扫描端口9300到9305以尝试连接到运行在同一台服务器上的其他节点。
#这提供了自动集群体验，而无需进行任何配置。数组设置或逗号分隔的设置。每个值的形式应该是host:port或host
#（如果没有设置，port默认设置会transport.profiles.default.port 回落到transport.tcp.port）。
#请注意，IPv6主机必须放在括号内。默认为127.0.0.1, [::1]
#其他两个节点的端口号(不包含自己)
discovery.zen.ping.unicast.hosts: ["192.168.100.97:9302", "192.168.100.97:9303"]
#如果没有这种设置,遭受网络故障的集群就有可能将集群分成两个独立的集群 - 分裂的大脑 - 这将导致数据丢失
discovery.zen.minimum_master_nodes: 2

可能出现问题
jvm：内存太大

解决办法：在jvm.options 中调整JVM最大可用内存(Xmx)、初始化内存(Xms)

5.节点、分片、索引

节点
一个节点就是一个es的服务器，es集群中主节点主要负责集群的管理和任务的分发，一般文档的不负责增删改查
分片
分片是es的实际物理单元(一个lucene的实例)
索引
索引是es的物理单元，一个索引建立在不同分片的机器上
复制片
每个机器的分片一般都会在其他机器上由2~3个复制片(提高数据的容错率)
容错
一旦集群中的某些机器发生故障，会在其他机器的管理下重新分配资源
分片路由
- 写操作(新建、删除)只能在主分片上进行，然后将结果同步到复制分片
- Syn 主分片同步成功后，才返回给客户端
- Sync 主分片在操作成功后，再复制给同步分片的同时返回给客户端
- 查询操作可以在主分片或同步分片上都可以