elasticsearch入门(二)
一、elasticsearch的使用
1.1 创建索引库
- 索引(名词):ES是基于Lucene构建的一个搜索服务,它要从索引库搜索符合条件索引数据。
- 索引(动词):索引库刚创建起来是空的,将数据添加到索引库的过程称为索引。
1.1.1 创建索引:
{"settings": {"index": {"number_of_shards": 1,"number_of_replicas": 0}}
}
- number_of_shards:设置分片的数量,在集群中通常设置多个分片,表示一个索引库将拆分成多片分别存储不同的结点,提高了ES的处理能力和高可用性,入门程序使用单机环境,这里设置为1。
- number_of_replicas:设置副本的数量,设置副本是为了提高ES的高可靠性,单机环境设置为0。
1.1.2 删除索引
DELETE http://localhost:9201/test_index
1.1.3 修改索引
PUT http://localhost:9201/test_index/_settings
{"index": {"number_of_replicas": 1}
}
注意: number_of_replicas是可以修改的,但number_of_shards不可修改
1.2 创建映射
1.2.1 概念说明
在索引中每个文档都包括了一个或多个field,创建映射就是向索引库中创建field的过程,映射类比数据库中的表结构,下边是document和field与关系数据库的概念的类比:
映射(Mapper)----------------表结构
文档(Document)----------------Row记录
字段(Field)-------------------Columns 列
注意:6.0之前的版本有type(类型)概念,type相当于关系数据库的表,ES官方将在ES9.0版本中彻底删除type。上边讲的创建索引库相当于关系数据库中的数据库还是表?
- 如果相当于数据库就表示一个索引库可以创建很多不同类型的文档,这在ES中也是允许的。
- 如果相当于表就表示一个索引库只能存储相同类型的文档,ES官方建议 在一个索引库中只存储相同类型的文档。
1.2.2 创建映射
我们要把课程信息存储到ES中,这里我们创建课程信息的映射,先来一个简单的映射,如下:
发送:post http://localhost:9200/索引库名称/类型名称/_mapping
创建类型为xc_course的映射,共包括三个字段:name、description、studymondel
由于ES6.0版本还没有将type彻底删除,所以暂时把type起一个没有特殊意义的名字。
post 请求:http://localhost:9200/xc_course/doc/_mapping
表示:在xc_course索引库下的doc类型下创建映射。doc是类型名,可以自定义,在ES6.0中要弱化类型的概念,给它起一个没有具体业务意义的名称。
{"properties": {"name": {"type": "text"},"description": {"type": "text"},"studymodel": {"type": "keyword"}}
}
1.3 创建文档
ES中的文档相当于MySQL数据库表中的记录。
发送:put 或Post http://localhost:9200/xc_course/doc/id值
(如果不指定id值ES会自动生成ID)
http://localhost:9200/xc_course/doc/4028e58161bcf7f40161bcf8b77c0000
{
"name":"Bootstrap开发框架",
"description":"Bootstrap是由Twitter推出的一个前台页面开发框架,在行业之中使用较为广泛。此开发框架包
含了大量的CSS、JS程序代码,可以帮助开发者(尤其是不擅长页面开发的程序人员)轻松的实现一个不受浏览器限制的
精美界面效果。",
"studymodel":"201001"
}
1.4 搜索文档
1.4.1 根据id查询文档
发送:get http://localhost:9200/xc_course/doc/4028e58161bcf7f40161bcf8b77c0000
1.4.2 查询所有记录
发送 get http://localhost:9200/xc_course/doc/_search
1.4.3 查询名称中包括spring 关键字的的记录
发送:get http://localhost:9200/xc_course/doc/_search?q=name:bootstrap
1.4.4 查询学习模式为201001的记录
发送 get http://localhost:9200/xc_course/doc/_search?q=studymodel:201001
1.5 查询结果分析
{"took": 1,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": 1,"max_score": 0.2876821,"hits": [{"_index": "xc_course","_type": "doc","_id": "4028e58161bcf7f40161bcf8b77c0000","_score": 0.2876821,"_source": {"name": "Bootstrap开发框架","description": "Bootstrap是由Twitter推出的一个前台页面开发框架,在行业之中使用较为广泛。 此开发框架包含了大量的CSS、 JS程序代码, 可以帮助开发者( 尤其是不擅长页面开发的程序人员) 轻松的实现一个不受浏览器限制的精美界面效果。 ","studymodel": "201001"}}]}
}
- took:本次操作花费的时间,单位为毫秒。
- timed_out:请求是否超时
- _shards:说明本次操作共搜索了哪些分片
- hits:搜索命中的记录
- hits.total : 符合条件的文档总数 hits.hits :匹配度较高的前N个文档
- hits.max_score:文档匹配得分,这里为最高分
- _score:每个文档都有一个匹配度得分,按照降序排列。
- _source:显示了文档的原始内容
二、IK分词器
2.1测试分词器
在添加文档时会进行分词,索引中存放的就是一个一个的词(term),当你去搜索时就是拿关键字去匹配词,最终找到词关联的文档。
测试当前索引库使用的分词器:
post 发送:localhost:9200/_analyze
{"text":"测试分词器,后边是测试内容:spring cloud实战"}
结果如下:
{"tokens": [{"token": "测","start_offset": 0,"end_offset": 1,"type": "<IDEOGRAPHIC>","position": 0},{"token": "试","start_offset": 1,"end_offset": 2,"type": "<IDEOGRAPHIC>","position": 1},{"token": "分","start_offset": 2,"end_offset": 3,"type": "<IDEOGRAPHIC>","position": 2},{"token": "词","start_offset": 3,"end_offset": 4,"type": "<IDEOGRAPHIC>","position": 3},{"token": "器","start_offset": 4,"end_offset": 5,"type": "<IDEOGRAPHIC>","position": 4},{"token": "后","start_offset": 6,"end_offset": 7,"type": "<IDEOGRAPHIC>","position": 5},{"token": "边","start_offset": 7,"end_offset": 8,"type": "<IDEOGRAPHIC>","position": 6},{"token": "是","start_offset": 8,"end_offset": 9,"type": "<IDEOGRAPHIC>","position": 7},{"token": "测","start_offset": 9,"end_offset": 10,"type": "<IDEOGRAPHIC>","position": 8},{"token": "试","start_offset": 10,"end_offset": 11,"type": "<IDEOGRAPHIC>","position": 9},{"token": "内","start_offset": 11,"end_offset": 12,"type": "<IDEOGRAPHIC>","position": 10},{"token": "容","start_offset": 12,"end_offset": 13,"type": "<IDEOGRAPHIC>","position": 11},{"token": "spring","start_offset": 14,"end_offset": 20,"type": "<ALPHANUM>","position": 12},{"token": "cloud","start_offset": 21,"end_offset": 26,"type": "<ALPHANUM>","position": 13},{"token": "实","start_offset": 26,"end_offset": 27,"type": "<IDEOGRAPHIC>","position": 14},{"token": "战","start_offset": 27,"end_offset": 28,"type": "<IDEOGRAPHIC>","position": 15}]
}
会发现分词的效果将 “测试” 这个词拆分成两个单字“测”和“试”,这是因为当前索引库使用的分词器对中文就是单字分词。
2.2 安装IK分词器
使用IK分词器可以实现对中文分词的效果。
下载IK分词器:(Github地址:https://github.com/medcl/elasticsearch-analysis-ik)
下载zip:
解压,并将解压的文件拷贝到ES安装目录的plugins下的ik-analyzer 目录下。
测试分词效果:
发送:post localhost:9200/_analyze
{"text":"测试分词器,后边是测试内容:spring cloud实战","analyzer":"ik_max_word" }
结果如下:
{"tokens": [{"token": "测试","start_offset": 0,"end_offset": 2,"type": "CN_WORD","position": 0},{"token": "分词器","start_offset": 2,"end_offset": 5,"type": "CN_WORD","position": 1},{"token": "分词","start_offset": 2,"end_offset": 4,"type": "CN_WORD","position": 2},{"token": "器","start_offset": 4,"end_offset": 5,"type": "CN_CHAR","position": 3},{"token": "后边","start_offset": 6,"end_offset": 8,"type": "CN_WORD","position": 4},{"token": "是","start_offset": 8,"end_offset": 9,"type": "CN_CHAR","position": 5},{"token": "测试","start_offset": 9,"end_offset": 11,"type": "CN_WORD","position": 6},{"token": "内容","start_offset": 11,"end_offset": 13,"type": "CN_WORD","position": 7},{"token": "spring","start_offset": 14,"end_offset": 20,"type": "ENGLISH","position": 8},{"token": "cloud","start_offset": 21,"end_offset": 26,"type": "ENGLISH","position": 9},{"token": "实战","start_offset": 26,"end_offset": 28,"type": "CN_WORD","position": 10}]
}
2.3 两种分词模式
ik分词器有两种分词模式:ik_max_word和ik_smart模式。
- ik_max_word:
会将文本做最细粒度的拆分,比如会将“中华人民共和国人民大会堂”拆分为“中华人民共和国、中华人民、中华、华人、人民共和国、人民、共和国、大会堂、大会、会堂等词语。 - ik_smart
会做最粗粒度的拆分,比如会将“中华人民共和国人民大会堂”拆分为中华人民共和国、人民大会堂。
测试两种分词模式:
发送:post localhost:9200/_analyze
{"text":"中华人民共和国人民大会堂","analyzer":"ik_smart" }
2.4 自定义词库
如果要让分词器支持一些专有词语,可以自定义词库。
iK分词器自带一个main.dic的文件,此文件为词库文件。
在上边的目录中新建一个my.dic文件(注意文件格式为utf-8(不要选择utf-8 BOM))
可以在其中自定义词汇:
比如定义:
配置文件中配置my.dic:
重启ES,测试分词效果:
发送:post localhost:9200/_analyze
{"text":"测试分词器,后边是测试内容:spring cloud实战","analyzer":"ik_max_word" }
三、映射
上边章节安装了ik分词器,如果在索引和搜索时去使用ik分词器呢?如何指定其它类型的field,比如日期类型、数值类型等。
本章节学习各种映射类型及映射维护方法。
3.1 映射维护方法
3.1.1 查询所有索引的映射:
GET: http://localhost:9200/_mapping
3.1.2 创建映射(前面已有例子)
post 请求:http://localhost:9200/xc_course/doc/_mapping
一个例子:
{"properties": {"name": {"type": "text"},"description": {"type": "text"},"studymodel": {"type": "keyword"}}
}
3.1.3 更新映射
映射创建成功可以添加新字段,已有字段不允许更新。
3.1.4 删除映射
通过删除索引来删除映射
3.2 常用映射类型
3.2.1 text文本字段
下图是ES6.2核心的字段类型如下:
字符串包括text和keyword两种类型:
1.text
1)analyzer
通过analyzer属性指定分词器。
下边指定name的字段类型为text,使用ik分词器的ik_max_word分词模式:
"name": {"type": "text","analyzer":"ik_max_word"
}
上边指定了analyzer是指在索引和搜索都使用ik_max_word,如果单独想定义搜索时使用的分词器则可以通过search_analyzer属性。
对于ik分词器建议是索引时使用ik_max_word将搜索内容进行细粒度分词,搜索时使用ik_smart提高搜索精确性:
"name": {"type": "text","analyzer":"ik_max_word","search_analyzer":"ik_smart"
}
2)index
通过index属性指定是否索引。
默认为index=true,即要进行索引,只有进行索引才可以从索引库搜索到。
但是也有一些内容不需要索引,比如:商品图片地址只被用来展示图片,不进行搜索图片,此时可以将index设置为false。
删除索引,重新创建映射,将pic的index设置为false,尝试根据pic去搜索,结果搜索不到数据
"pic": {"type": "text","index":false
}
3)store
是否在source之外存储,每个文档索引后会在 ES中保存一份原始文档,存在"_source"中,一般情况下不需要设置store为true,因为在_source中已经有一份原始文档了。
3.2.1.1 测试
删除xc_course/doc下的映射
创建新映射:Post http://localhost:9200/xc_course/doc/_mapping
{"properties": {"name": {"type": "text","analyzer": "ik_max_word","search_analyzer": "ik_smart"},"description": {"type": "text","analyzer": "ik_max_word","search_analyzer": "ik_smart"},"pic": {"type": "text","index": false},"studymodel": {"type": "text"}}
}
插入文档:
http://localhost:9200/xc_course/doc/4028e58161bcf7f40161bcf8b77c0000
{"name": "Bootstrap开发框架","description": "Bootstrap是由Twitter推出的一个前台页面开发框架,在行业之中使用较为广泛。此开发框架包含了大量的CSS、 JS程序代码, 可以帮助开发者( 尤其是不擅长页面开发的程序人员) 轻松的实现一个不受浏览器限制的精美界面效果。 ","pic": "group1/M00/00/01/wKhlQFqO4MmAOP53AAAcwDwm6SU490.jpg","studymodel": "201002"
}
查询测试:
Get http://localhost:9200/xc_course/_search?q=name:开发
Get http://localhost:9200/xc_course/_search?q=description:开发
Get http://localhost:9200/xc_course/_search?
q=pic:group1/M00/00/01/wKhlQFqO4MmAOP53AAAcwDwm6SU490.jpg
Get http://localhost:9200/xc_course/_search?q=studymodel:201002
通过测试发现:name和description都支持全文检索,pic不可作为查询条件。
3.2.2 keyword关键字字段
上边介绍的text文本字段在映射时要设置分词器,keyword字段为关键字字段,通常搜索keyword是按照整体搜索,所以创建keyword字段的索引时是不进行分词的,比如:邮政编码、手机号码、身份证等。keyword字段通常用于过虑、排序、聚合等。
3.2.2.1 测试
更改映射:
{"properties": {"studymodel": {"type": "keyword"},"name": {"type": "keyword"}}
}
插入文档:
{"name": "java编程基础","description": "java语言是世界第一编程语言,在软件开发领域使用人数最多。","pic": "group1/M00/00/01/wKhlQFqO4MmAOP53AAAcwDwm6SU490.jpg","studymodel": "201001"
}
根据name查询文档
搜索:http://localhost:9200/xc_course/_search?q=name:java
name是keyword类型,所以查询方式是精确查询。
3.2.3 date日期类型
日期类型不用设置分词器。
通常日期类型的字段用于排序。
1)format
通过format设置日期格式
例子:
下边的设置允许date字段存储年月日时分秒、年月日及毫秒三种格式:
{"properties": {"timestamp": {"type": "date","format": "yyyy‐MM‐dd HH:mm:ss||yyyy‐MM‐dd"}}
}
插入文档:
Post :http://localhost:9200/xc_course/doc/3
{"name ": "spring开发基础 ","description": "spring 在java领域非常流行,java程序员都在用。","studymodel": "201001","pic": "group1/M00/00/01/wKhlQFqO4MmAOP53AAAcwDwm6SU490.jpg","timestamp": "2018‐07‐04 18:28:58"
}
3.2.4 数值类型
下边是ES支持的数值类型:
1.尽量选择范围小的类型,提高搜索效率
2.对于浮点数尽量用比例因子,比如一个价格字段,单位为元,我们将比例因子设置为100这在ES中会按 分 存储,映射如下:
"price": {"type": "scaled_float","scaling_factor": 100
},
由于比例因子为100,如果我们输入的价格是23.45则ES中会将23.45乘以100存储在ES中。
如果输入的价格是23.456,ES会将23.456乘以100再取一个接近原始值的数,得出2346。
使用比例因子的好处是整型比浮点型更易压缩,节省磁盘空间。
如果比例因子不适合,则从下表选择范围小的去用:
更新已有映射,并插入文档:
http://localhost:9200/xc_course/doc/3
{"name ": "spring开发基础 ","description": "spring 在java领域非常流行,java程序员都在用。","studymodel": "201001","pic": "group1/M00/00/01/wKhlQFqO4MmAOP53AAAcwDwm6SU490.jpg","timestamp": "2018‐07‐04 18:28:58","price": 38.6
}
3.2.5 综合例子
创建如下映射:
post:http://localhost:9200/xc_course/doc/_mapping
{"properties": {"description": {"type": "text","analyzer": "ik_max_word","search_analyzer": "ik_smart"},"name": {"type": "text","analyzer": "ik_max_word","search_analyzer": "ik_smart"},"pic": {"type": "text","index": false},"price": {"type": "float"},"studymodel": {"type": "keyword"},"timestamp": {"type": "date","format": "yyyy‐MM‐dd HH:mm:ss||yyyy‐MM‐dd||epoch_millis"}}
}
插入文档:
Post: http://localhost:9200/xc_course/doc/1
{"name": "Bootstrap开发","description": "Bootstrap是由Twitter推出的一个前台页面开发框架, 是一个非常流行的开发框架, 此框架集成了多种页面效果。 此开发框架包含了大量的CSS、 JS程序代码, 可以帮助开发者( 尤其是不擅长页面开发的程序人员) 轻松的实现一个不受浏览器限制的精美界面效果。 ","studymodel ": "201002 ", "price ":38.6, "timestamp ":"2018 - 04 - 25 19: 11: 35 ","pic": "group1/M00/00/00/wKhlQFs6RCeAY0pHAA Jx5ZjNDEM428.jpg"
}
由于篇幅原因,接下来的内容请看: elasticsearch入门(三)
elasticsearch入门(二)相关推荐
- python elasticsearch 入门教程(二) ---全文搜索
python elasticsearch 入门教程(二) ---全文搜索 截止目前的搜索相对都很简单:单个姓名,通过年龄过滤.现在尝试下稍微高级点儿的全文搜索--一项 传统数据库确实很难搞定的任务. ...
- Elasticsearch入门(二) API
Elasticsearch入门(二) API VSCode部署 RESTful API 索引库管理 列举索引 创建job_idx索引库 查看索引 删除索引 数据管理 数据插入 数据更新 删除数据 Bu ...
- ElasticSearch入门 第一篇:Windows下安装ElasticSearch
这是ElasticSearch 2.4 版本系列的第一篇: ElasticSearch入门 第一篇:Windows下安装ElasticSearch ElasticSearch入门 第二篇:集群配置 E ...
- ElasticSearch入门 :Windows下安装ElasticSearch
这是ElasticSearch 2.4 版本系列的第一篇: ElasticSearch入门 第一篇:Windows下安装ElasticSearch ElasticSearch入门 第二篇:集群配置 E ...
- ElasticSearch入门 第五篇:使用C#查询文档
网址:http://www.cnblogs.com/ljhdo/p/4550135.html 这是ElasticSearch 2.4 版本系列的第五篇: ElasticSearch入门 第一篇:Win ...
- 和我一起打造个简单搜索之ElasticSearch入门
本文简单介绍了使用 Rest 接口,对 es 进行操作,更深入的学习,可以参考文末部分. 环境 本文以及后续 es 系列文章都基于 5.5.3 这个版本的 elasticsearch ,这个版本比较稳 ...
- Elasticsearch入门进阶篇
文章目录 一:Elasticsearch前言 1.1:什么是搜索? 1.2:如果用数据库做搜索会怎么样? 1.3:什么是全文搜索和Lucene? 1.3.1:全文检索 1.3.2:Lucene 1.4 ...
- ElasticSearch入门 第二篇:集群配置
这是ElasticSearch 2.4 版本系列的第二篇: ElasticSearch入门 第一篇:Windows下安装ElasticSearch ElasticSearch入门 第二篇:集群配置 E ...
- ES(Elasticsearch)入门学习教程
Elasticsearch 入门学习教程 1.1 为什么要学Elasticsearch? 1.2 如何下载安装使用ES? 1.2.1 ES 安装使用条件 1.2.2 ES 下载须知 1.2.3 ES ...
- 大白话ElasticSearch入门概念,看不懂找我!
点击上方蓝色"胖滚猪学编程",选择"设为星标" 跟着胖滚猪学编程!好玩!有趣! 这是胖滚猪ES系列博文第三篇,大白话ElasticSearch入门概念. 阅读本 ...
最新文章
- winform中的webbrowser里面操作html代码问题
- 安装图形界面、VNCserver
- 阿里巴巴牵手上汽集团:成立汽车科技公司
- 从零开始学前端:jQuery官网 --- 今天你学习了吗?(CSS:Day26)
- php 中英文截取 php,PHP 中英文截取无乱码
- 各位网友为什么当初投资P2P的人最后基本都是血本无归?
- 语言用符号打印出落叶的图案_世界上最好玩的6种表情符号编程语言
- 史上最简单MySQL教程详解(基础篇)之SQL语句以及预留关键字介绍
- 追新求快的时代,别让 Java Web 开发必备工具 Tomcat 变成“熟悉的陌生人”!
- 调试错误:InternalErro(seeabovefortraceback):BlasGEMMlaunchfailed:a.shape=(300,1),b.shape=(1,10),m=300,n=
- 并发编程学习之线程池工作原理
- Emmagee性能测试简单的使用
- Android ImageView属性
- 扭蛋机html源码,微信小程序wxss制作扭蛋机
- 什么是前台、中台、和后台?
- [软件工程] 面向对象分析
- 使用HTML语言和CSS开发商业站点
- osChina.net工具
- HTML——使用 img 标签插入 avi 文件
- 编程猫创作工具:新版Kitten新体验
热门文章
- java8接口可以实现方法目的_Java8 collector接口的定制实现
- DRL实战 : Dynamic Programming
- 模型选择 + 过拟合和欠拟合 动手学深度学习v2 pytorch
- MacOS ClashX 配置代理端口为0问题7890 配置iterm2终端代理
- 容器技术Docker K8s 30 容器服务ACK基础与进阶-弹性伸缩
- 可以在线测试血糖的软件,血糖也能自己测,糖护士荷智能血糖仪体验:测血糖就这么简单...
- xgboost与LightGBM的区别
- 2021-09-13强化学 习 原理及技术介绍
- FrameLayout AbsoluteLayout GridLayout用法及实例
- pcb板可挖孔吗_PCB板上的过孔的种类及打孔注意事项