ElasticSearch IK分词器配置文件 以及自定义词库

更多干货

  • 分布式实战（干货）
  • spring cloud 实战（干货）
  • mybatis 实战（干货）
  • spring boot 实战（干货）
  • React 入门实战（干货）
  • 构建中小型互联网企业架构（干货）
  • python 学习持续更新
  • ElasticSearch 笔记

一、概述

  • ik配置文件
  • 如何自己建立词库
  • 自己建立停用词库（不想去建立索引）

二、ik配置文件

ik配置文件地址：es/plugins/ik/config目录

  • IKAnalyzer.cfg.xml：用来配置自定义词库
  • main.dic：ik原生内置的中文词库，总共有27万多条，只要是这些单词，都会被分在一起
  • quantifier.dic：放了一些单位相关的词
  • suffix.dic：放了一些后缀
  • surname.dic：中国的姓氏
  • stopword.dic：英文停用词

ik原生最重要的两个配置文件

  • main.dic：包含了原生的中文词语，会按照这个里面的词语去分词
  • stopword.dic：包含了英文的停用词

停用词，stopword 如：

a the and at but

一般，像停用词，会在分词的时候，直接被干掉，不会建立在倒排索引中

三、自定义词库

3.1 自己建立词库

  • 每年都会涌现一些特殊的流行词，网红，蓝瘦香菇，喊麦，鬼畜，一般不会在ik的原生词典里
  • 自己补充自己的最新的词语，到ik的词库里面去
  • 补充自己的词语，然后需要重启es，才能生效
IKAnalyzer.cfg.xml：ext_dict，custom/mydict.dic

3.2 自己建立停用词库

停用词库：比如了，的，啥，么，我们可能并不想去建立索引，让人家搜索

custom/ext_stopword.dic，已经有了常用的中文停用词，可以补充自己的停用词，然后重启es

更多相关文章

  • ElasticSearch 笔记

  • 1_ElasticSearch使用term filter来搜索数据

  • 2_ElasticSearch filter执行原理 bitset机制与caching机制

  • 3_ElasticSearch 基于bool组合多个filter条件来搜索数据

  • 4_ElasticSearch 使用terms搜索多个值

  • 5_ElasticSearch 基于range filter来进行范围过滤

  • 6_ElasticSearch 控制全文检索结果的精准度

  • 7_ElasticSearch term+bool实现的multiword搜索原理

  • 8_基于boost的搜索条件权重控制

  • 9_ElasticSearch 多shard场景下relevance score不准确

  • 10_ElasticSearch dis_max实现best fields策略进行多字段搜索

  • 11_ElasticSearch 基于tie_breaker参数优化dis_max搜索效果

  • 12_ElasticSearch multi_match语法实现dis_max+tie_breaker

  • 13_ElasticSearch multi_match+most fiels策略进行multi-field搜索

  • 14_ElasticSearch 使用most_fields策略进行cross-fields search

  • 15_ElasticSearch copy_to定制组合field进行cross-fields搜索

  • 16_ElasticSearch 使用原生cross-fiels 查询

  • 17_ElasticSearch phrase matching搜索

  • 18_ElasticSearch 基于slop参数实现近似匹配

  • 19_ElasticSearch 使用match和近似匹配实现召回率与精准度的平衡

  • 20_ElasticSearch rescoring机制优化近似匹配搜索的性能

  • 21_ElasticSearch 前缀搜索、通配符搜索、正则搜索

  • 22_ElasticSearch 搜索推荐match_phrase_prefix实现search-time

  • 23_ElsaticSearch 搜索推荐ngram分词机制实现index-time更多干货

  • 24_ElasticSearch TF&IDF算法以及向量空间模型

  • 25_ElasticSearch 揭秘lucene的相关度分数算法

  • 26_ElasticSearch 四种常见的相关度分数优化方法

  • 27_ElasticSearch用function_score自定义相关度分数算法

  • 28_ElasticSearch误拼写时的fuzzy模糊搜索技术

  • 日志管理ELK

30_ElasticSearch IK分词器配置文件 以及自定义词库相关推荐

  1. 白话Elasticsearch29-IK中文分词之IK分词器配置文件+自定义词库

    文章目录 概述 ik配置文件 IK自定义词库 自定义词库 Step1 : 新建自定义分词库 Step2 : 添加到ik的配置文件中 Step3 :重启es ,查看分词 自定义停用词库 Step1 : ...

  2. Elasticsearch 之（24）IK分词器配置文件讲解以及自定义词库

    1.ik配置文件 ik配置文件地址:es/plugins/ik/config目录 IKAnalyzer.cfg.xml:用来配置自定义词库 main.dic:ik原生内置的中文词库,总共有27万多条, ...

  3. ElasticSearch学习 ④ IK分词器(elasticsearch插件)+自定义字典

    ES默认的分词器把中文每个字看作一个词,比如说:"我爱喝水"会被划分为"我","爱","喝","水" ...

  4. 31_ElasticSearch 修改IK分词器源码来基于mysql热更新词库

    31_ElasticSearch 修改IK分词器源码来基于mysql热更新词库 更多干货 分布式实战(干货) spring cloud 实战(干货) mybatis 实战(干货) spring boo ...

  5. Elasticsearch——分布式搜索引擎01（索引库、文档、RestAPI、RestClient、拼音分词器、IK分词器）

    Elasticsearch--分布式搜索引擎01(索引库.文档.RestAPI.RestClient.拼音分词器.IK分词器) 一.初识 elesticsearch 1.1 简介 1.2 倒排索引(重 ...

  6. Elasticsearch配置ik中文分词器自定义词库

    1.IK配置文件 在config目录下: IKAnalyzer.cfg.xml:配置自定义词库 main.dic:分词器自带的词库,索引会按照里面的词创建 quantifier.dic:存放计量单位词 ...

  7. ik mysql热加载分词_Elasticsearch 之（25）重写IK分词器源码来基于mysql热更新词库...

    热更新在上一节< IK分词器配置文件讲解以及自定义词库>自定义词库,每次都是在es的扩展词典中,手动添加新词语,很坑 (1)每次添加完,都要重启es才能生效,非常麻烦 (2)es是分布式的 ...

  8. ES入门学习：ElasticSearch、Kibana、ik分词器的安装、简单使用及SpringBoot集成

    前言 es是采用Java语言开发,因此,想要安装运行es需要提前准备好jdk环境,关于linux配置jdk在前文linux配置jdk 本文主要介绍es的安装.kibana的安装和简单使用及ik分词器的 ...

  9. 谷粒商城高级篇之ik分词器

    分词器 ik分词器的地址:https://github.com/medcl/elasticsearch-analysis-ik 找到对应版本的分词器 cd /mydata/elasticsearch/ ...

最新文章

  1. 设计模式五:外观模式
  2. spring transaction源码分析--事务架构
  3. 安全研究人员发现：Nanocore等多个远控木马滥用公有云服务传播
  4. 原型、原型对象、构造函数、原型链理解
  5. Soa和Wcf(转)
  6. android4.3 Bluetooth(le)分析之startLeScan分析
  7. 五大开源游戏引擎介绍
  8. leetcode160 相交链表
  9. pycharm python 模板配置_pycharm设置python脚本模板
  10. c语言编程单片机网线,【C语言】直播一下单片机编程
  11. 项目进度控制的重要性
  12. 阿铭Linux_传统IDC 部署网站学习笔记20190121
  13. 吕广渝：上帝视角看公司运营
  14. c语言五子棋存盘,C语言 五子棋(初学者版).doc
  15. Base64-encoded key bytes may only be specified for HMAC signatures.
  16. 抖音直播间千川投放有用吗？直播间投放分析有什么技巧
  17. 求生之路 自定义服务器,求生之路2·教你如何自定义绑定快捷键
  18. 使用腾讯云sms实现短信验证功能
  19. struts2自定义验证器(身份证验证)
  20. 美的空气能计算机故障维修,美的空气能故障代码,常见故障原因汇总,勿要错过...

热门文章

  1. 【ybt高效进阶1-5-2】【luogu P3456】山峰和山谷 / GRZ-Ridges and Valleys
  2. php站长统计,PHP统计各大引擎蜘蛛爬行访问记录插件
  3. （实测可用）STM32CubeMX教程-STM32L431RCT6开发板研究串口通信（SPI flash）
  4. 音调识别 php,PHP 汉字转拼音工具
  5. python中scroll的用法_Python_关于self.cur.scroll()的使用理解
  6. vue2和vue3响应式原理
  7. Python3.9的69个内置函数(内建函数)介绍,并附简单明了的示例代码
  8. 零基础如何入门学习电脑编程?
  9. Java零基础学习Java编程语言基础知…
  10. win10 opencv-4.1.0 环境配置