oracle 自定义分词器,自定义分词器和自定义词典

自定义词典

全文检索功能在构建索引和查询时，都需要对文档或待查询语句进行分词，分词结果直接影响索引构建及查询结果。AliNLP在大部分场景下可以得到理想的分词结果，但在一些特定的场景下，分词结果会造成查询结果差异，并不能满足业务实际需求，自定义词典提供的灵活扩充词库能力，可以很好的解决这个问题。

AnalyticDB MySQL版 3.0的全文检索支持自定义词典，您可以对词典表进行增加和删除以达到维护词典的目的，也可以按需创建多张词典表，以达到不同的应用场景使用不同词典的目的。

创建自定义词典表

AnalyticDB MySQL版 3.0中，具体的创建语法如下：CREATE TABLE `ext_dict` (

`value` varchar(255) NOT NULL COMMENT '扩展词/停止词值',

`type` varchar(4) NOT NULL DEFAULT 'main' COMMENT 'main表示扩展词, stop表示停止词(暂不支持停止词)',

PRIMARY KEY (`value`,`type`)

) COMMENT='用户词典表'

FULLTEXT_DICT = 'Y';

约束：

词典只能有两个字段：value和type；

value和type字段都为varchar类型，并且不能为空；

词典表主键必须同时包含value和type字段；

字段解释：

value字段表示具体的词条内容；

type字段用来标记词条类型，比如扩展词和停止词，在目前的应用场景中，只有扩展词(main)是合法的，其他类型的词条可以写入，但不会生效。

AnalyticDB MySQL版对可以创建的全文词典的数量进行了限制。目前一个逻辑库可以创建一个全文词典表，一个物理库中可以创建最多十个全文词典表。

更新自定义词典

词典本身是一张表，读写操作与普通表无异，具体约束为：

词典表不允许执行Online DDL；

不支持update和truncate；

不支持禁用索引；

不支持使用全文索引、自定义词典、自定义分词器；

词典表在被其他索引使用时禁止删除。

插入一个词条：INSERT INTO ext_dict (`value`) VALUES ('浙A');

删除一个词条：DELETE FROM ext_dict WHERE `value` = '浙A' AND `type` = 'main';

一个词典默认最多允许插入1w条记录，如果需要调整插入记录数，请提交工单。

您插入或者删除词典中的词条后，词典会立刻生效，对于新写入数据表的数据，将使用自定义词典最新的词条进行分词。

使用自定义词典

创建全文索引时，可以指定全文索引使用的自定义词典，以在线创建全文索引为例：ALTER TABLE `test` ADD FULLTEXT INDEX t_idx(`title`) WITH DICT [logical_schema.]table;

使用with dict指定使用的自定义词典，指定的自定义词典必须满足以下条件：

是一个自定义词典表；

当前用户具备对应自定义词典表的SELECT权限。

自定义词典中的单个词条如果是中英文混合，例如车牌号前缀 “浙A”，在指定自定义词典时需要同时指定使用AliNLP分词器，例如：ALTER TABLE `test` ADD FULLTEXT INDEX t_idx(`title`) WITH DICT ext_dict WITH ANALYZER alinlp;

oracle 自定义分词器,自定义分词器和自定义词典相关推荐

中文分词工具jieba分词器的使用
1.常见的中文分词工具中科院计算所的NLPIR 哈工大LTP 清华大学THULAC 斯坦福分词器 Hanlp分词器 jieba分词 IKAnalyzer 2.jieba分词算法主要有以下三种: 1. ...
与自定义词典分词_使用jieba库进行中文分词、关键词提取、添加自定义的词典进行分词...
jieba库在中文分词中很常用,做一个简单的介绍和运用~ 需求1:打开本地的十九大报告文本,并采用jieba分词器进行分词,最后将分词结果存入名为segresult的文本文件中. 注释:①jieba库 ...
CentOS安装Elasticsearch_IK分词器拼音分词器_部署kibana_部署es集群
CentOS安装Elasticsearch_IK分词器_部署kibana_部署es集群一.部署单点es ①:创建网络因为我们还需要部署kibana容器,因此需要让es和kibana容器互联.这里先 ...
ES自定义Analyzer扩展IK分词
IPS产品关键词搜索需求要对英文标题.品牌(英文).规格属性(英文).产品型号.描述属性.商品特征.关键搜索词等字段进行模糊匹配搜索前期由于拿不到数据也不清楚具体数据是什么样的,并且线上集群也没有安 ...
Android应用--简、美音乐播放器获取专辑图片（自定义列表适配器）
Android应用--简.美音乐播放器获取专辑图片(自定义列表适配器) 2013年7月3日简.美音乐播放器开发第二阶段已增加功能: 1.歌词滚动显示 2.来电监听 3.音量控制 4.左右滑动切换歌词 ...
扩展springmvc组件——当页面跳转时，需要在Controller里面创建一个空方法去跳转或者是创建一个配置类 ||日期格式化说明||自定义格式化器||消息转化器扩展fastjson
在容器中注册视图控制器当页面跳转时,我们需要在Controller里面创建一个空方法去跳转,那么有没有别的配置方法呢创建一个WebMvcConfig的配置类实现WebMvcConfigure ...
java kafka 设置分区_Java kafka如何实现自定义分区类和拦截器
Java kafka如何实现自定义分区类和拦截器 2.producer配置文件指定,具体的分区类 // 具体的分区类 props.put(ProducerConfig.PARTITIONER_CLAS ...
ML之LiR：利用LiR线性回归算法(自定义目标函数MSE和优化器GD)对Boston房价数据集(两特征+归一化)进行回归预测
ML之LiR:利用LiR线性回归算法(自定义目标函数MSE和优化器GD)对Boston房价数据集(两特征+归一化)进行回归预测目录利用LiR线性回归算法(自定义目标函数MSE和优化器GD)对Bos ...
【SpringBoot】SpringBoot拦截器实战和 Servlet3.0自定义Filter、Listener
=================6.SpringBoot拦截器实战和 Servlet3.0自定义Filter.Listener ============ 1.深入SpringBoot2.x过滤器Fi ...
Struts2 自定义拦截器(方法拦截器)
转自:http://05061107cm.iteye.com/blog/365504 struts2系统自带了很多拦截器,有时需要我们自己定义,一般有两种方式: 一.实现Interceptor接口 J ...

oracle 自定义分词器,自定义分词器和自定义词典

oracle 自定义分词器,自定义分词器和自定义词典相关推荐

最新文章

热门文章