elasticsearch_script

文章目录

1. script 简述
- 1. script的类型和作用
- 2. script使用的方式
2. script的使用场景
- 1. update scripts
- 2. search 和agg 中使用script
- 3. search中获取doc的打分数据
3. script灵活使用的一些理解
4. script的使用方式
5. 样例
- 1. 在search中使用 script_score功能
- 2. 获取field的value，通过doc values
- 3. 获取field value 通过_source字段
- 4. 获取field value 通过store field

1. script 简述

elasticsearch的script使用比较灵活而且广泛，有必要先了解和学习一下

1. script的类型和作用

script 可以让你自定义的返回一些field，也可以让你自定义score的计算。
在es中可以使用的script的类型有三种,就像是三种编程语言一样

painless: 这个是最推荐的一种方式
expression: lucene expression
mustache: 这个一般用来定义search_template使用
java

painless 是效率比较好，也比较灵活的一种。后面介绍script的功能的时候也主要以这个为主进行介绍。

2. script使用的方式


"script": {"lang":   "...",  "source" | "id": "...", "params": { ... } }

source 部分是script的代码或者是使用id，调用存储的script的id。

2. script的使用场景

在不同的使用场景下script能够使用的doc的field是不相同的。

1. update scripts

在update, update-by-query, reindex API可以通过ctx前缀获取到

ctx._source : doc的_source 字段
ctx.op : 当前操作，index/delete/noop
ctx._index 等: doc的meta-fields，有些是只读的

2. search 和agg 中使用script

script fields 会在每个搜索命中的doc执行一次，其他在search和agg中使用的脚本将针对可能与search或agg匹配的每个文档执行一次，所有的普通字段值可以通过下面方式获取

doc-values : 获取方式为doc[‘cost_price’].value,只有有doc_value的字段才可以这样使用,text字段理论上不能这样用
the _source field : params._source.first_name 这里的params前缀必须要有
stored fields : params._fields[‘first_name’].value

同时还可以在一些特定的查询中获取比如score等字段

3. search中获取doc的打分数据

获取和修改文档的_score字段只能够在 function_score query, script-based sorting, 或者 aggregations 当中
具体的使用方式有不太相同，在function_score中使用 script_score属性，在script-based sorting 中使用_script 属性

script语法，点号“.”表示获取字段，中括号表示获取数组“[]”,对应的样例就是
params._source.first_name
params._fields[‘first_name’].value

3. script灵活使用的一些理解

script可以简单的理解像java一样
常见的数据类型有

字符串：对应的方法有.length() 方法
数组[]: 对应的属性有.length 对应的方法有.add() .size() 可以试试看看对应于field的value是不是可以添加元素，可能是根据现有field value的类型来决定的
正则：/aa/.split(str) 这个也太复杂了，就是java正则的使用，感觉一般情况先应该用不上吧。
数字

script的逻辑表达式只有两种

if else
for 循环

语法

int x;
List y;          add(ele) get(1)  y[1]=5  y.length()
int x, y = 5, z;
def d;
int i = 10;
float[] f;      f[0]  f.length  数组类型
Map[][] m;      get(key) m['a']='b'  m.a='a_value'
String r = "some text"

这个语法有点类似python的语法，比较简练

4. script的使用方式

直接在某些query中使用script关键字
search中使用script来产生额外的field使用的script_field关键字，然后再嵌套使用script关键字
search的function_score中使用script来自定义score时候使用的script_score关键字，然后再嵌套使用script关键字
search中使用script来产生sort字段的时候在sort字段中嵌套使用_script关键字，然后再嵌套使用 script关键字

5. 样例

1. 在search中使用 script_score功能

在 function_score 查询, script-based 排序（sorting）, 或者 aggregations 有能力获取到 _score 字段
需要使用script_score 查询。
比如下面是在function_score 中改变_score,其他类型的将来遇到再看


PUT my_index/_doc/1?refresh
{"text": "quick brown fox","popularity": 1
}PUT my_index/_doc/2?refresh
{"text": "quick fox","popularity": 5
}PUT my_index/_doc/3?refresh
{"text": "quick fox","popularity": 50
}GET my_index/_search
{"query": {"function_score": {"query": {"match": {"text": "quick brown fox"}},"script_score": {"script": {"lang": "expression","source": "_score * doc['popularity']"}}}}
}


{"took" : 1,"timed_out" : false,"_shards" : {"total" : 1,"successful" : 1,"skipped" : 0,"failed" : 0},"hits" : {"total" : {"value" : 3,"relation" : "eq"},"max_score" : 4.0225573,"hits" : [{"_index" : "my_index","_type" : "_doc","_id" : "3","_score" : 4.0225573,"_source" : {"text" : "quick fox","popularity" : 50}},{"_index" : "my_index","_type" : "_doc","_id" : "1","_score" : 1.2483562,"_source" : {"text" : "quick brown fox","popularity" : 1}},{"_index" : "my_index","_type" : "_doc","_id" : "2","_score" : 0.4022557,"_source" : {"text" : "quick fox","popularity" : 5}}]}
}

script base sorting

GET /_search
{"query" : {"term" : { "user" : "kimchy" }},"sort" : {"_script" : {"type" : "number","script" : {"lang": "painless","source": "doc['field_name'].value * params.factor","params" : {"factor" : 1.1}},"order" : "asc"}}
}

agg操作等后面再总结。

2. 获取field的value，通过doc values

使用 doc[‘field_name’]
但是因为string.text field 没有doc-values 所以如果想用这种方式获取的话需要打开 fielddata 设置，这是一个很昂贵的操作。所以尽量不要使用script获取text field的内容。


PUT my_index/_doc/1?refresh
{"cost_price": 100
}GET my_index/_search
{"script_fields": {"sales_price": {"script": {"lang":   "expression","source": "doc['cost_price'] * markup","params": {"markup": 0.2}}}}
}

3. 获取field value 通过_source字段

通过_source.field_name 可以获取到source中对应的字段，但是相对来说比doc-values的要慢很多。

PUT my_index
{"mappings": {"properties": {"first_name": {"type": "text"},"last_name": {"type": "text"}}}
}PUT my_index/_doc/1?refresh
{"first_name": "Barry","last_name": "White"
}GET my_index/_search
{"script_fields": {"full_name": {"script": {"lang": "painless","source": "params._source.first_name + ' ' + params._source.last_name"}}}返回主体
"hits" : [{"_index" : "my_index","_type" : "_doc","_id" : "1","_score" : 1.0,"fields" : {"full_name" : ["Barry White"]}}]

上面的script.source中还必须要带params。

4. 获取field value 通过store field

store field是指那些在mapping中定义的mapping param 为 store:true的field
可以使用 _fields[‘field_name’].value or _fields[‘field_name’] 语法

PUT my_index
{"mappings": {"properties": {"full_name": {"type": "text","store": true},"title": {"type": "text","store": true}}}
}PUT my_index/_doc/1?refresh
{"full_name": "Alice Ball","title": "Professor"
}GET my_index/_search
{"script_fields": {"name_with_title": {"script": {"lang": "painless","source": "params._fields['title'].value + ' ' + params._fields['full_name'].value"}}}
}

source field也是 store field的一种，所以_source field的性能和store field的性能接近，使用store filed的唯一场景是 _source特别大，我们并不需要获取全部的_source的时候使用store field会更好。

elasticsearch_script_01