查询ElasticSearch:用SQL代替DSL
ES7.x版本的x-pack自带ElasticSearch SQL,我们可以直接通过SQL REST API、SQL CLI等方式使用SQL查询。
SQL REST API
在Kibana Console中输入:
POST /_sql?format=txt
{"query": "SELECT * FROM library ORDER BY page_count DESC LIMIT 5"
}
将上述SQL替换为你自己的SQL语句,即可。返回格式如下:
author | name | page_count | release_date
-----------------+--------------------+---------------+------------------------
Peter F. Hamilton|Pandora's Star |768 |2004-03-02T00:00:00.000Z
Vernor Vinge |A Fire Upon the Deep|613 |1992-06-01T00:00:00.000Z
Frank Herbert |Dune |604 |1965-06-01T00:00:00.000Z
SQL CLI
elasticsearch-sql-cli是安装ES时bin目录的一个脚本文件,也可单独下载。我们在ES目录运行
./bin/elasticsearch-sql-cli https://some.server:9200
输入sql即可查询
sql> SELECT * FROM library WHERE page_count > 500 ORDER BY page_count DESC;author | name | page_count | release_date
-----------------+--------------------+---------------+---------------
Peter F. Hamilton|Pandora's Star |768 |1078185600000
Vernor Vinge |A Fire Upon the Deep|613 |707356800000
Frank Herbert |Dune |604 |-144720000000
SQL To DSL
在Kibana输入:
POST /_sql/translate
{"query": "SELECT * FROM library ORDER BY page_count DESC","fetch_size": 10
}
即可得到转化后的DSL query:
{"size": 10,"docvalue_fields": [{"field": "release_date","format": "epoch_millis"}],"_source": {"includes": ["author","name","page_count"],"excludes": []},"sort": [{"page_count": {"order": "desc","missing": "_first","unmapped_type": "short"}}]
}
因为查询相关的语句已经生成,我们只需要在这个基础上适当修改或不修改就可以愉快使用DSL了。
下面我们详细介绍下ES SQL 支持的SQL语句 和 如何避免错误使用。
首先需要了解下ES SQL支持的SQL语句中,SQL术语和ES术语的对应关系:
ES SQL的语法支持大多遵循ANSI SQL标准,支持的SQL语句有DML查询和部分DDL查询。
DDL查询如:DESCRIBE table
,SHOW COLUMNS IN table
略显鸡肋,我们主要看下对SELECT,Function
的DML查询支持。
SELECT
语法结构如下:
SELECT [TOP [ count ] ] select_expr [, ...]
[ FROM table_name ]
[ WHERE condition ]
[ GROUP BY grouping_element [, ...] ]
[ HAVING condition]
[ ORDER BY expression [ ASC | DESC ] [, ...] ]
[ LIMIT [ count ] ]
[ PIVOT ( aggregation_expr FOR column IN ( value [ [ AS ] alias ] [, ...] ) ) ]
表示从0-N个表中获取行数据。SQL的执行顺序为:
获取所有
FROM
中的关键词,确定表名。如果有
WHERE
条件,过滤掉所有不符合的行。如果有
GROUP BY
条件,则分组聚合;如果有HAVING
条件,则过滤聚合的结果。上一步得到的结果经过
select_expr
运算,确定具体返回的数据。如果有
ORDER BY
条件,会对返回的数据排序。如果有
LIMIT
orTOP
条件,会返回上一步结果的子集。
与常用的SQL有两点不同,ES SQL 支持
TOP [ count ]
和PIVOT ( aggregation_expr FOR column IN ( value [ [ AS ] alias ] [, ...] ) )
子句。
TOP [ count ]
:如SELECT TOP 2 first_name FROM emp
表示最多返回两条数据,不可与LIMIT
条件共用。
PIVOT
子句会对其聚合条件得到的结果进行行转列,进一步运算。这个我是没用过,不做介绍。
FUNCTION
基于上面的SQL我们其实已经能有过滤,聚合,排序,分页功能的SQL了。但是我们需要进一步了解ES SQL中FUNCTION的支持,才能写出丰富的具有全文搜索,聚合,分组功能的SQL。
使用SHOW FUNCTIONS
可列举出支持的函数名称和所属类型。
SHOW FUNCTIONS;name | type
-----------------+---------------
AVG |AGGREGATE
COUNT |AGGREGATE
FIRST |AGGREGATE
FIRST_VALUE |AGGREGATE
LAST |AGGREGATE
LAST_VALUE |AGGREGATE
MAX |AGGREGATE
MIN |AGGREGATE
SUM |AGGREGATE
........
我们主要看下聚合,分组,全文搜索相关的常用函数。
全文匹配函数
MATCH
:相当于DSL中的match and multi_match查询。
MATCH(field_exp, --字段名称constant_exp, --字段的匹配值[, options]) --可选项
使用举例:
SELECT author, name FROM library WHERE MATCH(author, 'frank');author | name
---------------+-------------------
Frank Herbert |Dune
Frank Herbert |Dune Messiah
SELECT author, name, SCORE() FROM library WHERE MATCH('author^2,name^5', 'frank dune');author | name | SCORE()
---------------+-------------------+---------------
Frank Herbert |Dune |11.443176
Frank Herbert |Dune Messiah |9.446629
QUERY
:相当于DSL中的 query_string 查询。
QUERY(constant_exp --匹配值表达式[, options]) --可选项
使用举例:
SELECT author, name, page_count, SCORE() FROM library WHERE QUERY('_exists_:"author" AND page_count:>200 AND (name:/star.*/ OR name:duna~)');author | name | page_count | SCORE()
------------------+-------------------+---------------+---------------
Frank Herbert |Dune |604 |3.7164764
Frank Herbert |Dune Messiah |331 |3.4169943
SCORE()
:返回输入数据和返回数据的相关度relevance.
使用举例:
SELECT SCORE(), * FROM library WHERE MATCH(name, 'dune') ORDER BY SCORE() DESC;SCORE() | author | name | page_count | release_date
---------------+---------------+-------------------+---------------+--------------------
2.2886353 |Frank Herbert |Dune |604 |1965-06-01T00:00:00Z
1.8893257 |Frank Herbert |Dune Messiah |331 |1969-10-15T00:00:00Z
聚合函数
AVG(numeric_field)
:计算数字类型的字段的平均值。
SELECT AVG(salary) AS avg FROM emp;
COUNT(expression)
:返回输入数据的总数,包括COUNT()时field_name对应的值为null的数据。
COUNT(ALL field_name)
:返回输入数据的总数,不包括field_name对应的值为null的数据。
COUNT(DISTINCT field_name)
:返回输入数据中field_name对应的值不为null的总数。
SUM(field_name)
:返回输入数据中数字字段field_name对应的值的总和。
MIN(field_name)
:返回输入数据中数字字段field_name对应的值的最小值。
MAX(field_name)
:返回输入数据中数字字段field_name对应的值的最大值。
分组函数
这里的分组函数是对应DSL中的bucket分组。
HISTOGRAM
:语法如下:
HISTOGRAM(numeric_exp, --数字表达式,通常是一个field_namenumeric_interval --数字的区间值
)HISTOGRAM(date_exp, --date/time表达式,通常是一个field_namedate_time_interval --date/time的区间值
)
如下返回每年1月1号凌晨出生的数据:
ELECT HISTOGRAM(birth_date, INTERVAL 1 YEAR) AS h, COUNT(*) AS c FROM emp GROUP BY h;h | c
------------------------+---------------
null |10
1952-01-01T00:00:00.000Z|8
1953-01-01T00:00:00.000Z|11
1954-01-01T00:00:00.000Z|8
1955-01-01T00:00:00.000Z|4
1956-01-01T00:00:00.000Z|5
1957-01-01T00:00:00.000Z|4
1958-01-01T00:00:00.000Z|7
1959-01-01T00:00:00.000Z|9
1960-01-01T00:00:00.000Z|8
1961-01-01T00:00:00.000Z|8
1962-01-01T00:00:00.000Z|6
1963-01-01T00:00:00.000Z|7
1964-01-01T00:00:00.000Z|4
1965-01-01T00:00:00.000Z|1
ES SQL局限性
因为ES SQL和ES DSL在功能上并非完全匹配,官方文档提到的SQL局限性有:
大的查询可能抛ParsingException
在解析阶段,极大的查询会占用过多的内存,在这种情况下,Elasticsearch SQL引擎将中止解析并抛出错误。
nested类型字段的表示方法
SQL中不支持nested类型的字段,只能使用
[nested_field_name].[sub_field_name]
这种形式来引用内嵌子字段。
使用举例:
SELECT dep.dep_name.keyword FROM test_emp GROUP BY languages;
nested类型字段不能用在where 和 order by 的Scalar函数上
如以下SQL都是错误的
SELECT * FROM test_emp WHERE LENGTH(dep.dep_name.keyword) > 5;SELECT * FROM test_emp ORDER BY YEAR(dep.start_date);
不支持多个nested字段的同时查询
如嵌套字段nested_A和nested_B无法同时使用。
nested内层字段分页限制
当分页查询有nested字段时,分页结果可能不正确。这是因为:ES中的分页查询发生在Root nested document上,而不是它的内层字段上。
keyword类型的字段不支持normalizer
不支持数组类型的字段
这是因为在SQL中一个field只对应一个值,这种情况下我们可以使用上面介绍的 SQL To DSL的API 转化为DSL语句,用DSL查询就好了。
聚合排序的限制
排序字段必须是聚合桶中的字段,ES SQL CLI突破了这种限制,但上限不能超过512行,否则在sorting阶段会抛异常。推荐搭配
Limit
子句使用,如:
SELECT * FROM test GROUP BY age ORDER BY COUNT(*) LIMIT 100;
聚合排序的排序条件不支持Scalar函数或者简单的操作符运算。聚合后的复杂字段(比如包含聚合函数)也是不能用在排序条件上的。
以下是错误例子:
SELECT age, ROUND(AVG(salary)) AS avg FROM test GROUP BY age ORDER BY avg;SELECT age, MAX(salary) - MIN(salary) AS diff FROM test GROUP BY age ORDER BY diff;
子查询的限制
子查询中包含GROUP BY or HAVING
或者比SELECT X FROM (SELECT ...) WHERE [simple_condition]
这种结构复杂,都是可能执行不成功的。
TIME 数据类型的字段不支持GROUP BY条件和HISTOGRAM函数
如以下查询是错误的:
SELECT count(*) FROM test GROUP BY CAST(date_created AS TIME);SELECT HISTOGRAM(CAST(birth_date AS TIME), INTERVAL '10' MINUTES) as h, COUNT(*) FROM t GROUP BY h
但是将TIME类型的字段包装为Scalar函数返回是支持GROUP BY的,如:
SELECT count(*) FROM test GROUP BY MINUTE((CAST(date_created AS TIME));
返回字段的限制
如果一个字段不在source中存储,是无法查询到的。keyword, date, scaled_float, geo_point, geo_shape
这些类型的字段不受这种限制,因为他们不是从_source
中返回,而是从docvalue_fields
中返回。
有道无术,术可成;有术无道,止于术
欢迎大家关注Java之道公众号
好文章,我在看❤️
查询ElasticSearch:用SQL代替DSL相关推荐
- python 查询 elasticsearch 常用方法(Query DSL)
2019独角兽企业重金招聘Python工程师标准>>> 1. 建立连接 from elasticsearch import Elasticsearch es = Elasticsea ...
- 如何用你最熟悉的 SQL 来查询 Elasticsearch 中的数据?
点击上方蓝色"程序猿DD",选择"设为星标" 回复"资源"获取独家整理的学习资料! Elasticsearch 是一个全文搜索引擎,具有您期 ...
- java es sql groupby_使用 SQL 查询 ElasticSearch EsParser
软件介绍 还在为学习elasticsearch的api而苦恼吗?还在为完不成搜索任而烦恼吗? EsParser帮你解决上面的问题,它完全可以作为mysql来使用,提高网站的访问速度,提高项目的开发效率 ...
- Elasticsearch查询时还在百度DSL语句吗?你可能需要这份总结
意气风发啊骑上我快乐的小摩托良心公众号啊!我上墙了你开始了嚯嚯嚯嚯嚯哈哈哈哈哈皮皮虾我们走可乐在厨房 红牛在冰箱6666666 看弹幕,点关注 " Do your little bit of ...
- Elasticsearch通关教程(五):如何通过SQL查询Elasticsearch
2019独角兽企业重金招聘Python工程师标准>>> 这篇博文本来是想放在全系列的大概第五.六篇的时候再讲的,毕竟查询是在索引创建.索引文档数据生成和一些基本概念介绍完之后才需要的 ...
- 如何用 SQL 来查询 Elasticsearch 中的数据?
大点击"开发者技术前线",选择"星标" 在看|星标|留言, 真爱 回复"666",获取一份技术人专属大礼包 参考:https://elas ...
- 面试官发难,如何用 SQL 来查询 Elasticsearch 中的数据?
点击"开发者技术前线",选择"星标????" 让一部分开发者看到未来 回复"666",获取一份技术人专属大礼包 参考:https://ela ...
- ElasticSearch的sql语法说明和简单使用
出自 图灵学院 ElasticSearch课程 我自己学完了,然后给老师的代码和讲义自己练习了一遍,然后整理了一下,做了个笔记 概述 Elasticsearch SQL允许执行类SQL的查询,可以使用 ...
- 视图函数中进行sql查询,防止sql注入
视图函数中进行sql查询 import pymysql # 创建连接 use_unicode=true指定字符的编码.解码格式,进行自动编码解码,mysql数据库的编码格式为gbk,而项目数据库为ut ...
最新文章
- 折腾Java设计模式之责任链模式
- Servlet跳转到jsp页面的几种方法
- python无法选择安装位置图_python怎么安装?(教程图解)
- for+next()实现数组的遍历及while list each 的使用
- 系列4—BabeLua常见问题
- ubuntu下libfetion问题
- Java岗大厂面试百日冲刺 - 日积月累,每日三题【Day17】—— 数据库4
- 用Excel制作不一样的分割图表
- Android集成高德地图实现自定义Marker
- vnc-4.0-winsrc版本之winvnc工程分析_源码研究
- ArrayList集合
- 任意文件读取漏洞知识梳理
- ip中继对接_无线路由中继以及本地固定IP设定
- “求同”不是最终目标,英特尔致力打造有“差异”的精彩
- 使用MySQL可视化客户端,例如SQLyog,Navicat等,只编写SQL语句,使用2的N次方原理,快速初始化百万千万条数据
- 戴尔R720系列服务器CPU升级,Dell 服务器R720的CPU列表
- webuploader 实现图片批量上传功能附实例代码
- 120328 HP惠普电脑忽然变慢的原因
- SQL Server 2012 随时随地管理数据
- java毕业设计慢性病管理(附源码、数据库)
热门文章
- php cli输出百分比,CLI模式。能不能修改已经输出的内容?
- Django中的日期处理注意事项和自定义时间格式转换
- canal布在mysql端还是服务端_canal使用入坑,亲测 !!!!
- kali linux 清华源_Kali Linux系统更新安装国外源教程:
- wxpython是干嘛的_你都用 Python 来做什么?
- 数据结构之图的应用:有向无环图
- 9-2:C++多态之纯虚函数和抽象类以及接口继承和实现继承
- 1-6:学习shell之重定向
- Python3回调函数
- 设计模式:策略模式(C++)【诸葛亮的锦囊妙计】