Elasticsearch能把普通的sql翻译成DSL的插件

一、前言

作为一名phper，之前查询数据之类用的都是普通的sql,现在突然要用ES的DSL查询，实在是有点艰难。刚好在看大佬博客的时候，看到大佬提了一句关于sql转化的插件，于是立马去研究一下。

二、那些年我们研究过的插件

1、ElasticHQ工具

（1）下载安装
（2）本地安装python 3.4+
（3）进入安装ElasticHQ的主目录，执行：pip install -r requirements.txt
（4）进入安装ElasticHQ的主目录，启动服务器命令：python3 application.py
（5）浏览器输入：localhost:5000
（6）官方文档：http://docs.elastichq.org/installation.html

没找到那个tool，也没找到翻译功能，不知道人家的页面是怎么弄的。大神成功翻译的截图：https://blog.csdn.net/laoyang360/article/details/78556221

2、Elasticsearch-sql工具

（1）可以在浏览器直接通过sql的形式获取数据（2）可以把普通的sql转化为DSL语言（3）官方文档：https://github.com/NLPchina/elasticsearch-sql（4）优秀博客：https://blog.csdn.net/cb2474600377/article/details/78181974（5）注意：在elasticsearch 1.x / 2.x上，可以直接访问elasticsearch-sql web前端页面：http://localhost:9200/_plugin/sql/
在elasticsearch 5.x / 6.x上,需要先下载个网站插件 download and extract site.  链接：https://github.com/NLPchina/elasticsearch-sql/releases/download/5.4.1.0/es-sql-site-standalone.zip（6）下载浏览器插件，然后依次执行：cd site-servernpm install express --save     //npm installnode node-server.js        //这个命令执行之后，输入框没什么明显反应，此时直接访问端口即可（7）elasticsearch-sql的默认端口是8080，可以在site-server/site_configuration.json文件中进行修改 （8）浏览器能正常访问之后，在右上角有一个地址，这个地址要填上我们的ES的地址，例如：locahost:9200

3、能把mysql的sql转化为es的DSL的php操作类库

github：https://github.com/qieangel2013/EsParser
(PS:这个我测试了下，只能翻译很简单的sql，而且没人维护了。。,不建议使用)

三、测试sql转化（Elasticsearch-sql）

下载安装了三个类库，只有这个能用了，测试一下下。。

1、写一个简单的sql

select * from test_access2/test_2 where name='chero_devel.ucool.com' limit 1,2

2、使用es-sql生成DSL

{"from": 1,"size": 2,"query": {"bool": {"filter": [{"bool": {"must": [{"match_phrase": {"name": {"query": "chero_devel.ucool.com","slop": 0,"boost": 1}}}],"adjust_pure_negative": true,"boost": 1}}],"adjust_pure_negative": true,"boost": 1}}
}

这部分博主是记录在记事本上的笔记，所以已经把DSL的括号什么的都对上了，看起来有点怪，各位见谅哈

3、在ES-PHP方法中按照生成的DSL查询

 public function actionTestSql(){$params = ['index' => 'test_access2','type' => 'text_2','body' => ["from"=> 1,"size"=> 2,"query"=> ["bool"=> ["filter"=> ["bool"=>["must"=>["match_phrase"=> [//source.beat.name"source.beat.name"=> ["query"=> "chero_devel.ucool.com","slop"=> 0,"boost"=> 1]]],"adjust_pure_negative"=> true,"boost"=> 1]],"adjust_pure_negative"=> true,"boost"=> 1]]]];$repos =  $this->client->search($params);var_dump($repos);exit;}

4、成功查到了数据

但是，生成的格式是json的，php还要自己转化成数组的格式，然后调用API，实在是，有些过于痛苦了，只能提升一丢丢速度吧。切记要把中括号都对应好，不然对应不好的话，会报错：

 {"root_cause":[{"type":"parsing_exception","reason":"[bool] malformed query, expected [END_OBJECT] but found [FIELD_NAME]","line":1,"col":194}]

四、其他

1、ES聚合的性能优化

https://blog.csdn.net/wangmaohong0717/article/details/82429278

把group by和limit等转化为DSL：https://segmentfault.com/a/1190000014946753

2、ES通过父子文档的来实现mysql中的join问题

https://blog.csdn.net/ctwy291314/article/details/82781667  （ES6.0之后的父子级关系和6.0之前的父子级关系不一样，需要警惕）

3、我的理解

测试了一整圈，发现最终还是要自己来拼写DSL查询了。既然涉及到大数据，那查询的sql也是很复杂的，这些插件都不怎么靠谱，翻译简单的还行，复杂的就直接报错。对，说的就是那个Elasticsearch-sql，随便一个复杂的sql直接报错了，日哦。

不过，ES6.3发布之后，带来了很多新特性，参考;https://www.elastic.co/blog/elasticsearch-6-3-0-released 其中最大的亮点，莫过于内置支持SQL模块。不过截止到现在，6.7之后的版本已经把sql部分的工作作为GA(release)发布,单纯的sql查询是免费提供的功能，如果版本够新，还是用自带的更靠谱一些。

end