vim /etc/logstash/conf.d/elk.conf添加一下内容input { stdin { } }output { elasticsearch {hosts => ["es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200"]user => ["elastic"]password => ["elastic"]index => ["blog_index"]} stdout { codec => rubydebug }}

启动logstash –f /etc/logstash/conf.d/elk.conf添加文档{"uid":300000, "name": "ruby3","create_time":122121212121}

5.1.1 Node和Cluster

Index 里面单条的记录称为 Document（文档）。许多条 Document 构成了一个 Index。

{"uid": "10000","name": "ruby"," create_time ": "10293822737"}

同一个 Index 里面的 Document，不要求有相同的结构（scheme），但是最好保持相同，这样有利于提高搜索效率。

5.1.4 Type

Document 可以分组，比如上面执行过程中我们分别通过命令行执行添加文档，通过logstash标准输入添加文档，监听日志文件添加文档，从kibana可以看出分别用3种type进行了分类

不同的 Type 应该有相似的结构（schema），举例来说，id字段不能在这个组是字符串，在另一个组是数值。这是与关系型数据库的表的一个区别。性质完全不同的数据（比如products和logs）应该存成两个 Index，而不是一个 Index 里面的两个 Type（虽然可以做到）。

下面的命令可以列出每个 Index 所包含的 Type。

curl -u elastic:elastic -XGET http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/_mapping?pretty=true | more

5.1.5 文档检索

curl -u elastic:elastic -XGET http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/blog_index/logs/_search

{"took": 3,"timed_out": false,"_shards": {"total": 5,"successful": 5,"failed": 0},"hits": {"total": 2,"max_score": 1.0,"hits": [{"_index": "blog_index","_type": "logs","_id": "AWIO_AUMoaPK_6mTOPor","_score": 1.0,"_source": {"@timestamp": "2018-03-10T08:17:00.138Z","@version": "1","host": "iZbp1bc4zyc7sxa8jhwur3Z","message": "{\"uid\":200000, \"name\": \"ruby2\",\"create_time\":122121212121}"}}, {"_index": "blog_index","_type": "logs","_id": "AWIPFPLeAoLK5rH2_0VU","_score": 1.0,"_source": {"@timestamp": "2018-03-10T08:44:13.854Z","@version": "1","host": "iZbp1bc4zyc7sxa8jhwur3Z","message": "{\"uid\":300000, \"name\": \"ruby3\",\"create_time\":122121212121}"}}]}}

5.1.5.2 全文搜索

查询语法：https://www.elastic.co/guide/en/elasticsearch/reference/5.5/query-dsl.html

使用条件搜索

curl -u elastic:elastic -XGET http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/blog_index/logs/_search -d '{"query" : { "match" : { "message" : "ruby3" }},"from":1,"size":1}

匹配条件为

message字段里包含 ruby3,

size为返回条数,

from为开始位置，可用户分页查询

结果为:

{"took": 6,"timed_out": false,"_shards": {"total": 5,"successful": 5,"failed": 0},"hits": {"total": 1,"max_score": 6.061471,"hits": [{"_index": "blog_index","_type": "logs","_id": "AWIPFPLeAoLK5rH2_0VU","_score": 6.061471,"_source": {"@timestamp": "2018-03-10T08:44:13.854Z","@version": "1","host": "iZbp1bc4zyc7sxa8jhwur3Z","message": "{\"uid\":300000, \"name\": \"ruby3\",\"create_time\":122121212121}"}}]}}

5.1.5.3 逻辑运算

或查询示例:

"query" : { "match" : { "message" : "ruby3 ruby2" }}

结果中包含ruby3 或则 ruby2

与查询示例:

"query" : {"bool":{"must":["match" : { "message" : "ruby2" }},"match" : { "message" : "ruby3" }}]}}

6.kibana的分析功能介绍

左边导航上选择Management->Kibana(Index Patterns),此处需要先手动命令行创建索引，然后再kibana中建立视图;

6.2 Discover

此功能是通过搜索查看文档数据，可通过添加过滤器或则填写表达式来进行搜索;

6.3 Visualize

6.4 Dashboard

这里主要对筛选条件进行组合并保存；

在“Dashboard” 菜单界面中，我们可以自由排列一组已保存的可视化数据。

点击左侧 “Dashboard” 菜单，再点击界面中间的 “Create a dashboard” 按钮进行创建；

6.5 Timelion

Timelion 是一个时间序列数据的可视化，可以结合在一个单一的可视化完全独立的数据源。它是由一个简单的表达式语言驱动的，用来检索时间序列数据，进行计算，找出复杂的问题的答案，并可视化的结果。

加入钉钉技术讨论群