logstash导入数据到Elasticsearch踩过的坑详解

一、前言

这篇主要记录在导入数据时候踩到的坑，这些坑总共花费我小一天的时间，记录一下。

二、正文

1、logstash显示在导入数据，ES也成功新建了索引，但是没数据

最开始遇到的是这个坑，logstash的输入框就僵住了，博主以为在导入数据呢，等了半天，ES竟然什么数据都没，气够呛。改动配置什么的依然无效，最后还是看日志吧。

（1） 查看logstash的导入进度，发现每次都是导入一条就没了。

默认位置：logstash-6.2.4\data\plugins\inputs\file

（2） 查看ES的日志：/logs/elasticsearch.log

1）错误1：Field [_type] is a metadata field and cannot be added inside a document. Use the index API request parameters.是_type字段的问题，更改_type为type，重新导入2）错误2：[2019-04-09T15:30:49,233][DEBUG][o.e.a.b.TransportShardBulkAction] [test_access][2] failed to execute bulk item (index) BulkShardRequest [[test_access][2]] containing [32] requestsorg.elasticsearch.index.mapper.MapperParsingException: Field [_id] is a metadata field and cannot be added inside a document. Use the index API request parameters.

后面一句的意思是，文档中不能包含_id字段，这个字段是ES的元数据字段。这里我们可使用id来代替试试。就这样看着ES的错误日志，有错就改，改着改着就能成功导入了。

2、ES中没有相关索引，导致不能导入数据的话

我自己本地设置过这个东西，所以没注意，不过如果真的碰到这种情况，按下面的代码设置即可。网上看到一段话，对于ES来说，5.0以上需要设置自动创建index。所以设置ES：

PUT /_cluster/settings
{"persistent" : {"action": {"auto_create_index": "true"}}
}

在kibana的tools里面输入这个执行就好了。

3、除了导入错误的原因，导致导入失败之外，还有个可能，就是logstash默认不处理一天前的文件。

参考：https://blog.csdn.net/zhaoyangjian724/article/details/52274656
解决方案：
（1） 配置中，在input的file处新增： ignore_older => 87400
（2） 修改我们要导入的数据，输入空行，或者新增一些数据，让文件的修改时间变成最新的

4、由于sincedb文件而引起的导入失败问题

有时候导入失败的可能性是这个管道已经在一个点运行，从而生成一个sincedb 文件。这将导致针对同一文件的每次后续运行得出结论已经处理了数据。

方案：

sincedb_path => "/dev/null"
OR
#for Windows
sincedb_path => "NUL"

这将禁用sincedb机制，并应在start_position: beginning每次运行时重新处理整个文件（因为您已添加）。这部分是看需求的，如果需要查看自己定义的sincedb_path文件来知道导入进度，那么最好还是不要禁用这个设置

================= Logstash 7.0 ==================================

1、logstash就停留在：

Successfully started Logstash API endpoint {:port=>9600}

首先按照之前的方案解决，发现没有作用，可能是logstash7.0的和之前的不一样吧。
（1） 如果你也出现相同的情况，那么请注意了，命令行显示success，代表stdin{}正在工作，那么此时，你要保证，你的配置文件的路径：
path => "E:\files\xx\xx.json" ，把反斜杠全部改成正斜杠， path => "E:/files/xx/xx.json" 然后删除sincedb文件，重新导入。你会发现，导入成功了，日
这个时候，我们打开elasticsearch-head，就会发现该索引下已经成功导入了数据，我的天。
（2） 需要注意，导入的文件也要有访问权限，如果文件无权限访问，那么自然logstash也无法读取导入
参考：https://discuss.elastic.co/t/stuck-at-successfully-started-logstash-api-endpoint-port-9600/155023

关于logstash的坑，我会持续补充在这篇博客。不说了，都是泪。

end

logstash导入数据到Elasticsearch踩过的坑详解相关推荐

python批量导入网页信息_python批量导入数据进Elasticsearch的实例
ES在之前的博客已有介绍,提供很多接口,本文介绍如何使用python批量导入.ES官网上有较多说明文档,仔细研究并结合搜索引擎应该不难使用. 先给代码 #coding=utf-8 from datet ...
JAVA 导入数据到Elasticsearch中
导入数据到Elasticsearch中文章目录导入数据到Elasticsearch中前言写入的几种方案具体操作实现版本: 测试 es入门使用 es索引使用 es分词使用 es聚合使用 j ...
安装elasticsearch踩过的坑，教训写在这里，一起共同努力，希望大家先通读一下再按着步骤操作，看过就知道哪些坑可以掠过
安装elasticsearch踩过的坑,教训写在这里,一起共同努力,希望大家先通读一下再按着步骤操作,看过就知道哪些坑可以掠过配置外网访问出现启动不了的问题: Java HotSpot(TM) 64 ...
elasticsearch性能测试工具rally深入详解
Elasticsearch性能测试工具rally深入详解题记 elasticsearch性能测试研究了很久,自己想过通过批量导入数据,然后记录时间,统计CPU.内存等变化,计算得出某个性能指标.但显然 ...
Logstash数据处理服务的输出插件Output配置参数详解
Logstash数据处理服务的输出插件Output配置参数详解 1.将日志数据存储到Elasticsearch集群 output配置字段是将收集的日志数据存输出到生存储中,一般都是elasticsea ...
Oracle数据泵备份与恢复命令 expdp/impdp 用法详解
Oracle数据泵备份与恢复命令 expdp/impdp 用法详解关于expdp和impdp 使用EXPDP和IMPDP时应该注意的事项: EXP和IMP是客户端工具程序,它们既可以在客户 ...
ElasticSearch 全文搜索引擎的查询详解①（Ubuntu版 v6.6.2）
ElasticSearch 全文搜索引擎的查询详解①(Ubuntu版 v6.6.2) 1. 前提 2. 轻量搜索 2.1 单条件查询 2.2 多条件查询 2.3 不指定属性查询(查询所有文档属性)-- ...
03 mysql数据查询_MySql学习day03：数据表之间的连接、查询详解
主键: 关键字:primary key 特点:不能为null,并且唯一. 主键分类: 逻辑主键:例如ID,不代表实际的业务意义,只是用来唯一标识一条记录(推荐) 业务主键:例如username,参与实 ...
pycharm导入python环境是空的_PyCharm导入python项目并配置虚拟环境的教程详解
PyCharm导入python项目并配置虚拟环境的教程详解进入PyCharm后,点击File→Open,然后在弹窗中选择需要导入项目的文件夹: 打开了python项目后,需要配置该项目对应的pyth ...

logstash导入数据到Elasticsearch踩过的坑详解

二、正文

logstash导入数据到Elasticsearch踩过的坑详解相关推荐

最新文章

热门文章