ELK学习8_ELK数据流传输过程_问题总结1
数据流传输过程描述:
使用Java程序,读取本地的.csv文件;
发送给集群中的Kafka;
Kafka将数据传给Logstash,这个过程中,Logstash中设置有filter,对字符串进行匹配或过滤;
ES对数据进行检索。
问题一:
Filter会对Logstash处理数据的速度产生影响。
如果对所有字段进行匹配,并将格式转换为需要的,处理时间会很长,很可能每秒只能处理几条。
问题二:
节点状态有三种,green、yellow、red,单个节点下,不同的存储内容也有这三种情况,如果某个文件变为red状态,应该怎样操作。
问题三:
Logstash启动后,可能只有一台机器在接收数据,其他两台只是在起备份的作用,寻找原因所在,现在猜测可能和Kafka有关,即Kafka集群中,也只有一台机器在给Logstash发送数据。
问题四:
Logstash启动问题
Logstash的filter中加上新设定的字段,方便ES进行检索,新字段的定义在conf目录下,故以后启动时,也应该在conf目录下启动,否则会报错:
pattern %{ MYPATTERN:新定义的字段名} not defined
(已经解决)
问题五:
Logstash停止问题
Logstash使用新的启动文件进行启动时,会先使用“Ctrl”+“C”键停止现在运行的Logstash,此时,会先显示以下信息:
SIGINT received. Shutting down the pipeline. {:level=>:warn}
接下来是一堆红色信息,信息的开始部分是已发送数据的一条。
再使用“Ctrl”+“C”键,会报以下信息:
SIGINT received. Terminating immediately. {:level=>:fata}
原因暂时未知。
来源:http://blog.csdn.net/wang_zhenwei/article/details/49895341
ELK学习8_ELK数据流传输过程_问题总结1相关推荐
- ELK学习9_ELK数据流传输过程_问题总结2
目的:使用Java程序把一个.csv文件发送给Kafka,再发送给ELK 实验步骤:见以前的博客 遇到的问题: 一. 直接发送比较大的.csv文件,ELK接到的汉字内容是乱码的 发送比较小的.csv文 ...
- ELK学习6_Kafka-Logstash-Elasticsearch数据流操作
Logstash配置过程 在Logstash中建立input和output的条件: [html] view plaincopy [hadoop@Slave1 ~]$ cd /usr/local/ [h ...
- ELK学习4_Elasticsearch+Logstash+Kibana安装_简易版
ELK安装 下载地址: Elastic相关组件下载总地址: https://www.elastic.co/downloads ES下载地址: https://www.elastic.co/downlo ...
- android voip通话音频数据流传输过程解析
我在前面几篇博客中已经描述了sip通话的建立过程,以及基本代码实现流程,但是我们真正的目的是基于sip协议进行语音通话,本文分析这些音频流是如何建立和传输的. 与音频流传输相关的两个java类为Aud ...
- nginx与mysql传输过程_某互联网企业技术发展史(四)配置nginx和mysql兼容Yii框架,上传网站并调试成功...
昨天安装好了php.nginx和squid,今天配置mysql和nginx,使nginx兼容Yii框架,并上传网站,将网站调试和配置好. 1, 首先配置下php的时区 # vi /etc/php.in ...
- 高中计算机教师资格证面试怎么准备什么,高中信息技术教师资格证面试真题:数据的传输过程...
高中信息技术教师资格面试的题型和其他学科有些许区别,对专业知识的把控比较严格.学霸君准备了高中信息技术教师资格面试真题:数据的传输过程,希望考生在学习中成长.进步. 此题目为2019下半年高中信息技术 ...
- ubuntu 安装Pangolin 过程_余辉亮的学习笔记的博客-CSDN博客_pangolin安装
ubuntu 安装Pangolin 过程_余辉亮的学习笔记的博客-CSDN博客_pangolin安装
- ELK学习笔记之Logstash详解
0x00 Logstash概述 官方介绍:Logstash is an open source data collection engine with real-time pipelining cap ...
- http请求过程_“HTTP请求的整个过程”与它引出了整个计算机网络知识图谱(一)...
小猿的某同事不甘于现状,近期到处投简历面试.某天,小猿只见某灰头土脸.唉声叹气,于是小猿本着看热闹不嫌事儿大的心态,一脸坏笑凑上去问:"大佬,最近面试咋样,是不是都拿好几个offer了~^_ ...
最新文章
- python中的list和array的区别及相互转化
- 《openssl编程》之基础知识
- 取sql数据乱码_不基于备份和表,生产系统数据误删就能完全恢复
- 6个座位办公室最佳位置_四人办公室座次的首选最佳座位在哪儿
- 求整数的位数及各位数字之和(C语言)
- linux命令格式,获取帮助及其目录结构简要理解
- MSProject的使用教程
- linux mbr转换成gpt分区格式,GPT分区格式与MBR格式互相转换的方法
- IIS本地FTP服务器搭建
- 安卓一键清理内存_雨点清理app下载-雨点清理官方版下载v1.0
- GAN 生成对抗网络 10-6 Tips for improving GAN
- 结构方程模型:技术接受度模型TAM2
- jzyz 1225 调查干草
- VisualVM工具介绍
- 厉害了!麟哥新书登顶京东销量排行榜!
- 小白福音——VBA编程常用——命令三百例
- 征信衍生规则中的逾期强变量都有哪些?
- Deer计划(2)cloudcompare解析--八叉树
- samba不允许一个用户使用一个以上用户名与服务器或共享资源的多重连接
- 基于Python的算术编码的设计与实现
热门文章
- 安徽大学计算机考研失败,回馈:2014年安徽大学计算机初试回忆题,我是雷锋,低调...
- 史上最简单的 SpringCloud 教程 | 第十四篇: 服务注册(consul)
- s:action,s:param的用法
- 04-Servlet入门+http协议
- 表的插入、更新、删除、合并操作_16_ 删除表中所有记录
- 表的插入、更新、删除、合并操作_11_更新表的记录
- DeepMedic —— 一种经典的医学图像分割的3D CNN框架
- Anaconda 中no module named cv2的解决办法
- MySQL绿色版5.7以上安装教程
- 关于解决form表单记录上次保存填写记录清空