ELK6.0日志从收集到处理完整版教程(二)
2019独角兽企业重金招聘Python工程师标准>>>
ELK简介
Elasticsearch
开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。也可以认为ElasticSearch是一个NoSQL存储中心,可以存储各种数据,并且查询速度超级快。
Logstash
完全开源的工具,可以从各种输入流(文件,队列,数据库)收集信息,并对信息进行处理,将处理后的信息存储到ElasticSearch
kibana
开源和免费的工具,它可以从ElasticSearch读取日志等存储的信息, 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。
1.Kibana安装与配置
[elk@server02 elk]# tar -zxvf kibana-6.2.4-linux-x86_64.tar.gz
[root@server02 kibana-6.2.4-linux-x86_64]# ls
bin config data LICENSE.txt node node_modules nohup.log NOTICE.txt optimize package.json plugins README.txt src ui_framework webpackShims
配置文件:
[root@server02 config]# grep "^\s*[^# \t].*$" config/kibana.yml
server.port: 5601
server.host: 0.0.0.0 #将本机的外网ip地址配置上,这样外网才能访问到
elasticsearch.url: "http://localhost:9200" ##配置EA的地址,本机使用localhost,可配置ip
启动:
nohup sh ./bin/kibana > nohup.log &
http://192.168.3.113:5601 #验证web页面启动
关闭kibana:ps -ef | grep node #查看进程,kill -9
2.LogStash安装与配置
[root@server02 elk]# tar -zxvf logstash-6.2.4.tar.gz
[root@server02 logstash-6.2.4]# cat config/logstash.conf
input {
beats {
port => "5043"
}
}
filter {
grok {
match => { "message" => "\[%{IP:ip}\] \[%{TIMESTAMP_ISO8601:timestamp}\] \[%{NOTSPACE:class}\]"}
}
}
output {
elasticsearch {
hosts => [ "http://localhost:9200" ]
}
}
启动:
[root@server02 logstash-6.2.4]# nohup bin/logstash -f config/logstash.conf > nohup.log &
3.Filebeat安装与配置
[root@server02 elk]# tar -zxvf filebeat-6.2.4-linux-x86_64.tar.gz
filebeat必须属于root用户名下;filebeat.yml中 enable项都由false改为true;
开启收集system系统日志: ./filebeat modules enable system
过滤配置文件中的注释空格等无用字符只显示生效配置:
[root@server02 filebeat-6.2.4-linux-x86_64]# grep "^\s*[^# \t].*$" filebeat.yml
filebeat.prospectors:
- type: log
enabled: true
paths:
- /var/log/*.log
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: true
setup.template.settings:
index.number_of_shards: 3
setup.kibana:
host: "localhost:5601"
#output.elasticsearch:
#hosts: ["localhost:9200"]
output.logstash:
hosts: ["localhost:5043"]
启动:
nohup ./filebeat -e -c filebeat.yml -d "Publish" > filebeat.log &
最后kibana配置:
选择对应需要收集展示的日志类型:如:System,nginx,apache,Redis等
按教程配置filebeat后按System logs dashboard
第一次访问的时候,会要求设置Index Pattern,因为我们在logstash-es.conf中设置为logstash-%{+YYYY-MM},所以设置为logstash-*就可以了。
Discover是主要的查询交互界面,如下所示:
转载于:https://my.oschina.net/u/2324318/blog/1833511
ELK6.0日志从收集到处理完整版教程(二)相关推荐
- CentOS下mysql 8.0.16 安装完整版教程
CentOS下mysql 8.0.16 安装完整版教程 1. 下载安装包 由于下载过程较慢,所以先本地下载准备好安装包. MySQL 8.0下载链接(官网地址): https://dev.mysql. ...
- Mybatis完整版(二)
Mybatis完整版(二) 四.[配置解析(优化)](https://mybatis.org/mybatis-3/zh/configuration.html) 1.核心配置文件 2.[环境配置(env ...
- mysql下载与安装教程5.7_安装mysql 5.7 最完整版教程
安装环境:CentOS7 64位 MINI版,安装MySQL5.7 1.配置YUM源 在MySQL官网中下载YUM源rpm安装包:http://dev.mysql.com/downloads/repo ...
- centos 6.6 mysql5.7_CentOS 6.5/6.6 安装(install)mysql 5.7 最完整版教程-Go语言中文社区...
CentOS 6.5/6.6 安装(install)mysql 5.7 最完整版教程 Step1: 检测系统是否自带安装mysql [root@Ting ~]# yum list installe ...
- Linux安装qt完整版教程
Linux安装qt完整版教程 一.获取Linux-qt版本 二.linux安装qt 三.配置qt环境变量 四.linux-qt相关的显示配置 一.获取Linux-qt版本 qt 版本5.12.8官网下 ...
- VMware虚拟机去虚拟化完整版教程|永久过强壳VMP、SE壳、GK盾、TMD教程|VMware去虚拟化吾爱汇编论坛教程完整版
VMware去虚拟化完整版教程|永久过强壳VMP.SE壳.GK盾.TMD|VMware去虚拟化吾爱汇编论坛教程完整版 教程内容: 实际效果:
- 把计算机信息传到电视屏的方法,如何将电脑内容投屏到电视上?当贝市场完整版教程...
如何将电脑内容投屏到电视上?当贝市场完整版教程 2019年08月27日 12:50作者:黄页编辑:黄页 分享 很多朋友都试过将手机内容投屏到电视上,但鲜少有用户知道电脑上的内容如何投屏到电视上.今天当 ...
- AI虚拟主播数字人技术实现Wav2Lip【附完整版教程】及【效果评测】
前言 建议直接阅读飞书文档:Docshttps://yv2c3kamh3y.feishu.cn/docx/S5AldFeZUoMpU5x8JAuctgPsnfg 近期很多饱子私信,想知道关于AI数字人 ...
- 传智播客linux安装视频教程下载,传智播客 LAMP(Linux)经典入门教程 李东超主讲29集完整版教程下载...
课程名称 传智播客 LAMP(Linux)经典入门教程 李东超主讲29集完整版教程下载 课程目录 李东超 PHP视频教程 LAMP经典入门 第01讲 Linux的基本概念和发展历史.wmv 李东超 P ...
最新文章
- 查看服务器硬盘负载——判断硬盘是否为瓶颈
- Chrome 输入文字卡死
- Git remote 修改源
- BADI EXIT等增强报W警告类消息
- 【疑问感受】初见指针——当函数遇到指针
- windows和linux没有启动选择,重装Windows后,LILO启动选单不见了,无法进入Linux系统怎么办...
- STAR-GCN:用于推荐系统的图卷积神经网络 IJCAI 2019
- 使用Druid数据库连接池整合MyBatis Plus时,出现Error attempting to get column 'startTime' from result set. 类似错误
- VsCode crtl + 鼠标右键 python代码无法跳转
- 程序员就要独“一”无“二”
- locust+httprunner+Jmeter QQ群微信群问题记录
- 在继续之前,如何暂停我的Shell脚本一秒钟?
- 选数洛谷c语言,洛谷OJ-P1036 选数 题解(递归DFS)
- 控制器设计:MIPS单周期CPU
- .NET Framework 4 中的新增功能【转载】
- windows10安装dll文件
- 韩语在线翻译图片识别_在线翻译有道小程序
- Dual-Resolution Correspondence Networks 2020
- 猜拳游戏(基于TCP socket的编程)
- python-函数(function)