ELK日志分析平台.1-搭建
ELK日志分析平台.1-搭建
1、核心组成
ELK由Elasticsearch、Logstash和Kibana三部分组件组成;
Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
Logstash是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其存储供以后使用
kibana 是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。
2、四大组件
Logstash: logstash server 端用来搜集日志;
Elasticsearch: 存储各类日志;
Kibana: web化接口用作查寻和可视化日志;
Logstash Forwarder: logstash client端用来通过lumberjack 网络协议发送日志到logstash server;
在需要收集日志的所有服务上部署logstash,作为logstash agent(logstash shipper)用于监控并过滤收集日志,将过滤后的内容发送到Redis,然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch,可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。
1
2
3
4
5
6
7
|
# 下载
cd /elk
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.1.1.tar.gz
# 解压、进入目录
tar zxvf logstash-6.1.1.tar.gz
cd logstash-6.1.1
|
1
2
3
4
5
|
vim /etc/profile
LOGSTASH_HOME=/elk/logstash-6.1.1
export PATH=$PATH:$LOGSTASH_HOME/bin
source /etc/profile
|
-e :指定logstash的配置信息,可以用于快速测试;
-f :指定logstash的配置文件;可以用于生产环境;
1
2
3
4
5
6
7
8
9
10
11
12
13
|
[elk@localhost ~]$ logstash -e "input {stdin{}} output {stdout{}}"
Sending Logstash's logs to /elk/logstash-6.1.1/logs which is now configured via log4j2.properties
[2017-12-28T16:05:36,161][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>"netflow", :directory=>"/elk/logstash-6.1.1/modules/netflow/configuration"}
[2017-12-28T16:05:36,212][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>"fb_apache", :directory=>"/elk/logstash-6.1.1/modules/fb_apache/configuration"}
[2017-12-28T16:05:37,574][WARN ][logstash.config.source.multilocal] Ignoring the 'pipelines.yml' file because modules or command line options are specified
[2017-12-28T16:05:39,184][INFO ][logstash.runner ] Starting Logstash {"logstash.version"=>"6.1.1"}
[2017-12-28T16:05:40,558][INFO ][logstash.agent ] Successfully started Logstash API endpoint {:port=>9600}
[2017-12-28T16:05:44,576][INFO ][logstash.pipeline ] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>1, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>125, :thread=>"#<Thread:0x449f3ddb run>"}
[2017-12-28T16:05:44,792][INFO ][logstash.pipeline ] Pipeline started {"pipeline.id"=>"main"}
The stdin plugin is now waiting for input: #等待手动输入
[2017-12-28T16:05:44,968][INFO ][logstash.agent ] Pipelines running {:count=>1, :pipelines=>["main"]}
HelloWorld # 手动输入
2017-12-28T08:05:58.028Z localhost.localdomain HelloWorld #这种输入直接原封不动返回
|
1
2
3
4
5
6
|
# 下载、解压
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.1.1-linux-x86_64.tar.gz
tar zxvf kibana-6.1.1-linux-x86_64.tar.gz
mv kibana-6.1.1-linux-x86_64 ./kibana-6.1.1
cd kibana-6.1.1/
|
1
2
3
4
5
|
vim config/kibana.yml
server.port: 5601 # 端口号
server.host: "172.16.16.201" # 本机IP
elasticsearch.url: "http://172.16.16.201:9200" # Elasticsearch url地址
|
转载于:https://www.cnblogs.com/Su-per-man/p/8625470.html
ELK日志分析平台.1-搭建相关推荐
- ELK日志分析平台-Elasticsearch搭建和异常处理
一.介绍 1.1. ELK日志分析平台 (1)不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写. ELK分别代表: Elasticsearch:负责日志检索和储存 Logstash:负责日 ...
- ELK日志分析平台的搭建
1 ELK平台简介 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全 ...
- 搭建ELK日志分析平台(上)—— ELK介绍及搭建 Elasticsearch 分布式集群
笔记内容:搭建ELK日志分析平台(上)-- ELK介绍及搭建 Elasticsearch 分布式集群 笔记日期:2018-03-02 27.1 ELK介绍 27.2 ELK安装准备工作 27.3 安装 ...
- 搭建ELK日志分析平台(下)—— 搭建kibana和logstash服务器
27.6 安装kibana 27.7 安装logstash 27.8 配置logstash 27.9 kibana上查看日志 27.10 收集nginx日志 27.11 使用beats采集日志 本文是 ...
- ELK 日志分析平台 —— Logstash
ELK 日志分析平台 -- Logstash 文章目录 ELK 日志分析平台 -- Logstash Logstash 简介 Logstash的工作原理 [注]:Logstash file插件 sin ...
- 企业项目实战---ELK日志分析平台之logstash数据采集(二)
ELK日志分析平台 logstash数据采集 1.logstash简介 2.Logstash安装 3.标准输入到标准输出 4.标准输入到文件 5.标准输入到es主机 6.指定文件输入到es主机 7.s ...
- logstash 吞吐量优化_1002-谈谈ELK日志分析平台的性能优化理念
在生产环境中,我们为了更好的服务于业务,通常会通过优化的手段来实现服务对外的性能最大化,节省系统性能开支:关注我的朋友们都知道,前段时间一直在搞ELK,同时也记录在了个人的博客篇章中,从部署到各个服务 ...
- 携程ELK日志分析平台深耕之路
源起 日志,看似简单简单的文本,在网站运维人员眼里却似一座蕴含丰富的宝藏.通常以下运维任务都或多或少需要运维人员和日志打交道: 系统健康状况监控 查找故障根源 系统瓶颈诊断和调优 追踪安全相关问题 技 ...
- 在Windows系统下搭建ELK日志分析平台
2018年07月11日 22:29:45 民国周先生 阅读数:35 再记录一下elk的搭建,个人觉得挺麻烦的,建议还是在linux系统下搭建,性能会好一些,但我是在windows下搭建的,还是记录一下 ...
最新文章
- IO多路转接之poll
- hyperterminal使用教程_如何在Win7中安装使用超级终端Hyper Terminal(转)
- Java 基础【09】你的多继承纳?
- 无废话WPF系列5:控件派生图
- map multimapc++_黑马C++视频笔记《STL之map/multimap》
- 前端项目如何做测试?
- 步进电机基础(6.4)-步进电机的特性测量方法-暂态(阻尼)特性的测量和噪音和振动的测量
- LIMS实验室系统无纸化管理给实验室带来的帮助
- [SpringBoot]下载excel模板,postman测试接口
- matlab中matconvnet,matlabR2016中配置matconvnet编译时出错
- 如何制作纺织产品标签
- xp系统服务器找不到打印机无法连接失败,xp系统打印机共享提示连接失败的解决方法...
- 后端开发面试自我介绍_前端开发面试自我介绍
- c++::举例_举例说明:网络
- 人工智能在金融领域发展中,主要面临哪些风险?
- 使用证件照api接口快速上线证件照业务-超详细!
- 连续复利 continuous compounding
- [附源码]计算机毕业设计Python基于微信小程序的网络办公系统(程序+源码+LW文档)
- 跳槽、找工作在几月份比较好?
- 英文手绘字体_40种免费的高质量手绘字体