Elastic Stack之EBK安装
The Elastic Stack包括 Elasticsearch、Kibana、Beats 和 Logstash(也称为 ELK Stack),能够安全可靠地获取任何来源、任何格式的数据,然后实时地对数据进行搜索、分析和可视化。
Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎,能够解决不断涌现出的各种用例。Kibana 是一个免费且开放的用户界面,能够让您对 Elasticsearch 数据进行可视化,并让您在 Elastic Stack 中进行导航。Beats 是一个免费且开放的平台,集合了多种单一用途轻量型数据采集器。Logstash 是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,集中、转换和存储数据。
一、Elasticsearch安装
本示例运行在centos7,通过直接下载tar包进行安装,不使用docker方式。
关于es的windows安装和使用语法,可参见【https://blog.csdn.net/weixin_44153121/article/details/89288452】
1.1、下载安装包,并解压
curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.13.0-linux-x86_64.tar.gz
tar -xzvf elasticsearch-7.13.0-linux-x86_64.tar.gz
1.2、创建elk用户,并赋权
因Elasticsearch默认不支持root用户启动,故此创建elk用户,用于启动Elastic Stack相关程序。
adduser elk
passwd elk yourpw
chown -R elk elasticsearch-7.13.0
1.3、启动(elk用户)
cd elasticsearch-7.13.0
./bin/elasticsearch
1.4、更改network参数
更改config目录下elasticsearch.yml中的network参数,以便支持其他机器的访问。
network.host: 0.0.0.0
再次启动ES,后台报错,如下:
ERROR: [4] bootstrap checks failed. You must address the points described in the following [4] lines before starting Elasticsearch.
bootstrap check failure [1] of [4]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
bootstrap check failure [2] of [4]: max number of threads [3757] for user [elk] is too low, increase to at least [4096]
bootstrap check failure [3] of [4]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
bootstrap check failure [4] of [4]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured
按以上提示进行更改,需要注意的是修改安全限制文件后,存在不生效的情况,通过重启操作系统,可以使变更生效。
1.4.1、 修改安全限制配置文件
vi /etc/security/limits.conf
1.4.2、 vim /etc/sysctl.conf
1.5、更改防火墙配置
1.6、运行效果
二、Kibana安装
参照第一步中ES的安装,Kibana安装简化如下:
curl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-7.13.0-linux-x86_64.tar.gz
tar xzvf kibana-7.13.0-linux-x86_64.tar.gz
cd kibana-7.13.0-linux-x86_64/
./bin/kibana
修改 config/kibaba.yml 下的 server.host 为 0.0.0.0, 默认是注释掉的或者是localhost
三、Beats安装
本示例使用tomcat日志进行演示,故此安装Filebeat组件
3.1、Filebeat安装
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.13.0-linux-x86_64.tar.gz
tar -xzvf filebeat-7.13.0-linux-x86_64.tar.gz
cd filebeat-7.13.0-linux-x86_64/
3.2、修改filebeat.yml配置文件
配置ES地址,及用户和密码信息
3.3、配置apache模块
3.3.1、 启动apache模块
./filebeat modules enable apache
3.3.2、 更改配置 modules.d \ apache.yml,增加log日志文件路径
3.4、启动Filebeat
创建assets,并启动
Filebeat comes with predefined assets for parsing, indexing, and visualizing your data.
./filebeat setup
./filebeat -e
3.5、Kibana展示日志数据
使用菜单导航中的Discover功能
In the side navigation, click Discover. To see Filebeat data, make sure the predefined filebeat-* index pattern is selected.
使用KQL查询条件,过滤数据
Elastic Stack之EBK安装相关推荐
- 安装独立的 Elastic Agents 并采集数据 - Elastic Stack 8.0
注意:在独立模式(standalone)下运行 Elastic Agent 是一个高级用例. 文档不完整,还不成熟. 如果可能,我们建议使用 fleet 管理的代理而不是独立模式. 要在独立模式下运行 ...
- Elastic:使用 Docker 安装 Elastic Stack 8.x 并开始使用
Elastic Stack 8.0 终于于最近发布了.在我之前的文章 "Elastic Stack 8.0 安装 - 保护你的 Elastic Stack 现在比以往任何时候都简单" ...
- Observability:使用 Elastic Agent 提取应用程序跟踪 - Elastic Stack 8.0
在 Elastic Stack 8.0 之前,我们使用 APM server 来采集 Application Monitoring (APM) 数据.随着 Elastic Agent 在 8.0 的推 ...
- Elastic Stack 安装
Elastic Stack 是一套支持数据采集.存储.分析.并可视化全面的分析工具,简称 ELK(Elasticsearch,Logstash,Kibana)的缩写. 安装Elastic Stack ...
- 如何在Ubuntu 18.04上安装Elasticsearch Logstash Kibana(Elastic Stack)
In this guide, you will learn to install Elastic stack on Ubuntu 18.04. Elastic stack, formerly know ...
- Elastic Stack(ELK6.6.2)安装及使用
目录 1.介绍 2.Elastic Stack安装 2.1 ES安装配置和启动常见问题 2.2 Kibana安装配置和一些功能介绍 2.3 Logstash安装配置和常见问题 3.补充 3.1 IK分 ...
- Elasticsearch:使用 RPM 安装包来安装 Elastic Stack 8.x
在我之前的文章 "Elasticsearch: 使用 Debian 安装包来安装 Elasticsearch 8.x",我详述了如何使用 RPM 安装包来安装 Elasticsea ...
- 2021年大数据ELK(一):集中式日志协议栈Elastic Stack简介
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 一.简介 二.ELK 协议栈介绍及体系结构 三.集中式日志协议栈 ...
- 【Elastic Stack学习】ELK日志分析平台(一)ELK简介、ElasticSearch集群
* ELK简介: ELK是Elasticsearch . Logstash.Kibana三个开源软件的缩写.ELK Stack 5.0版本之后新增Beats工具,因此,ELK Stack也改名为Ela ...
最新文章
- 【Vue】 Error with Vue lazy loading components: “Failed to resolve async component“
- 实现图片打乱_2020 回顾 | 25张图片,记录潮州的这一年
- 将c程序移植到linux,各位大侠:我把原来在linux运行的c程序移植到HPUNIX上出现了错误...
- lingo编程的主要方法_java并发编程 --并发问题的根源及主要解决方法
- JavaScript-jQuery操作Dom元素
- Ubuntu如何启动Pycharm
- 老板:kill -9 的原理都不知道就敢在线上执行?
- 【字典树】添加和查找单词
- 数据挖掘:数据预处理相关概念
- 一篇就让你懂线程池原理
- matlab 天线设计 泰勒加权_波导缝隙天线的设计仿真方案详细教程
- table td 纵向求和
- LabVIEW网络数据传输远程控制编程与验证测试
- 计算机怎么在桌面显示时间,怎么设置使电脑即显示时间有显示日期
- 如何使用Kotlin构建Android旋转旋钮以帮助儿子练习钢琴
- java web 找回密码_java web实现 忘记密码(找回密码)功能及代码
- 局域网内Linux下开启ftp服务的“曲折路”和命令复习
- zend guard loader php ts,安装Zend Guard Loader说明
- 软件体系结构描述与建模
- OUC_SE_Group014_Blog4