前言

ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案，是三个产品的首字母缩写，分别是ElasticSearch、Logstash 和 Kibana。logstash功能包含采集，过滤，转换等功能；正因为有很多的功能，导致了它比较耗资源，因为logstash是java编写的，jvm相对来说耗资源，而logstash只需要注重日志采集。对应beat组件就出现了，它们比较小巧，而且不耗资源，也完全够用

提示：以下是本篇文章正文内容，下面案例可供参考

一、beat是什么？

beat是一个轻量级的托运人，用于转发和集中日志数据。beat作为代理安装在服务器上，监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。

官方分类：

二、使用步骤

1.下载

本次针对packetbeat进行网络流量监控，所以下载packetbeat，因为之前es,logstash,kibana版本都是下载的7.6.2版本，所以本次也下载7.6.2版本

下载地址：

https://www.elastic.co/cn/downloads/beats/packetbeat#preview-release

2.解压文件

因为我下的是windows版本，安装官方所说的安装在C:\Program Files\Packetbeat下，某些博主说其他盘也可以安装，但是我在运行脚本时会报错：

1.解压完成后，运行ps1脚本，可以直接使用右键进行poswershell进行运行
2.elastic公司几乎所有的配置文件都在根目录下，linux目前没试过，可能在etc目录下。修改packetbeat.yml的配置文件，一般来说主要修改监听的端口和请求的方式，以及Mysql，redis等常用的组件，为后面监听sql等做准备。
3.修改es服务器ip端口以及kibana的ip端口，因为我本身在本机默认Localhost及默认端口，没有做修改，如果其他地址可以直接修改
4.修改网卡信息，packetbeat.interfaces.device:0是windows系统的主网卡，linux下为eth0

上述为安装packetbeat的方法

3.安装仪表盘模板

进入packetbeat根目录下

packetbeat setup --dashboards

因为配置过yml的kibana指向，会直接导入，前提是开启kibana和es的情况下

4.使用

1.开启es和kibana,以及packetbeat，注意packetbeat需要管理员权限，否则在c盘会文件读写没有权限的错误

2.登录kibana，选着模板，便可以进行数据展示

3，一般来说需要添加索引，如果需要自定义展示的字段

总结

一般来说，packetbeat或者其他的beat组件在完成日志收集后，需要发送到logstash进行数据清洗，也可以直接发给es。在大数据量的情况下，有多种结构，如

如果日志文件量特别大，以及收集的服务器日志比较多；这样架构中需加入消息中间件做一下缓冲：

知乎链接

总之，beat组件数据采集，logstash最主要的左右是数据拉取，清洗和推送，如上图，logstash从kafka拉数据，清洗数据后推给es。

packetbeat进行网络流量监控相关推荐

linux系统CPU,内存,磁盘,网络流量监控脚本
前序 1, #cat /proc/stat/ 信息包含了所有CPU活动的信息,该文件中的所有值都是从系统启动开始累积到当前时刻 2, #vmstat –s 或者 #vmstat 虚拟内存统 ...
mysql hostname uroot_CACTI网络流量监控
CACTI网络流量监控 (一)准备工作 1.什么是cacti和rrdtool Cacti是一套基于PHP,MySQL,SNMP及RRDTool开发的网络流量监测图形分析工具.是通过 snmpget来获 ...
Linux网络流量监控Iftop安装
2019独角兽企业重金招聘Python工程师标准>>> Linux网络流量监控Iftop主要用来显示本机网络流量情况及各相互通信的流量集合,如单独同那台机器间的流量大小,非常适合于代 ...
nagios监控告警之网络流量监控（附pnp模板）
步骤: 1.下载网络流量监控脚本: https://raw.githubusercontent.com/June-Wang/NagiosPlugins/master/check_net_traffic ...
基于linux网络流量监控与分析软件的设计与实现shell,Shell图形化监控网络流量
网络流量的监控工具有很多,如:Mrtg.Cacti.Zabbix等等,他们都有着各自的特点,不同的侧重,只为适合不同的应用场景的各种特殊需求.除了网络流量监控工具以外,还有Nagios这样的监控主机状 ...
ifstat网络流量监控之/proc/net/dev文件
之前介绍过ifstat获取网络流量监控的代码ifstat源码阅读,ifstat获取数据是读取的/proc/net/dev,但是/proc/net/dev文件里面究竟是什么内容,打开发现一团乱麻. In ...
网络流量监控软件——MRTG(Multi Router Traffic Grapher)
一名真正合格的网管所做的工作不应该仅仅局限在服务器故障发生后,亡羊补牢的工作虽然不算迟,但也会造成一定程度的损失.那么如何有效的监视服务器的状态,在第一时间发现服务器故障及异常甚至在没出现问题前进行预 ...
NetWorker Pro for mac(网络流量监控软件)
NetWorker Mac版是一款轻量级的网络工具,NetWorker Mac版可以让你在菜单栏上显示当前的网络上传下载速度,你可以在速度和流量两种模式之间切换,你也可以选择不同的网络模式来进行监测. ...
搭建网络流量监控cacti
搭建网络流量监控cacti 作为一名网络管理员,监控是必不可少的,监控的种类有很多,就我目前使用的几种监控,smoking.cacti.nagios.zabbix,每一种类型的监控都有其自身的优势,需 ...

packetbeat进行网络流量监控

文章目录

前言