splunk采集linux日志,splunk日志监控利器
日志处理引擎SPLUNK
Splunk分为免费Free版和企业Enterprise版。SplunkFree专供个人使用。SplunkEnterprise添加了支持多用户和分布式部署的功能,并包括警报、基于角色的安全、单一登录、预设的PDF交付以及对无限数据量的支持。
你可以使用浏览器访问http://zh-hans.splunk.com/download下载最新版的Splunk。如果你是第一次访问Splunk网站,需要先注册一个Splunk用户,默认下载的是60天Enterprise试用版,60天试用之后将自动转化为Free版,转化位Free版后每日处理的日志量最高位500M。
Splunk 192.168.0.116
客户端192.168.0.117
192.168.0.116配置
#rpm -ivh splunk-5.0.2-149561.i386.rpm
#/opt/splunk/bin/splunk start
#/opt/splunk/bin/splunk status
splunkdis running (PID: 7730).
splunkhelpers are running (PIDs: 7731).
splunkwebis running (PID: 7788).
开机启动Splunk
vim /root/.bashrc
export PATH=/opt/splunk/bin/:$PATH
. /root/.bashrc
#/opt/splunk/bin/splunkenableboot-start
Initscript installed at /etc/init.d/splunk.
Initscript is not configured to run at boot.可以忽略这句话
[root@splunk~]# chkconfig --list |grep splunk
splunk0:关闭1:关闭2:启用3:启用4:启用5:启用6:关闭
#/etc/init.d/splunkstop
#/etc/init.d/splunk start
可以打开浏览器http://192.168.0.116:8000
实例:添加本地syslog到Splunk时时更新日志
管理--数据导入--添加数据---sysylog--下一步---路径--继续--保存--返回---联机
1.设置Splunk服务器允许接收Splunk Forwarder发送的数据。
进入“Splunk配置首页”,选点右上角的“管理器”,在“数据”类里找到“转
发和接收”。在“接收数据”项中,点击“新增”,Splunk默认接收转发器连接到端口是9997,我们需要将端口填入“输入框”中。点击保存后,Splunk服务默认会打开tcp的9997端口用于监听
2.配置Splunk Forwarder端客户端
安装软件:
# rpm -ivh splunkforwarder-5.0.2-149561.i386.rpm
启动:
#/opt/splunkforwarder/bin/splunk start
服务器端改的配置其转发到192.168.0.116主机的9997端口。默认用户名为admin,密码是changeme.
下面的都是客户端192.168.0.117
# /opt/splunkforwarder/bin/splunk add forward-server192.168.131.203:9997
改密码
#/opt/splunkforwarder/bin/splunk edit user admin -password123456–authadmin:changeme
[root@web ~]#vim ~/.bashrc
exportSPLUNK_HOME=/opt/splunkforwarder
exportPATH=$SPLUNK_HOME/bin:$PATH
配置转发文件
#pwd
/opt/splunkforwarder/etc/system/local
#ls
inputs.confoutputs.conf README server.conf
配置文件outputs.conf,配置服务器转发目标地址和转发状态:
[tcpout]
defaultGroup= default-autolb-group
[tcpout:default-autolb-group]
server= 192.168.131.150:9997
[tcpout-server://192.168.0.117:9997]
配置文件inputs.conf,配置本地需要转发的日志文件和日志文件类型:
[root@weblocal]# cat inputs.conf
[default]
host= web
[monitor:///var/log/httpd]
sourcetype= access_common
修改inputs.conf文件后重启splunk forwarder
测试:登陆http://192.168.0.116:8000,点击“应用”-----〉“search”。
注意:0字节的日志文件不会被转发
多次访问网站后,日志会不断更新,splunk中也会不断更新。
Splunk应用扩展简介
Splunk作为一个可扩展的日志分析平台目前支持基于API的扩展,第三方可以基于Splunk的API编写Splunk应用扩展。通过Splunk应用扩展,可以增强Splunk对数据的
进一步分析。安装Splunk应用可以通过Splunk的web界面,也可以通过Splunk的文本控制界面。
连接https://192.168.0.116:8000,点选“管理器”:
点击“应用”,打开“应用管理界面”页:
我们可以通过三种方式安装或创建新应用:
1.联机查找更多应用:如果你可以连接互联网,这是一个方便的安装应用方式
2.从文件安装应用:如果你无法连接互联网,可以通过这种方式将下载好的应用安
装到Splunk中
3.创建应用:如果你是splunk第三方开发或是有自己的使用系统,可以通过这个选
型创建自己的应用
在此页中,我们可以控制“应用”的状态,可以通过web界面“启用”或“禁用”应用,并且配置应用的某些属性。
实例:Splunk Unix本地性能监视应用
可以在“联机查找更多应用”中
文件名为“unix.tar.gz”。在/splunk目录下的app下可以通过“从文件安装应用”来安装它。
点击“应用管理界面”页里的“从文件安装应用”,进入“上载应用”页。
splunk服务重启完成后,会要求你在浏览器中重新登陆。
登陆后在右上角的“应用”下拉菜单中,我们会发现一个新的应用“*NIX4.6”,点击“*NIX4.6”,进入“SplunkFor Unix and Linux”应用。由于是第一次进入,我们需要去设置这个应用:
安装完后提示你重启服务的-----〉Configure进入配置页面
-----------打开监控项目Enable打开所需的检测------save保存------过一会就会搜集完数据图表慢慢变化
实例:SplunkUnix异地性能监视应用
通过配置其他主机的splunk转发到服务器上汇总
在客户端同上安装Splunk_TA_nix.tar.gz
安装:下面都是在客户端操作的
#echo $SPLUNK_HOME
/opt/splunkforwarder
#tar xvzf Splunk_TA_nix.tar.gz -C $SPLUNK_HOME/etc/apps
#chown splunk.splunk $SPLUNK_HOME/etc/apps/Splunk_TA_nix –R
配置:
#mkdir $SPLUNK_HOME/etc/apps/Splunk_TA_nix/local
#cp $SPLUNK_HOME/etc/apps/Splunk_TA_nix/default/inputs.conf
$SPLUNK_HOME/etc/apps/Splunk_TA_nix/local
将inputs.conf文件从default目录下拷贝到local目录下,然后编辑inputs.conf文件。
将你需要转发的数据项disabled= 1改为disabled= 0。
你可以在末行:%s/1/0/g整体替换1到0
#Copyright (C) 2005-2011 Splunk Inc. All Rights Reserved.
[script://./bin/vmstat.sh]
interval= 60
sourcetype= vmstat
source= vmstat
index= os
disabled= 0
[script://./bin/iostat.sh]
interval= 60
sourcetype= iostat
source= iostat
index= os
disabled= 0
[script://./bin/ps.sh]
interval= 30
sourcetype= ps
source= ps
index= os
disabled= 0
[script://./bin/top.sh]
interval= 60
sourcetype= top
source= top
index= os
disabled= 0
[script://./bin/netstat.sh]
interval= 60
sourcetype= netstat
source= netstat
index= os
disabled= 0
[script://./bin/protocol.sh]
interval= 60
sourcetype= protocol
source= protocol
index= os
disabled= 0
[script://./bin/openPorts.sh]
interval= 300
sourcetype= openPorts
source= openPorts
index= os
disabled= 0
[script://./bin/time.sh]
interval= 21600
sourcetype= time
source= time
index= os
disabled= 1
[script://./bin/lsof.sh]
interval= 600
sourcetype= lsof
source= lsof
index= os
disabled= 0
[script://./bin/df.sh]
interval= 300
sourcetype= df
source= df
index= os
disabled= 0
#Shows current user sessions
[script://./bin/who.sh]
sourcetype= who
source= who
interval= 150
index= os
disabled= 1
#Lists users who could login (i.e., they are assigned a login shell)
[script://./bin/usersWithLoginPrivs.sh]
sourcetype= usersWithLoginPrivs
source= usersWithLoginPrivs
interval= 3600
index= os
disabled= 1
#Shows last login time for users who have ever logged in
[script://./bin/lastlog.sh]
sourcetype= lastlog
source= lastlog
interval= 300
index= os
disabled= 0
#Shows stats per link-level Etherner interface (simply, NIC)
[script://./bin/interfaces.sh]
sourcetype= interfaces
source= interfaces
interval= 60
index= os
disabled= 0
#Shows stats per CPU (useful for SMP machines)
[script://./bin/cpu.sh]
sourcetype= cpu
source= cpu
interval= 30
index= os
disabled= 0
#This script reads the auditd logs translated with ausearch
[script://./bin/rlog.sh]
sourcetype= auditd
source= auditd
interval= 60
index= os
disabled= 1
#Run package management tool collect installed packages
[script://./bin/package.sh]
sourcetype= package
source= package
interval= 3600
index= os
disabled= 0
[script://./bin/hardware.sh]
sourcetype= hardware
source= hardware
interval= 36000
index= os
disabled= 0
#splunk restart
如果你的配置一切正常,你会在http://192.168.0.116:8000上,“*NIX
4.6”应用页上看到“主机”部分新增服务器。
在“CPU by Host”标签页中,将看到两台主机cpu数据信息
splunk采集linux日志,splunk日志监控利器相关推荐
- Splunk—云计算大数据时代的超级日志分析和监控利器
信息科技的不断进步,一方面使得银行业信息和数据逻辑集中程度不断得到提高,另一方面又成为银行业稳健运行的一大安全隐患.Splunk作为智能的IT管理运维平台,能够帮助银行业积极迎接.应对和解 ...
- Linux系统中的日志管理 ---systemd-journald日志(journalctl命令的用法)和 rsyslog 日志(自定义日志采集路径、更改日志采集格式和日志的远程同步)
一.实验环境 Horizon_carry: 172.25.254.10 carry: 172.25.254.20 Horizon_carry & carry: systemctl stop f ...
- kjb文件 解析_在Linux上使用lnav监控和分析Apache日志文件工具
请关注本头条号,每天坚持更新原创干货技术文章. 如需学习视频,请在微信搜索公众号"智传网优"直接开始自助视频学习 1. 前言 本文主要讲解如何在Linux上使用lnav监控和分析A ...
- Linux系统管理员之日志管理
目录 零.实验环境 一.journald服务 1.journalctl命令 (1)基本命令 (2)设定日志显示方式 (3)显示制定级别的日志 2.用journald服务永久存放日志 3.测试 二.rs ...
- Linux运维学习笔记之三十一:监控利器Nagios实战
第四十二章 监控利器Nagios实战 一.Nagios介绍 1.哪些内容需要监控呢? (1)本地资源 a.负载:uptime: b.CPU:top,sar,cpu温度: c.磁盘:df: d.内存:f ...
- linux卸载splunk,CentOS 7安装Splunk
导读 Splunk是探索和搜索数据的最有力工具,从收集和分析应用程序.Web服务器.数据库和服务器平台的实时可视化海量数据流,分析出IT企业产生的海量数据,安全系统或任何商业应用,给你一个总的见解获得 ...
- linux下实现 日志类重定向c 代码,log4cplus使用(三)-日志重定向
本文讲述的是log4cplus日志输出到qt widget,封装了serverSocket. log4cplus支持用户自定义输出设备,只需要继承自Appender,或者Appender子类, ...
- Linux系统的日志管理及时间管理
目录 实验环境 1. journald 1.1 journalctl概述 1.2 查看系统日志 1.3 用journald服务永久存放日志 2. rsyslog 2.1 rsyslog概述 2.2 自 ...
- 2021年大数据ELK(二十二):采集Apache Web服务器日志
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 采集Apache Web服务器日志 一.需求 二.准备日志数据 三.使用Fil ...
最新文章
- 授权服务框架Spring Authorization Server的过滤器链
- No module named 'numpy.core._multiarray_umath'
- 第11章 进入保护模式
- 原创 | 为什么阿里巴巴建议开发者谨慎使用继承?
- 变与不变: Undo构造一致性读的例外情况
- qt 在qtextedit显示数组_Qt开源作品34-qwt无需插件源码
- 二阶常系数微分方程求解步骤
- django提供的admin后台增加用户时提示:“Table ‘login.login_user‘ doesn‘t exist“
- 详细游戏建模,入门要领及学习方法。
- C++在指定目录生成txt文件
- 镜头调制传递函数MTF
- 度阴山先生的《知行合一王阳明》有感
- 射命丸文的取材之旅题解
- K8s二进制部署-flanneld报(Couldn‘t fetch network config)
- Tampermonkey油猴插件安装使用
- 知识图谱学习思维导图
- 推荐一些vue实战项目
- 问题:win7自带蓝牙无法识别外围设备 蓝牙音箱
- java计算机毕业设计学生就业创业管理系统源代码+系统+数据库+lw文档
- STM8L的EEPROM读写原理及例程
热门文章
- idea404未找到错误怎么解决_普联路由器提示无线网密码位数错误怎么解决【解决方法】...
- 高性能计算(HPC)的前景、如何学习HPC
- DPDK l2fwd收发包思维导图
- Linux开机启动过程(4):切换到64位模式-长模式(直到内核解压缩之前)
- Linux协议栈:基于ping流程窥探Linux网络子系统,及常用优化方法
- libevent:信号、超时、回调
- 为什么你的发行版仍然在使用“过时的”Linux 内核? | Linux 中国
- 【编译制导指令】#pragma pack - 字节数基准对齐
- linux变量循环赋值,shell脚本 循环变量赋值cf当前页面
- 内网通不用软件改积分_软件项目为什么不能够如期交付?