Splunk—云计算大数据时代的超级日志分析和监控利器
面对快速变化的业务和日趋复杂的网络应用环境,不少IT管理者追赶变化的脚步却是举步维艰。原因是多方面的,传统基于关系型数据库的IT管理平台无疑是其中一个重要因素。传统的IT管理平台针对数据管理一般采用定制数据接口标准化输入的形式获取数据,同时内部的数据结构和报表一旦确定,很难根据情况变化进行改变。面对随着新业务涌现的新型IT数据,传统的IT管理平台需要进行耗时漫长的二次开发才能进行有效管理,更谈不上应对瞬息万变的IT管理需求。
Splunk正是在这个技术的困境中应运而生,以灵活、敏捷的数据管理能力为企业带来一场IT管理的创新革命:
跨越平台,应用的数据格式支持
支持对所有以文本形式存在的IT数据进行处理,如标准的syslog和非结构化的事件日志,snmp事件,xml文本,系统和应用配置等,在Splunk可以为不同来源的数据选择最为适合的输入方式。
如右图所示,Splunk通过文件上传,共享目录等方式对文件数据进行索引分析和实时监控;网络设备和应用服务器产生的日志则可以通过TCP/UDP端口侦听的方法进行收集;甚至脚本运行产生的数据也可以作为Splunk的数据来源进行索引和分析。
快捷的数据定义和转换
要对IT数据进行有效管理的前提是,提取数据中有价值的信息进而进行定义,搜索和深入分析。
相对于传统的IT管理平台,Splunk对数据的定义灵活而快速,可以根据实际情况的变化快速地对感兴趣的数据进行定义,整个过程只需在管理界面上清点几下鼠标和花费几分钟的时间。下面以定义日志来源主机为例:Splunk中提供智能提取数据并定义的功能,只需在样本数据中填入需要定义的数据的样本,splunk便可使用正则表达式智能分析数据的结构,相对位置等信息,帮助管理者快速的识别和抽取有用信息进行定义和分析。
当然,如果你是一位熟悉正则表达式管理者,那么你对Splunk灵活和强大的功能会有更深的认识。由于各个网络设备厂商的标准不一,接口的物理特性各异,网络设备接口存在多种表示方式,如何对所有设备的接口进行严格定义而不产生遗漏呢?这是令不少IT管理者头疼的问题。在Splunk中,只需在搜索栏中输入一行短小精悍的正则表达式,所有网络设备日志中包含的网络接口即可一网打尽,绝无漏网之鱼。
所有的数据定义均可以随着情况的变化和管理的需要进行实时的增加、删除和修改,管理者需要做的工作仅是重新使用一遍智能数据定义功能或者对正则表达式进行一点小修改而已。
简单灵活的搜索语言
Splunk一个有趣的别称——”google for IT”,这其中隐含的意思是IT管理者在Splunk中对数据搜索管理可以像使用google搜索引擎一样简单方便。
在搜索栏中简单敲入fail*,选择时间范围,所有与操作失败相关的事件在数秒之内作为结果返回。在搜索结果的基础上,我们可以进行进一步的深入分析,这只需选择左边特定栏位(已定义数据)的数值:这种数据drill-down搜索在问题定位方面的效率上相较传统的IT管理平台有巨大的优势,层进式的问题排查将成为明日黄花,一去不复返。
快速的报表生成和内容丰富的dashboard
Splunk中的搜索结果可以快速转化为报表保存下来,保存的报表可作为技术和管理知识或者实时监控之用。Splunk中保存的搜索语句和报表根据特定类型和需求组织起来形成内容丰富的知识集合,以dashboard的形式进行呈现。
*.<severity> @< syslog server IP Address>
*.debug @172.29.1.1
- 首先要确保运行Splunk服务(在服务管理器中显示为Splunkd)的帐号有权限就去读取远程Windows机器的WMI信息。
- 然后就是要在Splunk服务器上做一下简单的配置:Splunk的安装路径默认为C:\Program Files\Splunk。在C:\Program Files\Splunk\etc\system\local文件下修改inputs.conf文件,添加以下内容:
- [script://$SPLUNK_HOME\bin\scripts\splunk-wmi.py]
interval = 10
source = wmi
sourcetype = wmi
disabled = 0
- [script://$SPLUNK_HOME\bin\scripts\splunk-wmi.py]
- 接着在同一目录中新建一个文本文件,命名为wmi.conf,并添加以下内容:
- [WMI:< Name>]
server = < Remote Windows Host IP Address>
interval = 60
event_log_file = < Event log Type>
disabled = 0比如监控IP地址为172.29.1.30的Windows主机上Application和System的Event Log:[WMI:AppAndSys]
server = 172.29.1.30
interval = 60
event_log_file = Application, System
disabled = 0
Splunk—云计算大数据时代的超级日志分析和监控利器相关推荐
- 大数据时代的全能日志分析专家--Splunk安装与实践
大数据时代的全能日志分析专家 --Splunk安装与实践 0.背 景 随着大家对网络安全意识的提高,企业网管理人员,必须对IT基础设置进行监控及安全事件的管理,管理数据的数量和种类非常巨大,那么就需 ...
- 云计算大数据时代IT管理的机遇和挑战
文章讲的是 云计算大数据时代IT管理的机遇和挑战, 近日,由国际最佳实践管理联盟主办 " 云计算 大数据时代IT管理的机遇和挑战"为主题的第二届国际最佳实践管理联盟中国年会(以下简 ...
- 云计算大数据时代所面临的机遇和挑战
[会议简介] 国际最佳实践管理联盟是一个无国界的知识和经验分享平台.继2014年首届国际最佳实践管理联盟中国年会在北京成功召开后,2015年同期,趋势引领将携手各行业合作伙伴与客户,与您继续相约第二届 ...
- Qlik潘应麒:大数据时代下的现代分析学
文章讲的是Qlik潘应麒:大数据时代下的现代分析学,大数据时代的来临同时意味着我们将进入人工智能化的时代.我们所面对的数据容量,数据种类,数据变化的数据同之前都大不相同.但是,在面对这样庞大的数据量多 ...
- 云计算/大数据/Hadoop2.0/MongoDB/数据挖掘分析/视频教程
点击进入http://item.taobao.com/item.htm?spm=2013.1.0.0.Al9QzH&id=39577795278 全部内容]:课程内容(更新于2014-3-23 ...
- 基于大数据审计的信息安全日志分析法
大数据信息安全日志审计分析方法 1.海量数据采集.大数据采集过程的主要特点和挑战是并发数高,因此采集数据量较大时,分析平台的接收性能也将面临较大挑战.大数据审计平台可采用大数据收集技术对各种类型的数据 ...
- 基于大数据电商平台日志分析
一.项目介绍 1.1 项目介绍 本次实训,要求使用Hadoop及其生态圈相关的组件来实现企业级大数据开发的整套流程,即数据的采集.数据的存储.数据的分析处理及数据的可视化.其中数据的采集部分会介绍两种 ...
- 大数据实战项目------中国移动运营分析实时监控平台 || 项目背景
中国移动运营分析实时监控平台 项目背景 中国移动公司旗下拥有很多的子机构,基本可以按照省份划分. 而各省份旗下的充值机构也非常的多. 目前要想获取整个平台的充值情况,需要先以省为单元,进行省份旗下的机 ...
- 大数据Spark对SogouQ日志分析
目录 1 业务需求 2 准备工作 2.1 HanLP 中文分词 2.2 样例类 SogouRecord 3 业务实现 3.1 读取数据 3.2 搜索关键词统计 3.3 用户搜索点击统计 3.4 搜索时 ...
最新文章
- 舵机弹跳机器人_这个小小的机器人外形呆萌 弹跳能力绝对比你好
- 二叉树路径应用举例(基于非递归后序遍历)
- html表单显示提示,html侧栏对应表单的提示显示
- equation在c语言中是什么意思,MathType出现此对象创建于Equation中的问题怎么办
- Kaggle新赛 | HuBMAP: 识别人体肾脏组织图像中的肾小球~总奖金 6 万美金
- 图神经网络,这到底是个什么?
- fileupload控件的属性_FileUpload控件的配置 .
- qt 正则表达式 和 常用正则表达式应用
- 新司机的黑裙战斗机 篇三:群晖【番外篇】群晖系统崩溃后的数据抢救
- Sublime Text格式化SQL
- PPT过大怎么压缩?这种方法务必收藏
- android发送语音动画,Android仿微信发送语音消息的功能及示例代码
- PHP摄影网站怎么制作,摄影网站的设计与实现.doc
- python add picture显示过大_利用Python自带PIL库扩展图片大小给图片加文字描述的方法示例...
- 项目八学好英语网html,学好英语的八种方法-英语文章阅读-大耳朵英语 - 免费在线英语学习 口语练习 四级听力资料 在线翻译 网络课堂 英语社区...
- GMAC接口(2)——协议
- 斐波纳契数列(Fibonacci Sequence),又称黄金分割数列
- 存储过程中的关键字--AS、GO的含义
- 详解AUTOSAR:Green Hills Software(GHS)编译下载瑞萨RH850程序(环境配置篇—2)
- Node抓取有道精品课视频
热门文章
- c++模板:调用模板成员函数需不需要加template关键字?
- 世界杯法国夺冠 华帝真的全额退款了 营销还可以这么玩!
- 微信小程序中new Date()转换时间时间格式时IOS 显示NaN异常问题
- 4G/5G多卡聚合设备为应急通信行业提供网络解决方案
- word文档怎么分等宽两栏_word文档等宽两栏怎么设置
- python fileinputstream_fileinputstream读取网络文件
- python3 将pdf转换成txt
- 联通在信扣费怎么回事?
- JQuery实现分页功能
- WPF(一) WPF基本控件与布局