一、简介

1. Machine Data

一般公司中，机器数据占了大概90%以上，包含如应用数据，监控数据，脚本数据等；
机器数据的数据结构各种各样；
处理数据繁琐且难度大，因此引入工具来提升数据分析效率；

2. Splunk

用来处理数据的，主要包含5个功能

2.1 Index Data

将所有数据进行处理，索引，将数据包装成一个个的event，并存储在指定的位置中；
在检索的时候，通过输入的检索条件，从指定的位置中去读取数据；

2.2 Search & Investigate

在搜索框中输入指定的条件，从而实现数据搜索功能；

2.3 Add Knowledge

对于已经存储好的event数据，可以再对event数据加上一些定制化的标签，从而方便后续数据处理；

2.4 Monitor & Alert

对于有些错误数据，可以进行设定，从而在这种数据刚刚产生的时候，就报警显示出来；

2.5 Report & Analyze

将event数据处理，变为可视化的dashboard；

二、Splunk

1. 三个主要组件

1.1 Indexer

将机器数据整理成为event，并存放在指定的，不同的目录中，按照日期进行排列；
可以将数据保存在不同的indexer中，实现提高效率，保存不同时间，开启不同的查看权限功能；

1.2 Search Head

搜索框，提供搜索语法，将搜索指令传递给 Indexer；
Indexer 检索完结果后，将目标event返回给Search Head;
Serach Head 对数据进行处理，可以以列表，图表等各种方式展现出来；

1.3 Forwarder

该应用一般安装在目标应用服务器上，起到对该应用的监控作用，从而将该应用的数据，推送给Indexer来进行处理；

2.安装

单机版和集群版；
官网安装即可：三种系统以及splunk cloud云环境；
三种角色： admin，power，user；

3. 数据录入

3.1 uploaded

通过将数据文件上传，然后对数据进行分析；
适用于数据文件不变的一些测试用例，不适合于企业用例；

3.2 monitor

监控文件，文件夹
Http Event;
端口；
script脚本；

3.3 forwarder

最常用的一种数据录入方式

三、搜索

1. 基本搜索

用时间过滤效率最高；
一次查询，10分钟有效，10分钟后就会再次运行该查询
分享的job数据，7天内有效，及其他人查看的结果和本次job第一次展示的数据相同；
zoom in 和挑选时间线，是在原有的job结果中过滤，不会再次查询；
zoom out时，是重新运行一次job；
fail * ：通配符搜索
NOT, AND ,OR 几种必须大写，通过（）进行优先级排序；
failed password 和 failed and password相同效果;

2. 高级检索

2.1 fields

selected fields: 对于搜索作者本人，至关重要的一些字段，可以高亮现实，可以改变哪些字段能成为该类型字段；
interested fields：最少20的event中都包含的字段，可以加入到selected fields中去；
一个字段可以包含多个值，并会显示每个值在所有event中所占数目及比例；
a：指的是该字段的值是string类型；
#：指的是该字段的值类型是numrical类型；
字段名称大小写敏感，字段具体的值大小写不敏感；
=，！=，>=, <= ;
in;

2.2 搜索规则

一般先指定时间，然后依次为index， source， host， sourcetype；
inclusion 比 exclusion好；

2.3 搜索语法

commond语法

# 1. pipeline： 将搜索结果通过不同的pipeline进行多次过滤  commond+\ 进行换行
#   同时可以切换search bar的窗口
｜ content1 ｜ content2 ｜# 2. fields 属性
#包含字段： 发生在检索之前，筛选出其中两个字段，提升了效率
index = main ｜ fields firstfield secondfield
# 排除字段： 发生在检索之后，排除其中两个字段，对效率没影响，只是影响了页面展示的字段
index = main ｜ fields - firstfield secondfield# table 属性： 展示了其中的三个字段
index = main ｜ table field1 field2 field3# rename 属性： 展示了其中的三个字段
# rename某个字段后，就不能在后续的pipeline中用该字段了，应该用rename后的那个字段
index = main ｜ table field1 field2 field3 ｜ rename field1 as “haha” fields2 as “heihei”# 去重
index = main ｜ table field1 field2 field3 ｜ dedup fields1# 排序:    + 升序列   - 降序列       limit指定返回行数
index = main ｜ table field1 field2 field3 ｜ sort +（-） fields1  limit = 20

函数

# 1. top rare ：  top为前多少个， rare为最后多少个
index = main ｜ top field1    # 默认为前10个最多的
index = main ｜ top field1 limit = 20  # 可以手动设定前多少个
index = main ｜ top field1 limit = 0  # 将该字段从前到后排序  # 2. 函数
# count   distinct count  sum average   min max  list
index = main ｜ stats count   # 统计总数
index = main ｜ stats count as wholenumber   # 统计总数并起别名
index = main ｜ stats count（fields） as number   # 统计总数并起别名

四、Data Analyze

1. Report

将当前检索结果以report形式保存下来，其中数据还可以进行再检索；
report可以有权限，具体的查询时间区间等；

2. Visualization

将数据通过可视化的图标表现出来；

一、splunk入门相关推荐

Splunk入门体验
放一段介绍, Splunk是一款功能强大,功能强大且完全集成的软件,用于实时企业日志管理,可收集,存储,搜索,诊断和报告任何日志和机器生成的数据,包括结构化,非结构化和复杂的多行应用程序日志. 它 ...
安全运营 splunk入门
0x00 常用函数 head 1000 只展示查询结果中的前1000条日志 top 10 id 获取10个出现最多的id rare 10 id 获取 ...
CSDN学霸课表——从应用解析到基础实战，大数据入门、晋级课程推荐
[大数据]Splunk企业级运维智能&大数据分析平台新手入门视频课程讲师:张文星本课程系Splunk入门系列课程,实战为主,实战中穿插相关概念和理论.课程包括Splunk基础知识.安装部署 ...
java 开发人员工具_每个Java开发人员都应该知道的10个基本工具
java 开发人员工具大家好,我们已经到了2019年的第二个月,我相信你们所有人都已经制定了关于2019年学习以及如何实现这些目标的目标. 我一直在撰写一系列文章,为您提供一些知识,使您可以学习和改 ...
每个Java开发人员都应该知道的10个基本工具
大家好,我们已经到了2019年的第二个月,我相信你们所有人都已经为2019年的学习目标以及如何实现这些目标制定了目标. 我一直在撰写一系列文章,为您提供一些知识,使您可以学习和改进以成为2019年更好 ...
工作中使用到的单词（软件开发）_2022-02-26_备份
■原文工作中使用到的单词(软件开发)_sun0322-CSDN博客目录 ■常用链接 ■2020/03/15 (最初整理 242个单词) 2020 6/28 整理 2020 6/29 整理 20 ...
工作中使用到的单词（软件开发）_2021-12-26_备份
■原文工作中使用到的单词(软件开发)_sun0322-CSDN博客目录 ■常用链接 2020 6/28 整理 2020 6/29 整理 2020 7/6 整理 ■2020/10/07 以降整理 ■ ...
工作中使用到的单词（软件开发）_2021-10-23_备份
https://blog.csdn.net/sxzlc/article/details/104872052 目录 ■常用链接 2020 6/28 整理 2020 6/29 整理 2020 7/6 整 ...
工作中使用到的单词（软件开发）_2023_0316备份
原文: 工作中使用到的单词(软件开发)_http://42.62.43.136:8081/_sun0322的博客-CSDN博客目录 ■Java学习汇总 ■常用链接 ■2020/03/15 (最初整 ...

一、splunk入门

一、简介

1. Machine Data

2. Splunk

2.1 Index Data

2.2 Search & Investigate

2.3 Add Knowledge

2.4 Monitor & Alert

2.5 Report & Analyze

二、Splunk

1. 三个主要组件

1.1 Indexer

1.2 Search Head

1.3 Forwarder

2.安装

3. 数据录入

3.1 uploaded

3.2 monitor

3.3 forwarder

三、搜索

1. 基本搜索

2. 高级检索

2.1 fields

2.2 搜索规则

2.3 搜索语法

四、Data Analyze

1. Report

2. Visualization

一、splunk入门相关推荐

最新文章

热门文章