Splunk集成Kafka配置方法
【摘要】Splunk是业界赫赫有名的数据分析工具,比较擅长BI和安全分析,我司很多部门都有购买其产品和服务。最近有个需求要把Splunk和分部署消息队列Kafka做个集成,Splunk官方提供的一个Kafka的插件,可以很容易的做到与开源Kafka集成,本文简单描述一下集成的配置方法。本文假设你的环境里已经搭建好了Splunk和Kafka(Splunk搭建请参考,Kafka搭建请参考)。
# 概述
Splunk Add-on for kafka支持三种输入
- 监控Kafka本身的日志,需要在Kafka的机器上部署Forward
- 用JMX输入来收集kafka集群的性能指标,这还需要额外安装一个Splunk Add-on for JMX来跟Kafka的JMX对接
- 与Kafka的topic对接直接消费数据,通常会把插件装在heavy forwarder上,通过他与Kafka对接
一个完整的部署架构和数据流向如下图所示,实际上前两种输入都是可选的,根据实际需求选择即可:
# 安装Splunk Add-on for Kafka
1. 下载插件:https://splunkbase.splunk.com/app/2935/#/overview
2. 安装插件,在Splunk主界面上点“Apps”后面的图标
在弹出界面上点“Install app from file”,在弹出界面上选择前一步下载的Splunk Add-on for kafka,然后点“upload”安装完后会提示重启。
# 配置Splunk集成Kafka
官方推荐把接收Kafka消息的集成点放在Heavy Forwarder上,但是直接在Splunk实例上配置订阅Kafka主题也是可以的。
1. 在Splunk Web上点Apps->Manage Apps
2. 在弹出页面中找到Splunk Add-on for Kafka,点击“Set up”
3. (可选)配置“Logging level”
4. 在下面的“Credential Settings”中点击“Add Kafka Cluster”,在弹出窗口中只需配置前两项即可,其他都可以留白
- Kafka Cluster 定义kafka集群的名字
- Kafka Brokers kafka实例的IP和端口,如果有多个实例,格式为 (<host:port>[,<host:port>][,...]).
5. 点“save”
6. 点击“Settings->Data inputs”
7. 找到“Splunk Add-on for kafka”那一行,点击“Add new”
8. 填写表格
- Kafka data input name 给这个输入定个名字
- Kafka cluster kafka集群的名字,见上面4、5两步
- Kafka topic 收集数据的kafka 主题
- Kafka partitions (选填)
- Kafka partition offset 指定是从头开始还是从尾开始
- Topic group (选填)订阅者的group标识
- Index (选填)
9. 点“Next”
通过上述步骤,Splunk就和kafka集成好了,通过producer往kafka发一些数据,然后在Splunk里搜索:
sourcetype=kafka:topicEvent
参考:http://docs.splunk.com/Documentation/AddOns/released/Kafka/Configuremodularinputs#Manage_inputs_manually_from_each_forwarder
来源:华为云社区 作者:菊花茶
Splunk集成Kafka配置方法相关推荐
- SpringBoot集成Kafka消息队列
1.说明 Spring可以方便的集成使用 Kafka消息队列 , 只需要引入依赖包spring-kafka, 注意版本兼容问题, 本文详细介绍SpringBoot集成Kafka的方法, 以及生产者和消 ...
- 【无废话】SpringBoot集成Kafka消息队列
0.前言 本人整理收藏了22年多家公司面试知识点整理 ,以及各种Java核心知识点免费分享给大家,我认为对面试与学习来说是非常有用的,想要资料的话请点白嫖这份答案←戳我** 1.说明 Spring可以 ...
- SpringBoot集成Kafka
SpringBoot集成Kafka 知识索引 SpringBoot集成Kafka工程搭建 SpringBoot集成Kafka配置 SpringBoot集成Kafka生产消息 SpringBoot集成K ...
- SpringBoot笔记:SpringBoot2.3集成Kafka组件配置
文章目录 说明 Springboot集成Kafka 依赖配置 配置文件yml配置 Producer生产者 Consumer消费者 测试代码 注意事项 说明 本文是接<Kafka学习:CentOS ...
- 持续集成:Jenkins邮件通知配置方法介绍
Jenkins的邮件提醒功能主要通过Email Extension插件来实现,它是对Mailer Plugin的扩展,我在持续集成平台Jenkins配置方法介绍中简要介绍了Jenkins的邮件配置方法 ...
- 让你提前认识软件开发(51):VC++集成开发环境中Linux下Pclint工程的配置方法及常见错误修改
第3部分 软件研发工作总结 VC++集成开发环境中Linux下Pclint工程的配置方法及常见错误修改 [文章摘要] Pclint是一种C/C++软件代码静态分析工具.它是一种更加严格的编译器,能够发 ...
- storm如何集成kafka
之前的kafka案例:http://blog.csdn.net/weixin_35757704/article/details/77196539 之前的storm案例:http://blog.csdn ...
- 从现在开始学 Kafka:SpringBoot 集成 Kafka,生产者与消费者示例
从现在开始学 Kafka:SpringBoot 集成 Kafka,生产者与消费者示例 前言 加依赖 生产者 加配置 生产者代码示例 消费者 加配置 消费者监听器示例 调用 关于 Serializer ...
- 最简单的SpringCloudStream集成Kafka教程
开发中,服务与服务之间通信通常会用到消息中间件,如果我们使用了某一个MQ,那么消息中间件与我们的系统算是高耦合.将来有一天,要替换成另外的MQ,我们的改动就会比较大.为了解决这个问题,我们可以使用Sp ...
最新文章
- r语言手动算两个C指数p值,如何用R语言进行Pvalue显著性标记?
- Asp.Net页面输出到EXCEL
- 关于RMAN几个容易混淆的参数
- 【Android 逆向】Android 进程注入工具开发 ( Visual Studio 开发 Android NDK 应用 | 使用 Makefile 构建 Android 平台 NDK 应用 )
- Vmware15的安装(ps解决:重装Vmware出现无法安装服务Vmware Authorization Service)
- 2020年,中国AI创业公司将走向何方
- BeanUtils.copyProperties使用
- Java Maven简明
- 用python的turtle库画圣诞树
- java实训文献_java实训论文参考文献写作指导
- 机器视觉软件入门(2)
- Navicat远程连接服务器mysql,先后报错10060,10061
- SAP ABAP MOVE-CORRESPONDING ... TO ...的使用
- Qt教程(新手入门级)
- pandas合并excel
- TCP断开时的状态与Linux nf_conntrack
- Request库的相关用法
- 生物特征识别数据泄露事件
- android 流媒体 播放器 项目 源码
- mysql set类型的用户变量,mysql用户变量的圈套