K8S学习笔记之使用Fluent-bit将容器标准输入和输出的日志发送到Kafka
0x00 概述
K8S内部署微服务后,对应的日志方案是不落地方案,即微服务的日志不挂在到本地数据卷,所有的微服务日志都采用标准输入和输出的方式(stdin/stdout/stderr)存放到管道内,容器日志采用的是json格式。
目前大部分K8S容器日志都采用Fluent或者Fluent-bit,将日志传输到ES集群,本文主要讲使用Fluent-bit将容器的日志传输到Kafka。
0x01 部署Fluent-bit并传输到Kafka
详细请看https://github.com/fluent/fluent-bit-kubernetes-logging
1.1 创建Fluent-bit Daemonset使用的configmap
$ kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/output/kafka/fluent-bit-configmap.yaml
1.2 配置Fluent-bit Daemonset将K8S日志传输到Kafka
$ kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/output/kafka/fluent-bit-ds.yaml
0x02 Fluent-bit输出方向ES和Kafka
https://github.com/fluent/fluent-bit-kubernetes-logging/tree/master/output
0x03 Fluent-bit将K8S日志传输到Kafka
https://github.com/fluent/fluent-bit-kubernetes-logging/tree/master/output/kafka
将https://github.com/fluent/fluent-bit-kubernetes-logging/blob/master/output/kafka/fluent-bit-configmap.yaml 文件内的Brokers的value改写成Kafka的IP加9092端口即可。
例如 10.10.11.32:9092
0x04 日志格式过滤
关于详细的部署的格式过滤可以参考这篇https://www.jianshu.com/p/1000ae80a493
0x05 总结
多参考官方网站和搜刮github,尽量少使用百度,百度搜索几乎无解。。。。
转载于:https://www.cnblogs.com/JetpropelledSnake/p/11080951.html
K8S学习笔记之使用Fluent-bit将容器标准输入和输出的日志发送到Kafka相关推荐
- K8S 学习笔记三 核心技术 Helm nfs prometheus grafana 高可用集群部署 容器部署流程
K8S 学习笔记三 核心技术 2.13 Helm 2.13.1 Helm 引入 2.13.2 使用 Helm 可以解决哪些问题 2.13.3 Helm 概述 2.13.4 Helm 的 3 个重要概念 ...
- QT学习笔记(九):遍历容器-迭代器(iterators)
QT学习笔记(九):遍历容器-迭代器(iterators) 遍历容器 : 1.Jave风格: 2.STL风格: 3.foreach 关键字: 遍历容器 : 遍历一个容器可以使用迭代器(iterator ...
- QT学习笔记(八):顺序容器和关联容器
QT学习笔记(八):顺序容器和关联容器 一.前言 二.容器介绍 2.1 顺序容器 2.2 关联容器 二.顺序容器示例 三.关联容器 一.前言 在Qt库中为我们提供了一系列的基于模板的容器类(conta ...
- 写给大忙人的ELK最新版6.2.4学习笔记-Logstash和Filebeat解析(java异常堆栈下多行日志配置支持)
写给大忙人的ELK最新版6.2.4学习笔记-Logstash和Filebeat解析(java异常堆栈下多行日志配置支持) 参考文章: (1)写给大忙人的ELK最新版6.2.4学习笔记-Logstash ...
- docker,k8s学习笔记汇总
整理了下博客里关于docker和k8s的文章,方便查看 docker学习笔记(一)docker入门 docker学习笔记(二)创建自己的镜像 docker学习笔记(三)docker中的网络 docke ...
- k8s学习笔记一集群部署
k8s安装笔记 基础环境配置 修改主机名: 修改hosts配置文件 安装依赖包 关闭防火墙并未Iptables设置空规则 关闭swap分区和linux虚拟内存 调整内核参数 调整系统时区 关闭系统不需 ...
- 最详细的 K8S 学习笔记总结(2021最新版)
虽然 Docker 已经很强大了,但是在实际使用上还是有诸多不便,比如集群管理.资源调度.文件管理等等.那么在这样一个百花齐放的容器时代涌现出了很多解决方案,比如 Mesos.Swarm.Kubern ...
- k8s学习笔记(一)
第一章 kubernetes介绍 本章节主要介绍应用程序在服务器上部署方式演变以及kubernetes的概念.组件和工作原理. 应用部署方式演变 在部署应用程序的方式上,主要经历了三个时代: 传统部署 ...
- k8s学习笔记——ceph pv rbd动态挂载
//参考https://github.com/kubernetes-retired/external-storage/tree/master/ceph/rbd //参考https://www.wenj ...
最新文章
- 如何判断数据库的某个字段不为空方法
- 【Docker从入门到精通_1】Ubuntu16.04版本安装与配置
- requestURI的组成部分
- linux搭建rabbitmq环境,RabbitMQlinux-centos环境配置
- java.io.FileNotFoundException异常,一是“拒绝访问”,二是“系统找不到指定路径”
- 来自Intouch小菜鸟的第一篇Blog——报表制作
- tps协议和onvif协议_摄像头ONVIF协议,到底啥是ONVIF,又是啥意思?
- 乐高机器人纲要_乐高机器人校本课程纲要
- 基于eNSP的千人中型校园/企业网络设计与规划(可以自己按步骤实现)
- hbuilder 夜神模拟器 谷歌 联调
- idea常用的搜索方式
- Owin Katana 的底层源码分析
- Scrapy框架中CrawSpider的使用
- 一文读懂矩估计、极大似然估计和贝叶斯估计
- 锐龙r7 5800x怎么样 相当于什么水平
- Excel2019关闭时无响应
- metrics.accuracy_score()函数 计算acc
- PDF Explained(翻译)第七章 文档元数据和导航
- java web孤傲苍狼,JavaWeb学习笔记
- 华为智慧屏V55i、荣耀智慧屏和荣耀智慧屏PRO的区别
热门文章
- 【codevs1380】没有上司的舞会
- python多个对象嵌套会有问题吗_Python列表嵌套常见坑点及解决方案
- PHP留言并展示_留言页面展示功能
- mysql日志监控 zabbix_zabbix监控mysql+报警
- Python入门--个数可变的位置参数和关键字参数
- python中对象和类的关系_Python面向对象之类与类之间的关系
- Undefined function 'adb' for input arguments of type 'double'.
- 利用matlab写一个简单的拉普拉斯变换提取图像边缘
- [工具] PicGo + Github 图床
- Python实现简单的人脸打卡系统