一、 Template功能

  • 根据用户需求指定任意格式
  • 动态生成文件名
  • 每个输出都使用了一些模板,包括针对文件的,针对用户消息等

备注:

  • 旧版本:$template
  • 新版本:template()

V6之前是旧格式

V7版本,传统语法与最新配置可在配置文件中混合使用,我们下面学习的是新格式。

二、Template()声明

1.作用

用来定义模板,是一种静态声明,表示所有的模板都会在rsyslog读取配置文件的时候被定义。template不会受到if语句或嵌入配置的影响。

2.基本声明结构

template(parameters)list templates则是一种扩展的支持   template(parameters) {list-descriptions}

3.template的类型

类型参数指定不同的template类型,不同类型就可以使用不同的方法来定义template的内容,类型不会影响插件工作,合适的template类型会很好的匹配需求。

  • List
  • Subtree
  • String
  • Plugin

下面具体讲一下每种类型

三、四种类型的学习

1. list类型

List template是由一系列反复出现的内容和变量语句生成的,内容通过“{}”包含起来,这种类型一般用于已知输出结构的情况,比如,ommongodb。建议在有复杂属性替换的情况下使用这种类型,比较清晰

List template包含template头部(type = "list")和紧接着的用”{}”括起来的constant和property部分。

  • constant:不变的,对反复出现的文本进行描述
  • property:描述属性。对于property有多种可用的选项,大多数选项被用来提取部分的属性内容或者用来修改文本(比如将大写字母转换为小写字母)

举例:

template(name="tpl1" type="list"){
constant(value="Syslog MSG is: '")property(name="msg")constant(value="', ")property(name="timereported" dataFormat="rfc3339" caseConversion="lower")constant(value="\n")}

备注:这个示例可能会被用于定位常见的文件输出

(1)常量的声明(constant statement)

一种指定常量文本的方法。常量主要用于基于文本的输出。

举例:

template(name="outfmt" type="list"){property(name="$!user!msgnum")constant(value+"\n")}

下面是常量文本中可被识别的一系列转义字符的含义:

\

单个反斜线

\n

换行(line feed)

\000

三位八进制数-数字值对应的字符(\101代表字母A),三个数是必须的,但是建议使用十六进制

\xhh

十六进制数-表示数字值对应的字符(\x41代表A),注意两个数都是必须给定的

如果反斜线后面跟了一个不支持的字符,那么将会被当做一个威胁报错,这种情况会导致不可知的动作

为结构化输出创建name/value树的时候,没有outname参数的常量(constant text)会被忽略掉。

template(name="outfmt" type="list"){property(name="$!usr!msgnum")constant(value="\n" outname="IWantThisInMyDB")}

常量声明时可使用以下参数

value

常量的值

outname

结构化输出中的字段名

(2)property的声明

property声明用于包含属性文本,可以用于所有的属性。选项options用来指定提取或修改属性的某些部分,对于property支持以下参数:

name

要访问的属性名

outname

结构化输出中的字段名

dateformat

用于指定日期相关属性的日期格式

caseconversion

将文本字母转换成大写或小写,支持的value有“lower”和“upper”

controlcharacters

指定如何处理控制字符,value:转义字符(escape),空格(用一个空格替换),从字符串中移除(drop)

securepath

在dynafile templates中用来创建pathnames

format

指定字段格式。csv(csv),json(没有字段头field header的json格式),jsonf(完整的json段),jsonr(没有双反斜线,但是可将其作为安全的json字段),jsonfr(jsonf和jsonr的结合格式)

position.from

从这个位置开始包含子字符串(1是第一个位置)

position.to

一直到这个位置开始包含子字符串

position.relativetoend

From和to的位置与字符串的结尾有关

field.number

包含此字段的匹配

field.delimiter

字段提取的分隔符的十进制值

regex.expression

使用的正则表达式

regex.type

要么ERE,要么BRE

regex.nomatchmode

如果没有匹配该怎么做

regex.match

所使用的匹配

regex.submatch

所使用的子匹配

droplastLf

如果有一串换行符(LF)则丢弃

mandatory

表示字段的强制性,如果设置为”on”,那么就算为空,这个字段也会在结构化输出的时候一直存在。如果设置为”off”(默认值),那么当为空得时候,这个字段就不会传给结构化输出。这个选项在支持动态结构的输出中很有用(比如ommongodb)

spifno1stsp

用于处理RFC3164 template的专用选项

2.子树(subtree)

(1)概念

  从rsyslog 7.1.4开始启用的内容。subtree主要用来生成基于完整(CEE)subtree的template。这种模板主要用于知道如何处理层级结构的输出,比如ommongodb,对于这种类型,参数subtree必须被指定以告知要使用哪个subtree。例如template(name="tpl1" type="subtree" subtree="$1")表示包含所有CEE数据,而template(name="tpl2" type="subtree" subtree="$!usr!tpl2")则只包含以"$!usr!tpl2"开头的subtree。使用这种模板的核心理念是,真实地数据是通过set和unset脚本语句预生成的,同时结果的结构会再模板内部被使用。如果一个完整的subtree需要被直接放到对象的根部(object’s root),则必须使用这种类型。相对于其他所有的模板类型,只有subcontainers能够被生成。注意subtree类型同样可以用于基本文本的输出,如omfile。不过,这种情况下,你是无法指定常量的,因此就无法包含换行符。由此,对于文本输出使用subtree同样被用于做调试或者一些特殊的场合(比如文本将会被JSON解释器所解析)

(2)用例

subtree的典型用例:先创建一个自定义的subtree然后再template中使用,比如:

set $!usr!tpl2!msg = $msg;set $!usr!tpl2!dataflow = fied($msg, 58, 2);template(name="tpl2" type="subtree" subtree="$!usr!tpl2")

这里,我们假设$msg包含不同的字段,来自某字段的数据将会被提取出来并存储用以与message一起作为字段的内容

3.字符串(string

包含一个强制的参数string,用来包含要使用的模板字符串,模板字符串是常量和replacement变量的混合字符串。这种变量来自于message或者当最后的字符串到达插件时候生成的动态内容。基于字符串的模板是制定文本内容的一种很好的方法,特别是当对于属性没有复杂操作的情况下,特别适用。

template(name="tpl3" type="string"string="%TIMESTAMP:::date-rfc3339% %HOSTNAME% %syslogtag%%msg:::sp-if-no-1st-sp%%msg:::drop-last-lf%\n") 

上例中,百分号之间的文本将会被rsyslog的property replacer所解释。在nutshell中,它包含了将要使用的属性以及格式化所需的选项和其他处理,这与list模板中的property对象的功能类似(实际上仅仅是使用不同的语言来描述同样地事情)

所有百分号外的内容都是常量,这上例中,在属性值中间主要含有一些空格,在字符串的最后,使用了一个转义字符。

转义字符允许指定那些无法打印的字符,这与C以及其他语言中得转义字符相似,他们是以一个反斜线引出并在其后跟上一个或多个字符来表示特定的字符,比如“\7”在US-ASCII中代表BEL(响铃),“\n”代表新行。总之与C和perl语言支持的相似,但会有一些限制

4. 插件(plugin

使用plugin类型的时候,模板是由一个插件(或者被称为”strgen”或者”string generator”)来生成。它的格式是固定的,就像他被编码时候一样。然而这种类型并不灵活,由于它提供了很高的性能(并不是说其他类型的模板很缓慢,而是指在那些对实时性要求很高的环境中),所以会被使用。在这种类型中,plugin参数必须被指定,并且要包含插件名用来识别它。注意在模板中,插件必须要被实现加载好,例如:

template(name="tpl4" type="plugin" plugin="mystrgen")

五、选项(options)

选项是可选的,注意不要混淆模板的选项和属性的选项-属性选项会被属性替换器(property replacer)处理并用于单个属性而非整个模板。模板选项是大小写敏感的,目前模板属性有:

  • option.sql - 用于为MySQL将字符串格式化为SQL语句,其中的单引号(’)和反斜线()会被对应的转义字符替换(即“\’”和“\”)。注意在MySQL配置中,必须禁用NO_BACKSLASH_ESCAPES模式(默认就是禁用的)
  • option.stdsql - 将字符串格式化为SQL语句以发送给表在哪混的sql服务器。这种方式会将字段中的单引号(‘)用两个单引号来替换(’‘),如果MySQL配置文件中NO_BACKSLASH_ESCAPES设置为on那么就必须使用这个stdsql选项
  • option.json - 将字符串格式化为JSON形式,这种方式会讲字段中的单引号(‘)用两个单引号(’‘)来替换。

不管什么时候,绝对不要同时使用多个模板选项,因为会引起未知的故障和逻辑错误

当模板是用以写入数据库的时候,则必须指定要么为sql选项要么为stdsql选项,否则有可能出现SQL注入的问题。需要注意的是,由于在现实情况,有的厂商并不遵守标准的sql规则而引入自己的转义方法,所以一种选项并不能满足所有的工作,因此你必须确保你使用的是正确地格式。如果格式错误,仍然有可能遭遇sql注入的威胁。数据库写入程序会检查模板中存在的SQL选项,如果不存在,那么数据库写入操作就会被禁用,这也主要是为了防止由于你忘记配置sql选项而导致的SQL注入问题。SQL选项对于文件也很有用,特别是在出于性能考虑,你想要将文件导出到另外一台机器的数据库中得情况。对于其他的情况,如果没有特别需要,建议不要使用,因为这会带来一些处理时间上的开销,虽然不多,但是对于某些在这方面敏感的系统来说,这就显得尤为重要了。对于写入数据库动作来说,默认情况下使用的是sql选项,由于当前我们只支持MySQL并且sql选项也兼容了MySQL默认的配置,所以这就是个最佳选择了。当然如果你将NO_BACKSLASH_ESCAPES设置为on的话,则就需要使用stdsql选项以避免SQL注意的威胁。

六、备注(附加)

1.为omfile创建动态文件名

template(name="DynFile" type="string" string="/var/log/system-%HOSTNAME%.log")

2.传统格式

传统语法格式如下:

$template name,param[,options] 

name:模板名

param:指定模板内容的参数

options:设置模板选项

3.预留的模板名

  • 以”RSYSLOG_”开头的模板名是位rsyslog预留使用的,自定义的模板不要使用这些名字,否则有可能产生冲突导致未知故障。下面就是一直预留共使用的系统模板
  • RSYSLOG_TraditionalFileFormat - 传统风格的使用不怎么精确的时间戳的默认日志文件格式
  • RSYSLOG_FileFormat - “现代风格”的日志文件格式,与TraditionalFileFormat类似,但是使用的是更高精度的时间戳和时区信息
  • RSYSLOG_TraditionalForwardFormat - 传统风格的转发格式,时间戳精度低,通常用于将日志消息转发给其他的syslogd或者低于3.12.5版本的rsyslogd
  • RSYSLOG_SysklogdFileFormat - sysklogd兼容的日志格式。如果使用选项$SpaceLFOnReceive on,$EscapeControlCharactersOnReceive off和$DropTrailingLFOnReception off,那么日志格式就会遵从sysklogd的日志格式
  • RSYSLOG_ForwardFormat - 类似传统的风格,但是有更高精度的时间戳和时区信息。建议在将日志消息转发给3.12.5或更高的rsyslog版本的时候使用
  • RSYSLOG_SyslogProtocol23Format - 在IETF的internet-draft ietf-syslog-protocol-23中指定的格式,可能会成为新的RFC日志标准格式。这种格式加入了一些改进。rsyslog的消息分析程序(message parser)可以读懂这种格式,所以它可以在最近版本的rsyslog中使用,对于不支持的syslog版本可能会直接拒绝这种格式,所以使用之前最好检查一下。【注】在最终的RFC标准出台的时候,格式可能不会发生改变,但也有可能会发生一些变化
  • RSYSLOG_DebugFormat - 一种特殊的用于调试property故障的格式,不要在生产环境或者远程转发的情况下使用这种格式

转载于:https://www.cnblogs.com/cherishry/p/6776407.html

Rsyslog的模板template详解相关推荐

  1. python string模块template_Python - 定制pattern的string模板(template) 详解

    定制pattern的string模板(template) 详解 本文地址: http://blog.csdn.net/caroline_wendy/article/details/28625179 s ...

  2. C++ - 类模板(class template) 详解 及 代码

    类模板(class template) 详解 及 代码 本文地址: http://blog.csdn.net/caroline_wendy/article/details/16906827 类模板(c ...

  3. 模板模式详解、模板模式怎么用、模板模式模板代码

    模板模式详解.模板模式怎么用.模板模式模板代码 文章目录 模板模式详解.模板模式怎么用.模板模式模板代码 @[toc] 模板模式定义 使用场景 优点 代码实操 模板模式定义 在模板模式(Templat ...

  4. Django框架的模板层详解

    目录 一.模板简介 二.模板语法之变量 三.模板之过滤器 四.模板之标签 for标签 for ... empty if 标签 with 五.自定义标签和过滤器 六.模板导入和继承 模板导入: 模板继承 ...

  5. Elasticsearch之Template详解

    Elasticsearch之Template详解 一.Index Template 示例1 示例2 示例3 二.Dynamic Template 示例1 在ES中我们可以通过设置 Index Temp ...

  6. C++模板类详解及注意事项

    C++模板类 C++中有一个重要特性,那就是模板类型.类似于Objective-C中的泛型,C++通过类模板来实现泛型支持.它使用参数化的类型创建相应的函数和类,分别称之为函数模板和类模板. 模板是一 ...

  7. template详解

    1. 函数模板 1. 函数模板定义 关键字:"template开头","参数列表非空" 定义一定要以:template<->开头(为了解释为什么 i ...

  8. 【phpcms-v9】phpcms-v9中模板载入函数template详解

    /**  * 模板调用  *  * @param $module  * @param $template  * @param $istag  * @return unknown_type  */ fu ...

  9. 自动化监控--zabbix中的template(模板)详解

    模板概述 模板是可以方便地应用于多个主机的一组实体.而这些实体包括:items(监控项).triggers(触发器),graphs(图形).applications(应用).screens (聚合图形 ...

  10. [设计模式](十):策略模式(Strategy)与模板模式(Template)详解及二者间区别介绍(两种父子类行为模式)

    这次要说的两个模式,都是行为模式,指的是在程序运行过程中,经过经验总结的行为开发模式. 其次,行为模式再按照类与类间关系的划分,可以划分为四个类型:父子关系(2种).独立类间关系(4种).类自身状态( ...

最新文章

  1. 2022-2028年中国FEP薄膜行业市场发展规模及市场分析预测报告
  2. Kanade's trio 2017多校#3 trie
  3. LeetCode119.杨辉三角II
  4. python中面向对象_简述Python中的面向对象编程的概念
  5. python特征匹配 查找_特征匹配+单纯形查找对象
  6. 容器云平台在传统企业落地的一些思考和探索
  7. 阶段1 语言基础+高级_1-3-Java语言高级_08-JDK8新特性_第1节 常用函数接口_15_常用的函数式接口_Predicate接口练习-集合信息的筛选...
  8. 【数据库】范围 通配符 排序(2020.3.18
  9. 黑苹果驱动_黑苹果目前已可以完美驱动内置intel WiFi
  10. 如何在Windows下像Mac一样优雅开发
  11. 玩转诺基亚5800XM,新手上路指南
  12. CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别?
  13. 2012情人节语录1
  14. 许石林:《赤壁》是《无极》的另一极
  15. Quectel BC260Y-CN 尺寸紧凑、功耗超低 NB-IoT 无线通信模块[移远通信]
  16. Nature综述:Rob Knight手把手教你分析菌群数据(全文翻译1.8万字)
  17. ECC有限域椭圆曲线加密算法实例---构建椭圆曲线的循环群,利用椭圆曲线离散对数问题实现信息的加密解密,签名和验证
  18. Android 12.0 开机动画支持mp4格式视频播放
  19. mysql error parsing_Go 解析日期格式-解决 parsing time xx as xx: cannot parse xx as xx 错误
  20. “影像新物种”小米11Ultra:深耕影像技术,小米用实力定义手机摄影发展趋势

热门文章

  1. 解决苹果mac新建txt文档在Windows下不换行的方法
  2. mac如何删除用户或者群组
  3. VMware mac虚拟机如何安装Windows系统
  4. Ajax基础之原生js封装
  5. android中的通信机制总结
  6. 大数据时代的图表可视化利器——highcharts,D3和百度的echarts
  7. 网易开源云原生日志系统!
  8. 牛逼!Intellij IDEA竟然有个功能可自动生成代码,你用过没?
  9. Mysql 的优化方式,都给你整理好了(附思维导图)
  10. 从微服务跨越到中台,架构领域年度盘点!