在线日志解析方法：Drain，Logram

（一）Drain

Drain: An Online Log Parsing Approach with Fixed Depth Tree
http://jiemingzhu.github.io/pub/pjhe_icws2017.pdf

典型的日志解析器[4]、[15]、[16]、[17]将日志解析视为一个聚类问题，它们将具有相同日志事件的原始日志消息聚类到一个日志组。

Drain使用了一个固定深度的解析树，它编码了专门设计的解析规则，指导日志组的搜索过程。

每个日志组有两个部分：日志事件和日志ID。日志事件是最能描述该组中的日志信息的模板，它由日志信息的常量部分组成。日志IDs记录了该组中的日志消息的ID。

所有叶子节点的深度都是一样的，并由一个预定义的参数depth固定。

为了避免树枝爆炸，我们采用了一个参数maxChild，它限制了一个节点的最大子女数。

Step 1: Preprocess by Domain Knowledge

预处理可以提高解析的准确性。提供基于领域知识的简单正则表达式，代表常用的变量，如IP地址和块ID。

Step 2: Search by Log Message Length

假设：具有相同日志事件的日志消息可能会有相同的日志消息长度。根据预处理过的日志消息的日志消息长度，选择通往第1层节点的路径。

Step 3: Search by Preceding Tokens

假设：日志信息开头位置的tokens更有可能是常量。将日志信息中的前（depth − 2）个tokens编码为搜索规则。Drain可以通过更大的深度设置考虑更多前面的tokens。为了避免分支爆炸，我们在这一步只考虑不含数字的tokens。如果一个token包含数字，它将匹配一个特殊的内部节点 “*”。参数maxChild，它限制了一个节点的最大子女数。如果一个节点已经有了maxChild个子节点，任何不匹配的tokens将在其所有子节点中匹配特殊的内部节点 “*”。

Step 4: Search by Token Similarity

此时，Drain 已经遍历到一个叶子节点，其中包含一个日志组列表。
从日志组列表中选择最合适的日志组。

在找到具有最大simSeq的日志组后，我们将其与预定义的相似度阈值st进行比较。

Step 5: Update the Parse Tree

（1）返回一个合适的日志组：Drain会扫描日志信息和日志事件中相同位置的tokens。如果这两个tokens相同，我们就不修改该token位置的token。否则，我们通过通配符（即*）更新日志事件中该token位置的token。
（2）找不到合适的日志组：Drain从根节点遍历到应该包含新日志组的叶子节点，并沿着路径相应地添加缺少的内部节点和叶子节点。

（二）Logram

Logram: Efficient Log Parsing Using n-Gram Dictionaries
https://arxiv.org/pdf/2001.03038.pdf

Logram使用字典来存储日志中n-grams的频率，并利用n-gram字典来提取日志中的静态模板和动态变量。我们的直觉是，频繁的n-grams更可能代表静态模板，而罕见的n-grams更可能是动态变量。n-gram字典可以有效地构建和查询，即复杂度分别为O(n)和O(1)。

Step 1: Generating an n-gram dictionary

通过独立处理每一条日志信息来生成字典的缺陷：1）一些日志事件可能跨越多行；2）一条日志消息的开头和结尾的tokens可能不像其他tokens那样位于相同数量的n-grams中
故，在一条日志信息的开头和结尾tokens处，我们也分别包括前一条日志信息的结尾和后一条日志信息的开头

Step 2: Parsing log messages using an n-gram dictionary

（1）Identifying n-grams that may contain dynamic variables
如果一个n-gram的出现次数小于自动确定的阈值（见第4.3.3节），我们认为这个n-gram可能包含一个由动态变量产生的token。在收集了所有低出现率的n-grams之后，我们将这些n-grams分别转化为n-1-grams，并检查每个n-1-gram的出现次数。递归地应用这个步骤，直到我们有一个低出现率的2-grams列表。
（2）Identifying dynamically and statically generated tokens
来自动态变量的token必须位于两个低出现的2-grams中（即，一个以动态变量结束，一个以动态变量开始）。
（3）Automatically determining the threshold of n-gram occurrences
测量每个n-gram的出现次数。然后，对于每个发生值，我们计算出具有确切发生值的n-grams的数量。
使用loess函数[62]来平滑Y值，并计算Y值对X值的导数。得到导数后，我们使用Ckmeans.1d.dp[63]，一种一维聚类方法，找到一个断点，将导数分成两组，即一组为静态n-grams，另一组为动态n-grams。断点将被自动确定为阈值。

MIGRATING Logram TO AN ONLINE PARSER

在线解析：读取第一条日志消息时，字典为空（即所有 n-gram 的出现次数为零），因此 Logram 将所有tokens解析为动态变量。然后，Logram 使用从第一条日志消息中提取的 n-grams创建字典。之后，当读取随后的每条日志消息时，Logram 使用现有的 n-gram 字典解析日志消息。然后，Logram 使用日志消息中的tokens即时更新现有的 n-gram 字典。
Logram 会更新 n-gram 字典并不断解析传入的日志，直到处理完所有日志。

（三）Drain，Logram对比

Accuracy

分组的准确性有一个局限性，即它只确定来自相同事件的日志是否被分组在一起；而日志中的静态文本和动态变量可能无法被正确识别。
当且仅当一条日志消息的所有静态文本和动态变量都被正确识别时，它才被认为是正确解析的。

Logram can achieve the best or over 0.9 accuracy in parsing 12 out of the 16 log datasets.
bad cases：Mis-split tokens. Pre-processing errors. Frequently appearing dynamic variables.

Efficiency

Logram在效率上比最快的最先进的日志解析器高出1.8到5.1倍。