HERCULE：通过在相关日志图上进行社区发现来重建攻击故事

贡献：

提出了一种新的技术，通过利用因果关系分析来建模系统中多个日志之间的关系，而无需重量级日志记录或程序检测。HERCULE自动生成一个多维加权图，其中嵌入了潜在的有价值的信息。我们提出的基于图的表示提供了由不同系统组件生成的日志的“全景视图”。

我们利用社交网络分析，并在我们的加权图设置中调整社区检测算法。我们还提出了几种优化权重分配和提高系统性能的学习技术。据我们所知，在基于日志的攻击分析中，迄今为止还没有采用这样的技术。

我们对HERCULE进行了广泛的评估，以分析基于15个真实世界APT报告的攻击场景，这些报告包含应用程序、恶意有效负载和攻击方法的不同组合，证明了HERCULE的有效性。

工作流程

图3显示了HERCULE的关键阶段和操作。HERCULE的输入是来自网络(例如，DNS、WFP、HTTP)和系统活动(例如，进程创建、文件访问、身份验证)的多个原始日志。因为需要多个原始日志，因此需要日志格式解析器插件。

phase 1:原始日志解析器通过其解析插件处理每个输入日志条目，以提取一组预定义的字段(称为数据实体)。每个数据实体都作为日志关联模块(第二阶段)和污点模块的输入。污点模块扫描数据实体，并(1)通过利用流行的恶意软件/病毒分析平台[60，62]分析日志条目中出现的不在白名单中的任何可疑可执行二进制文件，或者(2)基于网址黑名单扫描已知的恶意网站访问，以识别初始攻击相关的日志条目。这些与攻击相关的初始日志条目随后将由后处理模块处理。

phase 2:日志关联模块由两个子模块组成:连接生成和权重分配。(1)如果任意两个日志条目之间存在一种或多种类型的相关性，则连接生成(通过未加权的多维边)连接它们(该过程在第3.1节中有详细说明)。例如，在图1中，如果由蓝色边连接的两个节点具有相同的时间戳(由d1表示)或共享相同的进程标识(由d3表示)，那么这些条目应该是相关的。(2)权重分配在每条边上分配权重。请注意，有多种方法可以为多维边分配权重，其中一种监督学习技术已被证明可以获得最佳结果。我们在第3.2节中介绍了重量分配的细节。

phase 3:社区检测模块将相关加权图作为输入，并将所有检测到的社区输出到后处理模块。从第一阶段中被污染的任何日志条目开始，后处理模块将包含被污染条目的社区分类为恶意的，其他的分类为良性的。然后，它输出重构的连接阶段(按时间顺序排列的动作或社区)以及来自攻击相关社区的它们的互连。第3.4节介绍了HERCULE社区检测的详细设计。

系统设计

日志格式解码器：我们在表2中总结了这些。

Connection Generation

连接生成子模块的输入是解析的数据实体。输出是未加权的、无向的和多维的图，该图是由日志内和日志间的相关性构建的。类似于社交网络，我们将每个日志条目视为一个个体，将每个边缘维度视为两个个体之间的一种关系。

特征选择。在HERCULE中，对于每对日志条目，表示为节点u和v，它们具有一种或多种类型的关系，我们用多维边e连接它们。边的维度表示为统一的29维特征向量v = [d1d2 d29]T，其中每个维度dk的二进制值代表u，v之间存在kth类型的关系，如果u，v可以通过第k个关系进行关联，则dk= 1，否则dk= 0

图3为各个dk。

以下为各个dk的具体含义：

D1：模拟u和v之间的时间差。用户可以自定义阈值T(u和v的两个时间戳之间),以确定两个日志条目是否在时间上相关。第四节给出了选择不同t的检测性能结果。

D2和d13：u、v共享同一个进程id或进程名。该特性旨在捕获流程创建和流程操作中的显式/隐式关联。

D3和D4演示了u和v在发出出站连接请求时是否共享同一个目的IP或端口。直觉是基于这样的观察:如果u和v(两个网络请求)通信到同一个I/P地址，它们是高度相关的。

等等

总结：利用每个边上定义的特征，我们从所有输入日志中为每个日志条目构建连接。连接生成算法的输入是表3中选择的特征和所有解析的结构化日志。该算法仅生成至少一个特征向量值为非零的边。

Weight Assignment

一旦构建了相关的日志图，我们就使用社区检测算法来检测社区。形式上，给定一个未加权多维图G中节点A和B的两个社区集群，其中A表示与攻击相关的日志条目，B表示良性条目:最佳情况下，我们期望得到|eA|远大于|eAB|和|eB|远大于|eAB|其中|eA|、|eB|、和|eAB|分别表示簇A、簇B以及簇A和簇B之间的边数。请注意，这些符号在本节中始终有效。

我们还构建了不同的权重分配算法进行比较。第一种不使用任何学习算法，第二种和第三种利用现有的监督学习技术，其性能优于第一种，第四种基于具有最佳性能结果的二次优化。我们在HERCULE中使用二次优化算法作为最终的权重分配版本，并在第4节中定量比较它们的结果。

Community Detection

考虑到图中节点数量庞大，我们需要选择一种时间高效的社区检测算法来从大型加权相关对数图中提取社区。社区检测有多种无监督学习技术。我们选择使用Louvain方法是考虑到它对大型网络的有效处理[13]。