应用层级时空记忆模型（HTM）实现对时序数据的异常检测

一、什么是层级时空记忆模型

世界上的许多数据都是流式的时间序列数据，在这些数据中，异常在关键情况下提供了重要的信息。然而，检测流式数据中的异常是一项艰巨的任务，需要探测器实时处理数据，并在进行预测的同时学习。基于在线序列记忆算法的异常检测技术——分层时间记忆(HTM)解决了这个问题。

二、使用HTM实现异常检测

典型的流应用涉及分析实时发生的连续数据流。此类应用包含一些独特的挑战。我们将此形式化如下。设矢量xtxt表示时刻tt的实时系统的状态。该模型接收连续的输入流：

  ⋯,xt−2,xt−1,xt,xt+1,xt+2,⋯⋯,xt−2,xt−1,xt,xt+1,xt+2,⋯

例如，考虑监控数据中心的任务。的组件可能包括各种服务器的CPU使用率，带宽测量值，服务请求的延迟等。在每个时间点tt，我们希望确定系统的行为是否异常。关键挑战之一是必须实时地进行确定，即在时间t+1t+1之前并且没有任何前瞻。在实际应用中，系统的统计数据可以动态变化。例如，在生产数据中心，可能会随时安装软件升级，从而改变系统的行为。模型的任何重新训练必须在时间t+1t+1之前在线完成。最后，各个测量不是独立的，并且包含可以被利用的重要时间模式。
HTM是一种似乎与上述约束相匹配的学习算法。 HTM网络不断学习和模拟其输入的时空特征。 HTM已被证明可以很好地用于预测任务，但HTM网络不直接输出异常分数。为了执行异常检测，我们利用HTM中可用的两种不同的内部表示。给定输入xtxt，向量a(xt)a(xt)是表示当前输入的稀疏二进制代码。我们还利用内部状态向量π(xt)π(xt)表示对a(xt+1)a(xt+1)的预测，即对下一个输入的预测。预测向量包含关于当前序列的推断信息。特别地，给定输入将导致不同的预测，这取决于当前检测到的序列和序列内输入的当前推断位置。预测的质量取决于HTM对当前数据流建模的程度。有关这些表示的更详细说明，请参阅（Hawkins＆Ahmad，2016）。 a(xt)a(xt)和π(xt)π(xt)在每次迭代时重新计算，但不直接表示异常。为了创建一个强大的异常检测系统，我们引入了两个额外的步骤。我们首先从两个稀疏向量计算原始异常分数（rawanomalyscore）原始异常分数（rawanomalyscore）。然后，我们计算一个异常似然值（anomalylikelihood）异常似然值（anomalylikelihood），该阈值被阈值化以确定系统是否是异常的。图3显示了我们的算法的框图。这两个步骤详述如下。然后，我们将描述如何稳健地处理由多个不同模型组成的更大系统。

三、计算原始异常分数

我们计算一个原始异常分数，用于衡量模型预测输入与实际输入之间的偏差。它是根据预测稀疏矢量和实际稀疏矢量之间的交集来计算的。在时间tt，原始异常分数stst给出为：

st=π(xt−1)∙a(xt)|a(xt)|st=π(xt−1)∙a(xt)|a(xt)|

如果当前输入被完美预测，则原始异常分数将为0；如果完全不可预测，则原始异常分数将为1，或者取决于输入和预测之间的相似性，原始异常分数将介于两者之间。
该评分的一个有趣方面是正确处理分支序列。在HTM中，多个预测以π(xt)π(xt)表示为每个单独预测的二元并集。与Bloom过滤器类似，只要向量足够稀疏且具有足够的维度，就可以同时表示中等数量的预测，并且指数上的误差几率很小（Bloom，1970; Ahmad＆Hawkins，2016）。异常分数在以下意义上优雅地处理分支序列。如果两个完全不同的输入都是可能的和预测的，接收任一输入将导致0异常分数。任何其他输入将产生正异常分数。
由于HTM的持续学习性质，也可以优雅地处理对底层系统的更改。如果系统的行为发生变化，则异常分数在移位点处会很高，但在模型适应“新常态”时会自动降级为零。除了基础度量值的空间移位之外，还处理系统的时间特性的变化。