基于实时计算(Flink)与高斯模型构建实时异常检测系统
案例与解决方案汇总页:
阿里云实时计算产品案例&解决方案汇总
1. 概述
异常检测(anomaly detection)指的是对不符合预期模式或数据集(英语:dataset)中其他项目的项目、事件或观测值的识别。实际应用包括入侵检测、欺诈检测、故障检测、系统健康监测、传感器网络事件检测和生态系统干扰检测等。
之前我曾经介绍过一种异常检测的解决方案《准实时异常检测系统》,但那个架构中Flink主要承担的还是检测后的分析,真正的异常检测被前置到了业务系统中。
在本文中,我将介绍一种直接使用Flink做实时异常检测的方案。
2. 异常检测算法
2.1 异常的种类
异常(离群点)分为三种类型:
- 全局离群点,最基本的异常,即一个单独的远离群体的点;
- 情境(或条件)离群点,该点在全局不算异常,但在某个上下文中却是异常的,比如人的性别为男性不是异常,但如果选定范围为女厕所,那么这个就是异常的;
- 集体离群点,单个点不算异常,但一系列组合起来却是异常。比如偶尔的服务延迟不是异常,但如果整个系统大部分服务都延迟那就是异常。
本文以说明基本原理为主,所以使用最简单的全局离群点做例子,即只关注检测某个单独的事件是否偏离正常。
完成的异常分类可参考:这里
2.2 异常监测算法
关于异常检测有大量的算法,详细理论可参考scikit-learn的《 Novelty and Outlier Detection》一章。
本文选取最简单的一种算法,基于高斯分布分布的异常检测算法。
假设我们已经有了一组正常数据,x(1),x(2),..,x(m),那么针对新的数据x,我们判断这个x是否正常,可以计算x在正常数据中出现的概率如何,如果x出现的概率大于某个阈值,则为正常,否则即为异常,这种方法叫做密度估计。
那么我们可以假设,这些数据遵循高斯分布(正态分布),那么对某个特定的值来说,其在高斯分布的中间部分是比较正常的,在两端可能是异常的。
通常如果我们认为变量 x 符合高斯分布 x~N(μ,σ2),则其概率密度函数为:
异常检测算法的步骤为:
- 对于给定的数据集 x(1),x(2),...,x(m),针对每一个特征计算 μ 和 σ2 的估计值,计算方法如下。
- 一旦我们获得了每个特征的平均值和方差的估计值,给定新的一个训练实例,根据模型计算每一特征的概率再相乘得到整体的概率:
注:可能你要检测的事件只有一个特征,那么很显然就不用再乘了。
- 选择一个阈值 ε,将 p(x)=ε 作为判定边界,当 p(x)>ε 时预测数据为正常数据,否则为异常,这样就完成了整个异常检测过程。
注:阈值ε的选择可以直接估算一个,也可以简单训练得出,具体训练方式这里不再赘述,可参考这里。
总结一下,其实整个模型我们只需要计算正常数据中每个特征的平均值和方差,再加上最终整体阈值,所以模型是非常小的,完全可以把这些数据计算出来后随代码一起发布。(当然从解耦性来说,最好能够独立存储,通过注册或配置的方式来发布)
3. 基于Flink和高斯分布的实时异常检测系统
前面介绍了异常检测的基本算法,那么本小节我们就基于Flink和高斯分布设计一个实时异常检测系统。
假设你是一个公司的运维人员,负责管理全公司的IT资源,为了保证公司IT稳定性,提前发现主机或者系统的问题,你设计了这样一个实时异常检测系统。
系统采用Kapp架构,关于Kappa架构的说明可参考:数据仓库介绍与实时数仓案例。
系统架构与所选软件如下图所示:
数据源包括两个部分,主机运行信息与系统的运行日志,主机运行信息通过collectd 收集,系统运行日志通过Filebeat收集,二者均将数据推送到Kafka。
数据通过Kafka流转,支持Flink计算过程中的实时分层。
最终数据存储到Elastic Search中,并通过KIBANA可视化。
异常检测由实时计算Flink完成,计算过程很简单:
- 数据清洗,把原始数据格式化;
- 计算特征值,计算所选事件的特征,比如某个服务打印日志的频率就是一个特征,假如系统调用失败,则会打印一条失败记录,那么当系统打印失败记录的频率变高时,系统可能出现了问题;
- 计算特征统计值,即找到该特征的高斯分布(确定平均值和方差即可确定高斯分布);
这里高斯分布直接在线计算,好处是随时可更新,没有显式的训练过程,缺点是可能受异常数据影响。另外一种方式是离线选取一些正常数据然后计算高斯分布。
- 检测异常值,利用2.2节中的算法原理检测异常事件;
- 输出,最后把检测出的异常数据写到下游;
好了,一个简单的实时异常检测系统就完成了。
4. 总结
在本文中,在Kappa架构上添加简单的异常检测算法即可完成一个简单有效的实时异常检测系统。
该架构具备良好的可扩展性,基于Flink的Kappa架构让系统能够应对超大规模数据流,并且能够在数据流转的过程中完成处理。
此外,虽然本文中直接把异常检测算法内置到了Flink的逻辑中,但实际的应用中很容易把通过算法API的方式让系统解耦:算法团队训练并提供一个用以判别某个事件或特征是否异常的算法服务,在Flink的处理过程中计算好特征值之后调用这个算法服务进行检测。
原文链接
本文为云栖社区原创内容,未经允许不得转载。
基于实时计算(Flink)与高斯模型构建实时异常检测系统相关推荐
- 实时计算Flink——产品安全
实时计算 Flink支持整体全链路实时计算的安全. 账号安全 账号安全分为实时计算账号安全以及数据存储账号安全,下面分别阐述. 实时计算账号安全 实时计算账号当前仅支持阿里云账号体系(包括登录用户名+ ...
- 基于实时计算Flink的机器学习算法平台及场景介绍
作者:高旸(吾与),阿里巴巴高级技术专家 1. 前言 随着互联网"人口红利"的"消耗殆尽",基于"T+1"或者离线计算的机器学习平台及推荐系 ...
- 基于实时计算Flink版的场景解决方案demo
简介:通过两个demo分享技术实时计算flink版的解决方案 本文整理自阿里云智能行业解决方案专家GIN的直播分享 直播链接:https://developer.aliyun.com/learning ...
- 实时计算 Flink 版应用场景解读
简介:本文由阿里巴巴高级产品专家陈守元老师分享,详细讲解实时计算 Flink 的具体业务场景并分享实时计算 Flink 的相关应用案例. 作者:陈守元(巴真),阿里巴巴高级产品专家 摘要:本文由阿里巴 ...
- 实时计算Flink+Hologres
1. 典型应用场景 阿里云 Flink 与 Hologres 深度集成,助力企业快速构建一站式实时数仓: 可通过阿里云 Flink 实时写入 Hologres,高性能写入与更新,数据写入即可见,无延迟 ...
- 实时计算 Flink 版应用场景与产品介绍
摘要:本文由阿里巴巴高级产品专家陈守元老师分享,详细讲解实时计算 Flink 的具体业务场景并分享实时计算 Flink 的相关应用案例. 内容分为以下四部分: 技术原理 技术应用 应用场景 行业案例 ...
- 如何迁移开源 Flink 任务到实时计算Flink版?实战手册来帮忙!
简介:本手册由实时计算Flink版团队实践操作汇总,帮助开发者们快速完成数据迁移. 作为国内最早布局实时计算技术方向的企业之一,早在2016年阿里巴巴就已经开始大规模上线使用实时计算产品.阿里云实时计 ...
- 实时计算 Flink 版总体介绍
简介:实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache F ...
- 基于Filebeat+Kafka+Flink仿天猫双11实时交易额
基于Filebeat+Kafka+Flink仿天猫双11实时交易额 1. 写在前面 在大数据实时计算方向,天猫双11的实时交易额是最具权威性的,当然技术架构也是相当复杂的,不是本篇博客的简单实现,因为 ...
最新文章
- 无法提升彼此,夫妻关系就要终结?
- python 优先队列_Python中heapq与优先队列【详细】
- zzUbuntu安装配置Qt环境
- Spring Boot 构建多租户 SaaS 平台核心技术指南
- pandas 第一行_Pandas进阶,从0到100你还差这篇文章!
- android 安全讲座第三层 linux权限基础知识
- python全栈之nginx安装
- python 3中 的subprocess
- php中创建函数的正确方法,如何在PHP中创建一个函数
- 利用SMS轻松实现资产管理,SMS2003系列之四
- linux运维之网络配置
- java面试题库app
- 单片机软件开发心得体会
- 云计算服务器搭建教程,如何搭建云计算平台_搭建云计算平台步骤
- codeforce 595A
- 首席CEO乔布斯他是如何拉住了苹果快破产的边缘?他的运营方法是什么呢?
- 【UE4】给游戏制作一个简易的小地图
- 使用EFR32作为Zigbee/Thread的sniffer的用法
- Linux如何让程序在后台运行
- updog:一款局域网传输文件的软件
热门文章
- java微信demo_微信登陆 , 简单的demo , java
- 软引用和弱引用的区别_强、软、弱、虚引用的区别和使用
- 【LeetCode笔记】96. 不同的二叉搜索树(Java、动态规划)
- s8050三极管经典电路_曝光一个产品级的红外发射电路
- 随机森林降维matlab代码,随机森林代码实现问题
- c语言可循环计算器代码,可编程简易计算器(代码)
- php反序列化漏洞 freebuf,最全的PHP反序列化漏洞的理解和应用
- python缩进说法_【多选题】关于Python程序中与“缩进”有关的说法中,以下选项中错误的是()。...
- 局域网聊天程序 java MySQL_课内资源 - 基于JAVA的局域网聊天软件的设计与实现(仿制QQ)...
- pytorch-多GPU训练(单机多卡、多机多卡)