网络安全大数据

数据流程

在一个真正的网络中，会收到各种请求。
当一个真正的攻击进来，它可能会穿越所有的网络设备（见下图）：Sniffer会抓包产生PCAP文件、各种日志中会记录操作日志、事件日志等。
如何将这些海量的日志、PCAP文件关联起来，找到并还原这些网络攻击行为，就需要使用到大数据技术。

那如何使用大数据技术进行网络安全分析呢？数据流程主要如下：

实时收集所有网络设备的日志如系统日志、SDEE事件日志、snmp日志及使用网络抓包软件抓取的PCAP文件，以文件的方式存储在分布式文件系统上，如HDFS
数据格式化，然后按结构化数据进行存储，如以HIVE表的方式存储在HDFS上或 MPPDB数据库中
- 针对各种日志文件进行格式化处理
- 针对PCAP文件解包并格式化处理（需要提供各种协议包的解码工具）
使用Spark、Flink针对数据进行统计，找出攻击行为，
- 提供各种网络攻击行为的检测，如针对DOS攻击、反向SSH等的检测
- 检测入侵活动
- 提供防御网络攻击的工具
  参见如下流程图：

网络安全系列-VI: 网络安全大数据分析的粗浅认识相关推荐

报名 | 大咖云集，清华方圆系列之大数据分析与可视化报告会
2019年4月4日,清华大学人工智能研究院知识智能研究中心联合北京智源人工智能研究院将在清华大学FIT楼举行"方圆系列报告会之大数据分析与可视化",届时将有多位大数据挖掘-数据可视 ...
基于大数据分析的安全管理平台技术研究及应用
http://www.venustech.com.cn/NewsInfo/531/25566.Html [内容摘要]本文首先通过介绍大数据的起因,给出了大数据的定义和特征描述,并简要说明了当前大数据的 ...
轻松应对Java试题，这是一份大数据分析工程师面试指南
作者 | HappyMint 转载自大数据与人工智能(ai-big-data) 导语:经过这一段时间与读者的互动与沟通,本文作者发现很多小伙伴会咨询面试相关的问题,特别是即将毕业的小伙伴,所以决定输出 ...
大数据分析与可视化报告会成功召开（附PPT下载）
来源:学术头条本文多资源,建议阅读5分钟. 由清华大学人工智能研究院知识智能研究中心举办的方圆系列报告会之大数据分析与可视化报告会于清华大学FIT楼报告厅举行. 2019年4月4日上午9:00,由清 ...
当网络安全遇上大数据分析（9）
2012年3月份,Gartner发表过一篇报告--Information Security Is Becoming a Big Data Analytics Problem .里面主要就讲到了针对大规 ...
当网络安全遇上大数据分析（6）
[本文继续乱弹;-)] BDA从一般意义上,或者从技术层面可以划分为数据获取.数据整理.数据实时分析.数据存储.数据检索.数据历史分析.数据可视化.而从BDA的应用层面,可以应用到网络安全领域,这时候 ...
程序员之网络安全系列（六）：动态密码
系列目录程序员之网络安全系列(一):为什么要关注网络安全? 程序员之网络安全系列(二):如何安全保存用户密码及哈希算法程序员之网络安全系列(三):数据加密之对称加密算法程序员之网络安全系列(四) ...
容器开启数据服务之旅系列（二）：Kubernetes如何助力Spark大数据分析
摘要: 容器开启数据服务之旅系列(二):Kubernetes如何助力Spark大数据分析 (二):Kubernetes如何助力Spark大数据分析概述本文为大家介绍一种容器化的数据服务Spark ...
程序员之网络安全系列（三）：数据加密之对称加密算法
系列目录: 程序员之网络安全系列(一):为什么要关注网络安全? 程序员之网络安全系列(二):如何安全保存用户密码及哈希算法程序员之网络安全系列(三):数据加密之对称加密算法程序员之网络安全系列(四 ...

网络安全系列-VI: 网络安全大数据分析的粗浅认识

网络安全大数据

数据流程

网络安全系列-VI: 网络安全大数据分析的粗浅认识相关推荐

最新文章

热门文章