数据驱动的网络入侵检测：最新动向与研究趋势
数据驱动的网络入侵：最新趋势
- 最近动态
- 未来趋势
- 结论
最近动态
图9展示了2010 - 2020年数据驱动NID方法的研究兴趣趋势。
通过研究过去十年关于NID的文献，可以发现自2010年以来，人们就对大数据研究产生了浓厚的兴趣。这种兴趣可以归因于2010年以来互联网上的大量数据，正如文章第2节所述，这些数据在过去十年中持续增长。2019年是关于大数据的文章最多的一年，研究人员继续研究并行处理技术和增量学习方法来处理大量数据。2010年，也有人致力于解决小数据的挑战。虽然数据量很大，但是不同攻击类型的数据是缺乏的，如在数据集中展示了攻击类型的分解和熵分析。一般来说，网络入侵攻击类型的缺乏、小数据的挑战来自于入侵发生的典型时间框架较短。小型数据问题是在2010年代初首次被研究的，特别是元学习。自2017年以来，针对噪声数据挑战，作者对网络入侵数据集中的噪声观测与其他观测进行了更广泛的研究。虽然处理噪声数据的论文不多，但处理噪声数据的解决方案已经很好地建立起来了，例如缩放特征或使用基于密度的特征选择。
2010年至2015年期间的大多数研究都是围绕大数据进行工作的方法，而数据太少。自此，大数据处理成为网络入侵检测领域的研究热点。然而，由于当今数据库环境的不断变化，针对动态数据问题的研究也随之兴起。由于标记数据的缺乏，越来越多的研究提出了半监督学习模型。然而，有一个研究领域还没有得到太多关注，那就是真实世界的网络数据。2010年和2011年看到了一些用于数据收集的网络蜜罐仿真，直到最近的2020年，LITNET数据集才制作并发布，作为第一个真实世界的网络入侵数据集之一。
未来趋势
现实世界的数据收集：最初，通过使用蜜罐模拟真实的网络环境，利用合成的(IXIA)数据来吸引攻击者，从而获得真实世界的网络入侵数据。然而，在沙箱网络环境中，由于可能存在不正确的网络攻击模型和行为，模拟数据的拟合和测试价值可能不如在真实网络上收集的数据。目前将模型应用于网络入侵研究中存在的问题是，该分类中有46篇论文使用KDD Cup 1999作为模型的评估数据集。因为它是合成的，所以在流量模式中存在偏差，这是真实世界的流量所不具备的。LITNET数据集于2020年在立陶宛的一个网络上收集，覆盖了立陶宛四个主要城市的节点，这是第一个为研究人员提供的长期(10个月)的真实世界网络入侵数据集。该数据集向现实世界网络攻击迈出了一步。真实性和可用性是当前网络入侵数据集应该努力实现的两个重要领域，这将是研究人员有兴趣创建新的真实世界数据集的未来目标。正常网络流量和攻击的时效性和现实性是前面图中词向量分析所证实的问题。反过来，网络入侵研究需要进一步收集真实网络中的真实攻击数据。
基于标签的实时流量：尽管网络流量可能由网络安全专家手动标记，但真实世界的网络流量很容易增长到数百万。格数据集从2016年开始，使用用于数据收集的蜜罐系统的日志文件标记。通常，专家可能是负责标记流量数据的人，而其他数据集，如2020年的LITNET，则不太清楚如何标记发生。自2000年代末以来，对训练数据进行标记一直是基于异常的入侵检测的一个障碍。过于小心地标记流量可能会违反隐私政策，因此检测模型往往会在数据被标记时进行更新，并且在离线学习中仍然会发生人工标记。为了处理输入到入侵检测模型中的新标记数据，需要进一步发展自适应模型或增量模型，如Constantinides等人提出的基于SVM的在线增量神经网络模型。未来的研究重点在于设计更具适应性的检测模型，开发高效流量数据标注的范式和技术
消费者网络入侵。具体到在真实世界的网络中收集数据，由于家庭等消费者网络不具备与企业网络相同的安全资源，因此在家庭网络上收集数据缺乏数据集。最近，Patel等人通过收集基本流量特征(如数据包大小、源端口和目的端口)并分析特征熵来处理自然熵，以检测家庭网络中的异常。在消费者网络中进一步收集数据还有待观察，但这是未来研究的一条可行途径。
将异常检测扩展到云环境。除了利用云计算加速模型收敛和减少异常检测时间外，探索云环境下的网络入侵还没有被深入研究。Aldribi等人设计了一个基于统计分析的基于hypervisor的云网络入侵检测系统，但是更复杂的攻击方法还没有实现，因为Aldribi等人已经注意到所收集的流量数据中明显的规律模式。现在云环境的另一个特点是数据不断变化。由于云上存储着大量的数据，为云上的动态数据开发机器学习应该是未来的研究步骤。Sethi等人将深度q学习强化模型应用于云，该模型可适应变化的数据。虽然已经有一些工作试图将机器学习结合到云中的动态数据上，但这在研究方面仍处于初期阶段，有进一步研究的潜力。将边缘计算应用于包含大量网络数据的云计算环境，通过使数据存储和计算更接近需要的位置来加快检测时间，是未来几年的一个潜在研究方向
机器学习的可扩展性和性能改进。大数据机器学习模型中的并行性可以帮助研究人员改进基于异常的入侵检测方法。目前重点是使用CUDA的基于特征的技术。NID数据和流量正在迅速变化，处理动态数据的一种自然方法是使用增量学习增量地处理数据。最近，Constantinides等人专注于增量机器学习模型的可扩展性。为了处理与新数据增长相适应的增量自组织神经网络的增长，使用了参数n，以便任何在欧氏距离中最接近超过n个输入向量(超过n个“wins”)的节点将“胜”传递给具有超过n个“wins”的节点。网络中的老化参数还会删除未更新的节点，以保持一个可管理的大小。随着可扩展性研究的缺乏，未来，研究人员应该继续研究使增量机器学习模型在巨大的数据增长下更具可扩展性的方法。
结论
当网络资源被滥用时，网络入侵检测已经存在了二十多年。虽然大多数数据驱动的网络入侵系统还没有被集成由于基于异常的入侵检测系统存在高误报率，研究人员不断提高异常检测的准确率和性能，使其能够检测新型网络攻击。该文介绍了一种基于数据驱动的网络入侵检测方法的一般分类法，并对该分类法中常用的公开数据集进行了检验。鉴于随着时间推移的研究趋势，需要未来研究的领域是网络大数据、流式和变化的数据，以及真实世界的网络数据收集和可用性。针对分类法中指定的其他挑战，已经实现了许多解决方案，但仍然缺乏真实的网络数据，特别是消费者网络数据，这可能限制了使用真实网络流量数据在模拟网络环境中模型性能的准确性。对网络入侵检测的研究背景、常用数据集、重要研究领域的分类和未来发展方向进行了全面的综述。
数据驱动的网络入侵检测：最新动向与研究趋势相关推荐
- 网络入侵检测--Snort软件安装
作为一款开源的网络入侵检测软件,snort算是相当完善的一款,并且注册之后,能够享受到丰富的规则可供使用,作为白嫖一党,那必须 安装环境 CentOS Linux release 7.9.2009 ( ...
- 网络入侵检测规避工具fragrouter
网络入侵检测规避工具fragrouter 网络入侵检测系统可以通过拦截数据包,获取内容进而判断是否为恶意数据包.对于传输较大的数据包,通常会采用分片的方式,将大数据包拆分为小数据包进行传输.如果入侵检 ...
- Libnids库-网络入侵检测的基础框架
1.Libnids介绍: Libnids(library network intrusion detection system)是网络入侵检测开发的专业编程接口,实现了网络入侵检测系统的基本框架,提 ...
- libnet、libnids、libpcap轻松搭建Linux网络入侵检测系统
利用三个源码包libnet.libnids.libpcap轻松搭建Linux网络入侵检测系统 如果要搭建基于Linux的网络入侵检测系统,必须要安装libnet.libnids.libpcap这三个源 ...
- 网络安全实验-入侵检测-基于网络入侵检测系统
实验目的: 1.掌握snort IDS工作机理 2.应用snort三种方式工作 3.熟练编写snort规则 实验原理: 一．snort IDS概述 snort IDS(入侵检测系统)是一个强大的网络 ...
- 网络入侵检测--Snort软件配置文件snort.conf详解
Snort最重要的工作模式就是NIDS,网络入侵检测,在NIDS模式下,snort.conf文件是必不可少的. 那么今天,我们来仔细阅读以下snort.conf这个文件,看一下每个部分的功能,都是配置 ...
- 综述类_网络入侵检测技术综述
文章目录 网络入侵检测技术综述 大纲 一.入侵检测系统分类 1.基于数据来源划分 2.基于检测技术划分 二.基于传统机器学习的入侵检测 1.入侵数据处理 2.监督机器学习技术 3.无监督机器学习技术 ...
- 网络入侵检测--Snort软件NIDS模式报警信息详解
Snort最有价值的地方,就是它作为NIDS网络入侵检测软件来分析监控实时流量,那么最终能够产生的报警结果,也就是我们最关注的东西,即我们使用snort需要的就是拿到报警信息,并且联动到我们其他软件模 ...
- 2w行C++代码制作网络入侵检测系统，网友直呼：666
网络入侵检测系统,是指对收集漏洞信息.造成拒绝访问及获取超出合法范围的系统控制权等危害计算机系统安全的行为,进行检测的软件与硬件的组合. 一个VC++ 网络入侵检测模块及程序代码,源代码完整,包括所需 ...
最新文章
- sql server 2008数据复制
- 安装ipvsadm 用make编译出现错误解决方法
- 利用ImageMagick命令执行漏洞拿下Facebook四万美元奖金
- html编译软件推荐,3款容易上手的HTML5编辑工具推荐~
- 【BZOJ1492】[NOI2007]货币兑换Cash 斜率优化+cdq分治
- SAP创建Web Service以及用ABAP调用
- 并发执行变成串行_大白话Java并发面试问题之Java 8如何优化CAS性能？
- 快速排序和选择模版类
- Linux简单命令集——head
- linux的oracle修改实例名SID
- python使用ray框架改进原有代码，实现多进程与分布式
- 有很帅气的微信头像推荐吗？
- java正则表达式去除空格_去掉字符串前后所有空格的正则表达式
- c语言怎样存放学生信息,C语言共用体存放学生信息
- Linux 内核源码获取
- 智慧小区智能安防设计方案
- 观史图馆之《中东列国历代疆域变化 青铜与古典时代》
- 200多个JS小技巧
- python3.5变化（String）
- linux系统下的动态壁纸,桌面应用|动态壁纸给linux发行版添加活力背景