网络异常流量数据集CIC-IDS-2017/2018 流量特征提取工具CICFlowMeter的使用
网络异常流量数据集CIC-IDS-2017/2018 && 流量特征提取工具CICFlowMeter的使用
- 1. 数据集CIC-IDS-2017/2018
- 2. 流量特征提取工具CICFlowMeter
1. 数据集CIC-IDS-2017/2018
下载链接：https://www.unb.ca/cic/datasets/ids-2017.html
通信安全机构(CSE)与加拿大网络安全研究所(CIC)合作项目。
对自1998年以来现有的11个数据集的评估表明，大多数数据集（比如经典的KDDCUP99，NSLKDD等）已经过时且不可靠。其中一些数据集缺乏流量多样性和容量，一些数据集没有涵盖各种已知的攻击，而另一些数据集将数据包有效载荷数据匿名化，这不能反映当前的趋势。有些还缺少特征集和元数据。
CIC-IDS-2017 数据集包含良性和最新的常见攻击，类似真实世界数据(PCAPs)。
它的数据采集截至2017年7月7日(星期五)下午5时，共计5天。星期一是正常的一天，只包括正常的流量。实现的攻击包括暴力FTP、暴力SSH、DoS、Heartbleed、Web攻击、渗透、僵尸网络和DDoS。他们分别于周二、周三、周四和周五上午和下午被执行。
CIC-IDS-2017数据集为每天测试得到的流量数据进行了特征提取，生成一共80多条特征，最后给他们一个标签，正常或攻击类型。
这是ids2017数据集的特征，label这个标签是数据集根据实验环境标注的，实际使用CICFlowMeter生成的是无标签的。
| Flow ID | Source IP| Source Port | Destination IP | Destination Port |Protocol | Timestamp| Flow Duration | Total Fwd Packets | Total Backward Packets | Total Length of Fwd Packets | Total Length of Bwd Packets | Fwd Packet Length Max | Fwd Packet Length Min | Fwd Packet Length Mean | Fwd Packet Length Std | Bwd Packet Length Max | Bwd Packet Length Min | Bwd Packet Length Mean | Bwd Packet Length Std | Flow Bytes/s | Flow Packets/s | Flow IAT Mean | Flow IAT Std | Flow IAT Max | Flow IAT Min | Fwd IAT Total | Fwd IAT Mean | Fwd IAT Std | Fwd IAT Max | Fwd IAT Min | Bwd IAT Total | Bwd IAT Mean | Bwd IAT Std | Bwd IAT Max | Bwd IAT Min | Fwd PSH Flags | Bwd PSH Flags | Fwd URG Flags | Bwd URG Flags | Fwd Header Length | Bwd Header Length | Fwd Packets/s | Bwd Packets/s | Min Packet Length | Max Packet Length | Packet Length Mean | Packet Length Std | Packet Length Variance | FIN Flag Count | SYN Flag Count | RST Flag Count | PSH Flag Count | ACK Flag Count | URG Flag Count | CWE Flag Count | ECE Flag Count | Down/Up Ratio | Average Packet Size | Avg Fwd Segment Size | Avg Bwd Segment Size | Fwd Header Length | Fwd Avg Bytes/Bulk | Fwd Avg Packets/Bulk | Fwd Avg Bulk Rate | Bwd Avg Bytes/Bulk | Bwd Avg Packets/Bulk | Bwd Avg Bulk Rate | Subflow Fwd Packets | Subflow Fwd Bytes | Subflow Bwd Packets | Subflow Bwd Bytes | Init_Win_bytes_forward | Init_Win_bytes_backward | act_data_pkt_fwd | min_seg_size_forward | Active Mean | Active Std | Active Max | Active Min | Idle Mean | Idle Std | Idle Max | Idle Min | Label | External IP |
2. 流量特征提取工具CICFlowMeter
IDS-2017 数据集使用 CICFlowMeter 作为流特征提取工具，能够根据提交的 .pcap文件(使用wireshark软件或者流量sniff函数都可获得网卡的流量数据，格式为.pcap)生成有80多个特征的csv文件，使用方法有两种：在线和离线模式。在线模式可以实时监控并产生特征，监听结束之后可以保存到本地；离线模式是提交一个 .pcap 文件，得到一个包含特征的 csv 文件。
下载地址：https://github.com/ahlashkari/CICFlowMeter
代码是用Java编写的，可用 IntellJ 或者 eclipse 打开；
想要运行，还需一下步骤：
1.Windows 安装 winpcap ，Linux安装libpcap这两个工具是用来解析pcap文件的。
2.下载jnetpcap文件https://sourceforge.net/projects/jnetpcap/files/jnetpcap/1.3/
因为 .pcap 文件是用C写的，而 Java 又不能直接调用C的资源，通过jnetpcap 可以调用C的动态库。
3.在这里用 IntelliJ 打开github下的项目
打开下方的终端，cd 进入到 …/jnetpcap/win/jnetpcap-1.4.r1425目录下
输入命令：mvn install:install-file -Dfile=jnetpcap.jar -DgroupId=org.jnetpcap -DartifactId=jnetpcap -Dversion=1.4.1 -Dpackaging=jar
（可能会报错，找不到mvn命令，百度装一下，配一下环境变量即可。）
出现如下，就成功了。
终端cd …回到开始的项目文件夹
输入：gradlew execute就应该出现界面了。
点击上方的network，选择离线模式，选择.pcap文件和目标文件夹，点击OK，就可以得到从.pcap文件提取出的.csv特征文件。
也有可能点击OK之后可以导入.pcap文件，但没反应，这是就需要将从官网下载的项目里的jnetpcap-1.4.r1425用之前下的jnetpcap-1.4.r1425文件夹替换。
参考连接：
https://www.jianshu.com/p/125e2c8e9190
https://www.jianshu.com/p/d72bec65397b
https://metang326.github.io/2019/04/21/
https://blog.csdn.net/u010916338/article/details/84397495
网络异常流量数据集CIC-IDS-2017/2018 流量特征提取工具CICFlowMeter的使用相关推荐
- 使用NetFlow分析网络异常流量
一.前言 近年来,随着互联网在全球的迅速发展和各种互联网应用的快速普及,互联网已成为人们日常工作生活中不可或缺的信息承载工具.然而,伴随着互联网的正常应用流量,网络上形形色色的异常流量也随之而来,影响 ...
- 使用NetFlow分析网络异常流量(6)
五.常见蠕虫病毒的NetFlow分析案例 利用上诉方法可以分析目前互联网中存在的大多数异常流量,特别是对于近年来在互联网中造成较大影响的多数蠕虫病毒,其分析效果非常明显,以下为几种蠕虫病毒的NetFl ...
- 使用NetFlow分析互联网网络异常流量
PS:论坛里一位网友提出的问题,自己也不会,在网上找了点资料,还是感觉这篇文章比较详细.. [摘要]本文从互联网运营商的视角,利用NetFlow分析手段,对互联网异常流量的特征进行了深入分析,进而提出 ...
- 基于机器学习的网络异常流量识别系统——数据篇
数据集 获取数据集的两个方案(网络异常流量) 一.自己配置虚拟机爬取数据(有条件的可以直接搞服务器上的数据) 缺点:很耗时而且爬的还没有什么普适性,电脑不行直接挂,我就是(￣▽￣)" 自己用 ...
- 网络异常流量分析系统设计
为什么要监测分析异常流量? 网络管理人员都希望在网络性能突然下降的时候找到"真凶"所在,并迅速解决问题.利用网络异常流量监测的方法,可以非常直观地看到网络流量是否有突然增长或者突然 ...
- 【数据共享】深度学习异常行为数据集—疲劳驾驶数据集—行为分析数据集
今天分享一下这几种数据集: 异常行为数据集 疲劳驾驶数据集 行为分析数据集 文章目录 行为分析数据集: 疲劳驾驶数据集 异常行为监控数据集 三维卷积特征提取器: 100G异常行为数据集送上: 异常行为 ...
- 2017~2018学年《信息安全》考试试题（A2卷）
北京信息科技大学,2017~2018 学年第二学期<信息安全>考试试题(A 卷) 适用专业班级:计科15级 重修课程所在学院:计算机学院 考试形式:闭卷 一.单选题(本题满分20分,共含1 ...
- 【论文笔记2】基于梯形面积估计的大规模网络异常检测几何面积分析新技术
Novel Geometric Area Analysis Technique for Anomaly Detection Using Trapezoidal Area Estimation on L ...
- java分类Kdd99数据集_KDD-CUP99 网络入侵检测数据集的处理与研究
对于入侵检测的研究,需要大量有效的实验数据.数据可以通过抓包工具来采集,如Unix下的Tcpdump,Windows下的libdump,或者专用的软件snort捕捉数据包,生成连接记录作为数据源.本文 ...
最新文章
- python科学计算整理
- 【NLP】Word2Vec详解（含数学推导）
- 来兄弟连学习的经历和感受
- YodaOS: 一个属于 Node.js 社区的操作系统
- 《MySQL——关于grant赋权以及flush privileges》
- SQL 查询--日期条件（今日、昨日、本周、本月。。。） (转)
- python实例 75，76
- openlayers入门开发系列之热力图篇
- 安装oracle 并使用impdp 导入库
- 利用级数求和推导泊松分布的期望方差
- 随机样例生成器(外观优化)
- MVC学习笔记八：WebGrid控件的高级使用
- 使用python做一个翻译工具
- WEB前端应了解的NO.IE内核浏览器
- 新版男神女神完整投票系统源码V5.5.21版本
- 2022 年排名前 10 的聊天机器人[示例]
- 联想笔记本电脑桌面出现计算机白色长条边,笔记本电脑屏幕出现条纹闪烁怎么解决【解决方法】...
- ionic如何使用第三方iconfont，以及图标微调 （转载）
- 毕业设计 基于STM32单片机的二轮平衡小车
- 为了给YiYi节省时间，写了个能自动拼图贴水印的机器人，很多bug，能用就行。