CIC-IDS-2018数据集分析笔记

数据集下载

列出所有的数据集：

aws s3 ls --no-sign-request "s3://cse-cic-ids2018" --recursive --human-readable --summarize

结果：

2018-10-10 19:52:09    0 Bytes Original Network Traffic and Log data/
2018-10-10 19:52:23    0 Bytes Original Network Traffic and Log data/Friday-02-03-2018/
2018-10-10 20:00:39  225.8 MiB Original Network Traffic and Log data/Friday-02-03-2018/logs.zip
2018-10-10 20:00:51   41.7 GiB Original Network Traffic and Log data/Friday-02-03-2018/pcap.zip
2018-10-10 19:52:34    0 Bytes Original Network Traffic and Log data/Friday-16-02-2018/
2018-10-10 20:45:49  148.1 MiB Original Network Traffic and Log data/Friday-16-02-2018/logs.zip
2018-10-10 20:46:01   35.9 GiB Original Network Traffic and Log data/Friday-16-02-2018/pcap.zip
2018-10-10 19:52:41    0 Bytes Original Network Traffic and Log data/Friday-23-02-2018/
2018-10-10 20:46:10  199.8 MiB Original Network Traffic and Log data/Friday-23-02-2018/logs.zip
2018-10-10 20:46:31   55.0 GiB Original Network Traffic and Log data/Friday-23-02-2018/pcap.zip
2018-10-10 19:52:47    0 Bytes Original Network Traffic and Log data/Thursday-01-03-2018/
2018-10-10 21:41:13  217.1 MiB Original Network Traffic and Log data/Thursday-01-03-2018/logs.zip
2018-10-10 21:41:45   48.8 GiB Original Network Traffic and Log data/Thursday-01-03-2018/pcap.zip
2018-10-10 19:52:54    0 Bytes Original Network Traffic and Log data/Thursday-15-02-2018/
2018-10-10 21:41:28  142.6 MiB Original Network Traffic and Log data/Thursday-15-02-2018/logs.zip
2018-10-10 21:41:55   38.4 GiB Original Network Traffic and Log data/Thursday-15-02-2018/pcap.zip
2018-10-10 19:53:01    0 Bytes Original Network Traffic and Log data/Thursday-22-02-2018/
2018-10-10 21:41:42  195.3 MiB Original Network Traffic and Log data/Thursday-22-02-2018/logs.zip
2018-10-10 21:42:27   46.8 GiB Original Network Traffic and Log data/Thursday-22-02-2018/pcap.zip
2018-10-10 19:53:07    0 Bytes Original Network Traffic and Log data/Tuesday-20-02-2018/
2018-10-10 22:39:45  178.9 MiB Original Network Traffic and Log data/Tuesday-20-02-2018/logs.zip
2018-10-10 22:40:40   41.3 GiB Original Network Traffic and Log data/Tuesday-20-02-2018/pcap.rar
2018-10-10 19:53:14    0 Bytes Original Network Traffic and Log data/Wednesday-14-02-2018/
2018-10-11 00:44:20  133.7 MiB Original Network Traffic and Log data/Wednesday-14-02-2018/logs.zip
2018-10-11 20:22:03   37.2 GiB Original Network Traffic and Log data/Wednesday-14-02-2018/pcap.zip
2018-10-10 19:53:21    0 Bytes Original Network Traffic and Log data/Wednesday-21-02-2018/
2018-10-11 00:44:34  185.6 MiB Original Network Traffic and Log data/Wednesday-21-02-2018/logs.zip
2018-10-11 21:35:15   49.8 GiB Original Network Traffic and Log data/Wednesday-21-02-2018/pcap.zip
2018-10-10 19:53:28    0 Bytes Original Network Traffic and Log data/Wednesday-28-02-2018/
2018-10-11 00:44:47  216.1 MiB Original Network Traffic and Log data/Wednesday-28-02-2018/logs.zip
2018-10-11 22:21:03   49.6 GiB Original Network Traffic and Log data/Wednesday-28-02-2018/pcap.zip
2018-10-12 00:02:25    0 Bytes Processed Traffic Data for ML Algorithms/
2018-10-12 00:02:49  336.0 MiB Processed Traffic Data for ML Algorithms/Friday-02-03-2018_TrafficForML_CICFlowMeter.csv
2018-10-12 00:03:10  318.3 MiB Processed Traffic Data for ML Algorithms/Friday-16-02-2018_TrafficForML_CICFlowMeter.csv
2018-10-12 00:03:33  365.1 MiB Processed Traffic Data for ML Algorithms/Friday-23-02-2018_TrafficForML_CICFlowMeter.csv
2018-10-12 00:03:59    3.8 GiB Processed Traffic Data for ML Algorithms/Thuesday-20-02-2018_TrafficForML_CICFlowMeter.csv
2018-10-12 00:08:38  102.8 MiB Processed Traffic Data for ML Algorithms/Thursday-01-03-2018_TrafficForML_CICFlowMeter.csv
2018-10-12 00:08:48  358.5 MiB Processed Traffic Data for ML Algorithms/Thursday-15-02-2018_TrafficForML_CICFlowMeter.csv
2018-10-12 00:09:20  364.9 MiB Processed Traffic Data for ML Algorithms/Thursday-22-02-2018_TrafficForML_CICFlowMeter.csv
2018-10-12 00:09:44  341.6 MiB Processed Traffic Data for ML Algorithms/Wednesday-14-02-2018_TrafficForML_CICFlowMeter.csv
2018-10-12 00:10:12  313.7 MiB Processed Traffic Data for ML Algorithms/Wednesday-21-02-2018_TrafficForML_CICFlowMeter.csv
2018-10-12 00:10:33  199.6 MiB Processed Traffic Data for ML Algorithms/Wednesday-28-02-2018_TrafficForML_CICFlowMeter.csv

下载指定的数据集：

aws s3 cp --no-sign-request "s3://cse-cic-ids2018/Processed Traffic Data for ML Algorithms/Friday-16-02-2018_TrafficForML_CICFlowMeter.csv" D:\cicids2018

中间是服务器路径，最后是本地存储路径

文件解读：

文件名（记录日期）	攻击类型
Thursday-01-03-2018	Benign，Infiltration（渗透）
Friday-02-03-2018	Benign，Bot（僵尸网络攻击）
Wednesday-14-02-2018	Benign，SSH-Bruteforce，FTP-BruteForce
Thursday-15-02-2018	Benign，DoS-GoldenEye，DoS-Slowloris
Friday-16-02-2018	Benign，DoS attack-hulk，DoS attacks-SlowHTTPTest
Thuesday-20-02-2018	Benign，DDoS attacks-LOIC-HTTP，DDoS-LOIC-UDP
Wednesday-21-02-2018	Benign，DDOS-LOIC-UDP，DDOS-HOIC
Thursday-22-02-2018	Benign，Brute Force -Web，Brute Force -XSS，SQL Injection
Friday-23-02-2018	Benign，Brute Force -Web，burte Force -XSS，SQL Injection
Wednesday-28-02-2018	Benign，Infiltration

注：GoldenEye，Slowloris，hulk，SlowHTTPTest，LOIC，HOIC都是用于模拟Dos攻击的安全测试工具

攻击类型：

1.Brute-force attack（暴力攻击）

有许多用于进行暴力攻击和密码破解的工具，如海德拉、美杜莎、Ncrack、Metasploit 模块和 Nmap NSE 脚本。此外，还有一些工具，如哈希猫和有密码哈希破解的哈希转储。但最全面的多线程工具之一是Patator，它用Python编写，似乎比其他人更可靠、更灵活。它还可以在单独的日志文件中保存每个响应，供以后查看。在此数据集中，我们使用两个模块，在 Kali Linux 计算机上使用 FTP 和 SSH 作为攻击机，使用 Ubuntu 14.0 系统作为受害者计算机。对于密码列表，我们使用包含 9000 万字的大字典。

2.Heartbleed attack

利用Heartbleed attack最有名的工具之一是Heartleech。它可以扫描易受 Bug 攻击的系统，然后可用于利用它们并渗出数据。一些重要功能：

关于目标是否易受攻击的确定结论/不确定的判断
使用多个线程将心血数据批量/快速下载到大型文件中，用于脱机处理
自动检索私钥，无需额外步骤
一些有限的 IDS 规避
STARTTLS 支持
IPv6 支持
Tor/Socks5n 代理支持
广泛的连接诊断信息

为了利用此漏洞，我们编译了 OpenSSL 版本 1.0.1f，这是一个易受攻击的版本。然后，我们使用Heartleech来检索服务器的内存。

3.Botnet（僵尸网络）

在此数据集中，我们使用 Zeus，这是一个特洛伊木马恶意软件包，在 Microsoft Windows 版本上运行。虽然它可用于执行许多恶意和犯罪任务，但它通常用于通过浏览器中的人击键记录和抓取形式窃取银行信息。它也用于安装加密锁勒索软件。Zeus 主要通过驾车下载和网络钓鱼计划传播。此外，作为补充，我们使用阿能力的僵尸网络，这是一个开源僵尸网络，具有以下功能：

远程 cmd. exe 外壳
持久性
文件上传/下载
截图
密钥日志记录

在这种情况下，我们感染机器与两个不同的僵尸网络（宙斯和阿雷），也每400秒，我们要求从僵尸截图。

4.Denial-of-Service（拒绝服务）

Slowloris 是 Robert Hansen 发明的一种拒绝服务攻击工具，它允许一台机器以最小的带宽和对不相关的服务和端口的副作用来关闭另一台机器的 Web 服务器。在这种情况下，我们使用基于慢速 Perl 的工具来关闭 Web 服务器。

5.Distributed Denial-of-Service（分布式拒绝服务）

高轨道离子大炮，通常缩写为HOIC，是一个开源网络压力测试和拒绝服务攻击应用程序写在 BASIC 中，旨在同时攻击多达 256 个 URL。它已被设计，以取代由Praetox技术开发的低轨道离子炮。在这种情况下，我们使用免费的 HOIC 工具使用 4 台不同的计算机进行 DDoS 攻击。

6.Web Attacks（网络攻击）

在这项工作中，我们使用该死的易受攻击的网络应用程序（DVWA）来进行我们的攻击。DVWA 是一个易受攻击的 PHP/MySQL Web 应用程序。其主要目标是帮助安全专业人员在法律环境中测试他们的技能和工具，帮助 Web 开发人员更好地了解保护 Web 应用程序的过程，并帮助教师/学生在教室环境中教授/学习 Web 应用程序安全性。为了自动化 XSS 和暴力部分的攻击，我们开发了一个包含 Selenium 框架的自动化代码。

7.Infiltration of the network from inside（内网渗透）

在这种情况下，应利用易受攻击的应用程序（如 Adobe Acrobat 阅读器 9）。首先，受害者通过电子邮件收到恶意文档。然后，在使用 Metasploit 框架成功利用后，将在受害者的计算机上执行后门。现在，我们可以对受害者的网络进行不同的攻击，包括使用 Nmap 进行 IP 扫描、全端口扫描和服务枚举。