Multi-layer intrusion detection system with ExtraTrees feature selection, extreme learning machine ensemble, and softmax aggregation

论文摘要

基于机器学习的入侵检测系统的最新进展确实优于其他技术，但在检测多类攻击时却难以达到较高的准确率。我们提出了一种分三个阶段工作的方法。

首先，使用ExtraTrees分类器为每种攻击类型分别选择相关特征。
然后，利用ELM的集成分别检测每种类型的攻击。
最后，利用softmax层对所有ELM的结果进行组合，对结果进行细化，进一步提高精度。

我们的系统背后的直觉是，多类分类与二元分类相比是相当困难的。因此，我们将多类问题分成多个二进制分类。

我们在UNSW和KDDcup99数据集上测试了我们的方法。结果清楚地表明，我们提出的方法能够优于所有其他方法，具有较高的利润率。该系统在UNSW和KDDcup99数据集上的多分类准确率分别为98.24%和99.76%。

此外，我们使用加权极端学习机来缓解攻击分类不均衡的问题，进一步提高了性能。最后，利用gpu并行实现入侵检测系统的集成，实现实时入侵检测。

论文解决的问题

提出了一种使用ExtraTree进行特征选择的想法。
提出了一种使用WELM（加权极限学习机）的集成思想，既能进行多分类，又能缓解数据集不平衡。

1.模型结构

说明：

对于第一个极限学习机（ELM）而言，我们用一个ExtraTree为Normal类型的样本进行特征选择，然后用极限学习机对这个已经进行过特征选择的样本进行训练，得到一个训练好的极限学习机ELM1ELM_1ELM1（注意ELM1ELM_1ELM1只是一个二分类器，如果样本为Normal，则输出1；为其他类型，则输出0）。
以此类推，对每个类型都执行上面的操作，会获得ELM2、ELM3...、ELMNELM_2、ELM_3...、ELM_NELM2、ELM3...、ELMN，即有N个类型的样本，就训练N个ELM
最后使用softmax层对每个极限学习机的结果进行集成，得到最终结果

2.ExtraTree特征选择

ExtraTree：极限随机树，是随机森林的一个变种，相比于随机森林，它的每个树都使用原始数据集，不进行随机选择样本这步操作。并且在进行分裂节点时，不采用基于信息增益，Gini系数等方法，而是随机选择一个特征进行分裂。

特征选择：这步感觉论文并没有讲清楚，所以我觉得可以使用随机森林进行特征选择的方法进行特征选择。

3.极限学习机

参考资料：极限学习机

可以先看一下上面的参考资料了解一下极限学习机，本文在它的基础上进行了改进，为每个极限学习机加权以减轻数据集不平衡的问题。

具体改进在于：
求HHH的广义逆：

注意：此时的W是一个n*n的对角矩阵（n为label个数），对角线是就是为每个类型分配的权重。

至于权重如何分配，可以自行百度，选择任意算法。

4.softmax层

对每个ELM的输出而言，只有0和1。所以如果某ELM判断该样本label=1，则表示为yi=1y_i = 1yi=1，判断该样本label=0，则表示为yi=0y_i=0yi=0，用以下公式计算样本属于某类型i类型i类型i的概率：

计算完该样本属于每个类型i的概率完之后会得到一个N元组（y1，y2，...，yn）（y_1，y_2，...，y_n）（y1，y2，...，yn）（注意此时的yiy_iyi对应上面的f(y)if(y)_if(y)i）,用以下公式计算出结果的交叉熵损失：

此时的tit_iti我们也把它变成N元组，比如如果样本i属于Normal类型，则ti=(1,0,0...,0)t_i = (1,0,0...,0)ti=(1,0,0...,0)。

研究型论文_具有 ExtraTrees 特征选择、极限学习机集成和 softmax 聚合的多层入侵检测系统（英文论文）相关推荐

[论文阅读] (13)英文论文模型设计（Model Design）如何撰写及精句摘抄——以入侵检测系统(IDS)为例
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
Latex完成入侵检测系统综述论文
1.论文格式确定 1.1.Latex的IEEE格式 \documentclass[conference]{IEEEtran} \IEEEoverridecommandlockouts % The pr ...
[论文阅读] (18)英文论文Model Design和Overview如何撰写及精句摘抄——以系统AI安全顶会为例
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
[论文阅读] (12)英文论文引言introduction如何撰写及精句摘抄——以入侵检测系统(IDS)为例
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
[论文阅读] (14)英文论文实验评估（Evaluation）如何撰写及精句摘抄（上）——以入侵检测系统(IDS)为例
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
Zzz读书心得：英文论文写作不求人
这本书无庸置疑是工具书,或者更准确地说,是帮你整理资源的书.换个角度来看,这本书或许你在读的时候,你可能会发现你的英文知识并没有增加,这是正常的,因为你得用了这些工具与资源,才能帮助你提升英语能力. ...
计算机网络的发展英文,计算机网络英文方向论文选题计算机网络英文论文题目哪个好...
汇总了[100道]与计算机网络英文相关论文选题,为广大毕业生和职称者推荐计算机网络英文方向论文选题,解决在校大学生不知道计算机网络英文论文题目哪个好等相关问题! 一.比较好写的计算机网络英文论文题目: ...
怎样提高英文论文写作水平[转载]
->先要确定你英文论文写作的问题到底是什么,是英文不够好?还是写作能力不够强? ->如果是语言问题,那就去提高英语,平日里要多阅读相关专业的英文文献,在阅读文献的过程中不仅是要关注专业知 ...
留学生福利！超好用免费英文论文润色软件Wordvice AI上线啦
对于我们留学生来说,写英文论文一定是每个学期最头大的事情.由于非母语的关系,我们撰写一篇英文论文的难度要比写中文论文难得多,可能一个措辞不当,或者用错了俚语/俗语,论文就会被导师打低分甚至退稿.而很多 ...

研究型论文_具有 ExtraTrees 特征选择、极限学习机集成和 softmax 聚合的多层入侵检测系统（英文论文）

文章目录