用于检测未知恶意软件的深度学习方法
内容来源：ATYUN AI平台
目前，所有主要的反病毒供应商都在朝着机器学习方法靠拢，以求跟上不断变化的危险环境。这是个好消息。然而，随着每天有超过100万个新的恶意软件被释放，传统的机器学习方法可能无法胜任这项任务。现在一家名为Deep Instinct的公司希望通过深度学习，将恶意软件检测提升到一个新的水平。
在犹如“猫捉老鼠”的网络安全中，网络犯罪分子不断试图将其放到我们身上。如果他们可以通过我们的端点检测系统窃取新的恶意代码，他们就可以获得经济回报。
但事情是这样的:网络犯罪分子每次都不需要新的代码，他们可以使用一个旧的恶意软件，并进行一些细微的调整，让其可以通过安全软件检测。或者他们可以创建一个新的漏洞，这是WannaCry在5月份的攻击中所使用的技术，这个漏洞影响了全球35万个系统。
跟踪漏洞和黑客编写的漏洞代码是网络安全行业研究人员面临的一项重大任务。在一开始，基于签名的方法寻找代码片段，控制了恶意软件的检测。当网络犯罪分子意识到这种做法时，安全公司被迫采用更复杂的基于规则的方法。但坏人也很聪明。
恶意软件检测的下一个发展涉及机器学习。Symantec利用其“高级机器学习”(AML)来学习识别恶意软件的属性，而McAfee则倾向于采用“人机合作”方法来加强恶意软件的检测。Kaspersky Labs使用机器学习来加强软件中的恶意软件检测工作已经大约10年的时间了。
然而，新发布的恶意软件的数量仍在飙升。2015年，Symantec表示，它在去年发现了3.17亿条新的恶意软件，即每天有近100万件。根据Dark Reading的一篇报道，Kaspersky Labs在2016年表示，它每天检测大约32.3万个新的恶意软件文件，高于2011年的7万件。在最近的McAfee Labs威胁报告中，该供应商表示，其检测到的新样品数量为5760万份，约每天64万份。
每天产生的新恶意软件样本的确切数量并不重要。对于民众来说，重要的是有办法在坏人有机会对他们造成伤害之前检测到恶意软件。
深入
三年前，包括Guy Caspi和Eli David在内的一对以色列网络安全研究人员创立了Deep Instinct公司，并大胆计划利用新兴的深度学习技术来提高恶意软件检测能力。他们的想法是建立一个系统，可以在新的恶意软件正在生成时以惊人的速度扩展。
Deep Instinct公司产品管理总监Yaniv Shechtman表示，与传统机器学习相比，深度学习的可扩展性优势非常适合这项工作。
他说:“如果你每天都看数以亿计的文件，而且你需要处理这些数据，以深刻理解其是什么，如果它需要高度精确，那么传统的机器学习框架就不能满足这一要求。”
从零开始开发Deep Instinct的深度学习框架，我们用了两年多的时间。Shechtman表示:“我们没有使用TensorFlow Caffe或谷歌、Facebook或百度提供的任何第三方深度学习库。”“我们从零开始开发了自己的学习库，因为利用网络安全的深度学习远比用它进行语音识别或图像处理，甚至是自动驾驶汽车要复杂的多。”
在构建深度学习网络安全框架的过程中，获取训练数据并进行标记是最大的挑战。训练数据来自于公共存储库、第三方供应商，甚至是黑暗Web，它们必须被敲成类似的大小，以使神经工作能够正确地处理它们。当文件大小遍布地图时，这是一个挑战，从50KB的良性样本到100MB的恶意软件样本(幸运的是，数据科学家不需要提取特征，因为这部分是由神经网络自动处理的)。
Schectman说：“这是我们在公司头两年面临的挑战，”“但是，不仅开发框架是挑战，而且如何训练它同样是挑战。”
该公司发现，通过使用标准的基于CPU的服务器，训练他们的“深度大脑”(他们称之为深度学习引擎)可以接受的样本数量最多需要两个月的时间。因此，该公司与英伟达取得了联系，并建立了自己的GPU集群。结果，该公司将训练时间降低到了48小时。
现实世界的影响
该公司大约在6个月前开始销售其产品，如今，该公司的软件为20多名客户提供了大约7万个终端的保护。这些客户的矛头很尖，就像一个微小的Windows软件，重量在20MB到30MB之间。
这款软件利用从深度学习训练中收集到的信息，对新文件进行干扰。该软件在PC的CPU上受到了1%的攻击，并为文件访问请求增加了大约20到30毫秒的延迟时间，这还不足以引起真正的注意。
该公司声称，其深度学习方法比使用传统机器学习方法的竞争对手表现得更好。该公司表示，其威胁检测的准确性超过98%，而竞争对手的检测精度低于62.5%。它说，在一个有10万个文件的数据集上，它的误报率小于0.01%;相对而言，其竞争对手的误报率为2.5%-5%之间。
由于Deep Instinct的框架采用了深度学习技术来识别恶意软件，它基于大量类似于之前的恶意软件样本，该系统相当独立，只需每6到8个月重新训练一次。这意味着它的端点保护几乎总是最新的，需要每年更新一次或两次，而机器学习的竞争对手必须每天检查更新。
Schectman表示，这种方法使得Deep Instinct的软件代理能够检测到WannaCry和NotPetya cryptoworm，而以前从未检测到。他说:“他们被一个比实际袭击早了一年的深部大脑发现。”当然，那时我们已经有了新的版本。但是，如果你观察一段时间内的准确率，那么，你就会发现我们会比其他人更准确，即使是在一年前接受过训练。
英伟达的这一积极成果并没有引起人们的注意，它将Deep Instinct评为“最具颠覆性的创业公司”。英伟达去年还参与了由NCTP牵头的Deep Instinct的3200万美元B轮融资。
随着恶意软件的数量和质量以及APT的不断变化，网络安全公司将需要新的工具来保持最佳状态。传统的机器学习曾经被看作是保持领先于网络犯罪分子的必备工具，这可能还不够，特别是当越来越多的证据表明网络犯罪分子正在使用机器学习时。
Schectman说:“黑客正在变得越来越复杂，需要一种新技术的发展，以跟上引入的新恶意软件威胁的数量。我们的核心能力是检测未知。今天的大部分攻击都是未知的攻击，这也是他们面临的主要挑战。”
本文转自ATYUN人工智能媒体平台，原文链接：用于检测未知恶意软件的深度学习方法
更多推荐
Talla：不要害怕聊天机器人，客户代表应该接受人工智能的帮助
无需过于担心deepfake，研究表明人们通过练习能够更好地识别假新闻
机器学习算法只需很少的训练即可发现隐藏的科学知识
用于检测未知恶意软件的深度学习方法相关推荐
- 人脸检测：传统到深度学习方法汇总
虽然人脸的结构是确定的,由眉毛.眼睛.鼻子和嘴等部位组成,近似是一个刚体,但由于姿态和表情的变化,不同人的外观差异,光照,遮挡的影响,准确的检测处于各种条件下的人脸是一件相对困难的事情. 人脸检测算法 ...
- 【论文学习】6、Wi-Fi中基于前导码的包检测：一种深度学习方法
摘要 基于ieee802.11标准系列的无线网络系统是最流行的使用先听后说(LBT)方法进行信道接入的无线接口,在非接触频段中工作.大多数基于LBT的系统的显著特征是,发射机使用数据之前的前导码来允许 ...
- 图像兴趣点检测与描述 的深度学习方法总结
图像的兴趣点(关键点.特征点)检测和描述往往是图像配准.相机标定.场景识别.目标跟踪的首要步骤,是计算机视觉研究的重要课题.检测子的目的是为了提取可匹配的兴趣点,而描述子可用于匹配或识别,为下游任务作 ...
- 【CV】用于图像恢复的深度学习方法综述论文（2022年）
论文名称:A survey of deep learning approaches to image restoration 论文下载:https://www.sciencedirect.com/sc ...
- 论文阅读（6）用集合深度学习方法在皮肤镜图像中进行皮肤病变分割
目录 Skin Lesion Segmentation in Dermoscopic Images With Ensemble Deep Learning Methods 摘要 1. 引言 2.用于皮 ...
- 「 工业缺陷检测深度学习方法」最新2022研究综述
作者丨专知 来源丨专知 编辑丨极市平台 导读 基于深度学习的工业缺陷检测方法在各种生产与运维场景中扮演着重要角色.本文将对工业缺陷检测的任务定义.难点.挑战.主流方法.公共数据集及评价指标等进行全面归 ...
- 工业检测深度学习方法综述
1.概述 工业缺陷现阶段存在缺陷样本匮乏.缺陷的可视性低.形状不规则.类型未知等问题,部分工业缺陷检测方法采用的异常检测的思路. 异常检测主要关注输入图像是否为异常实例,工业缺陷检测更关注像素层面的检 ...
- 3D目标检测深度学习方法中voxel-represetnation内容综述（三）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 前言 前两篇文章:3D目标检测深度学习方法中voxel-represetnation内容综述(一).3 ...
- 深度学习用于视频检测_视频如何用于检测您的个性？
深度学习用于视频检测 视频是新的第一印象! (Videos are the New First Impressions!) Think about the approximate number of ...
- OverFeat——全卷积首次用于检测问题 (目标检测)(深度学习)(ICLR 2014）
论文名称:< OverFeat:Integrated Recognition, Localization and Detection using Convolutional Networks & ...
最新文章
- java try catch 捕捉异常_java的 try-catch异常捕捉处理
- python小技巧-基于python本身
- 分布式流媒体直播服务器系统 For Linux
- WinForm Paenl里面添加Form
- 高仿人人Android梦想版终极源码发送（转）
- Centos6 import tensorflow遇到的问题
- nbi可视化_教您通过NBI大数据可视化工具零编码轻松实现桑基图的制作
- Lena.jpg 与图像处理的渊源
- 关于使用FileZilla软件出现中文乱码解决方法
- 334个地级市名单_2016年最新中国地级市名单
- kali系统sftp服务
- 注意力机制attention图解
- 《大秦帝国》作者孙皓晖将现身杭州华为阅读·DigiX读书会
- 蓝牙鼠标链接Win10需要“输入MI MOUSE BT3.0的PIN”的解决方案
- VS2010如何添加MSCOMM控件
- vue复制图片到剪切板
- weui中的字体图标在IE不显示问题
- 图像超分辨率简单介绍
- 梦幻单机游戏添加怪物lua
- Python 做个小爬虫，要看技术交流群里小伙伴们的上榜情况，真的很方便！