一个Python开源项目-腾讯哈勃沙箱源码剖析(上)
前言
2019年来了,2020年还会远吗? 请把下一年的年终奖发一下,谢谢。。。
回顾逝去的2018年,最大的改变是从一名学生变成了一位工作者,不敢说自己多么的职业化,但是正在努力往那个方向走。
以前想的更多是尝试,现在需要考虑的更多是落地。学校和公司还是有很大的不一样,学到了很多东西。
2019年了,新年新气象,给大家宣布一下”七夜安全博客“今年的规划:
1. 2019年不再接任何商业广告(文末腾讯广告除外),纯粹输出安全技术干货。
2. 2019年每周至少两篇原创图文,也就是说每个月至少八篇文章。
3. 2019年每篇图文都不再单独开赞赏,统一在每个月1号开赞赏,并回顾上个月的内容,简称收租,大家觉得上个月的文章不错,就多赞赏即可
4. 2019年的主题是二进制安全,至少上半年是这样,包括木马的设计与检测方面,会按照系列和专题发布文章。
废话不多说,新的一年就从哈勃沙箱说起,用来检测linux恶意文件。
哈勃沙箱
今天说的哈勃沙箱是腾讯哈勃检测系统中,linux恶意文件检测部分的开源代码。github地址为:
https://github.com/Tencent/HaboMalHunter
今天是源码剖析的第一篇,目标是简要介绍一下沙箱使用的检测手段和主要技术点。从github中输出的html报表里,监控的信息还是挺丰富的。这里只截取一部分,根据github中的说明,大家很容易就可以搭建一个沙箱。
静态检测
在哈勃沙箱的代码目录中,static目录下即为静态检测的代码,代码很清晰。静态检测的本质是特征码匹配,对已知的恶意文件进行快速匹配进而查杀,如果能在静态检测层面发现恶意代码,就不需要动态分析了,这样速度就会快很多。
从static_analyzer.py来看,哈勃linux沙箱静态检测,获取的信息主要有六个方面:
1. 文件类型信息
通过file命令获取文件信息,比如是二进制还是其他类型文件,在linux中是无法通过后缀判断它是什么文件的。
2. 文件hash比对
对于已知的恶意文件都有相应的hash库,方便快速比对。哈勃主要计算文件的md5,sha1,sha256,这是一种绝对匹配方式。
还有一种方式是计算文件的ssdeep值,这个在我之前在公众号讲webshell检测时讲过这个,这个值可以通过相似度判断恶意文件的一些变形。
3. exiftool信息
获取文件属性信息,通过exiftool工具来实现,内容包括修改时间,创建时间等等。
4. 文件大小
文件大小也是一个辅助判断的依据,毕竟木马文件不会很大,几兆的木马文件上传也是费事。
5. yara模糊过滤
YARA是一款旨在帮助恶意软件研究人员识别和分类恶意软件样本的开源工具,使用YARA可以基于文本或二进制模式创建恶意软件家族描述信息。
YARA的每一条描述或规则都由一系列字符串和一个布尔型表达式构成,并阐述其逻辑。YARA规则可以提交给文件或在运行进程,以帮助研究人员识别其是否属于某个已进行规则描述的恶意软件家族。比如下面这个例子:
rule silent_banker : banker
{meta:description = "This is just an example"thread_level = 3in_the_wild = truestrings:$a = {6A 40 68 00 30 00 00 6A 14 8D 91}$b = {8D 4D B0 2B C1 83 C0 27 99 6A 4E 59 F7 F9}$c = "UVODFRYSIHLNWPEJXQZAKCBGMT"condition:$a or $b or $c
}
实现代码为:
6. 查壳
一般的恶意文件,为了防止被逆向人员分析,都会加壳的。
哈勃主要是判断了是否是upx壳。如果是upx,则进行解压。判断是upx壳的方法很简单,直接使用upx进行解压,返回是否成功。
接着提取以下信息:
明文字符串(通过strings命令),
动态库(通过ldd命令)
入口点,节,段,符号等信息(通过readelf命令)
动态检测
动态检测是沙箱的核心部分,但是本篇不展开讲解,在下一篇进行详细分析,因为动态检测的原理比较复杂。动态检测的内容在dynamic目录下的dynamic_analyzer.py文件里。
一般的动态检测主要是监视程序三个部分的内容:
syscall系统调用
进程内存
网络流量
对于系统调用,哈勃使用了三种方式进行了全方位的监控:ltrace/strace/sysdig。
ltrace和strace
ltrace和strace都是基于ptrace机制进行检测的,但是又有很大的不同,strace跟踪系统调用,而ltrace可以跟踪动态库函数。我们知道,ptrace机制可以用来跟踪系统调用,那么ltrace是如何使用它跟踪库函数呢?
首先ltrace打开elf文件,对其进行分析。在elf文件中,出于动态链接的需要,需要在elf文件中保存函数的符号,供链接器使用。具体格式,大家可以参考elf文件的格式。
这样ltrace就能够获得该文件中,所有系统调用的符号,以及对应的执行指令。然后,ltrace将该执行指令所对应的4个字节替换成断点指令。
这样在进程执行到相应的库函数后,就可以通知到了ltrace,ltrace将对应的库函数打印出来之后,继续执行子进程。
实际上ltrace与strace使用的技术大体相同,但ltrace在对支持fork和clone方面,不如strace。strace在收到fork和clone等系统调用后,做了相应的处理,而ltrace没有。
至于sysdig的原理,以及与ltrace,strace的区别,我们会在下一文章中进行详细说明。
内存分析
对于内存,沙箱基本上都是基于volatility来做的,哈勃也不例外。哈勃主要分析了两部分内存:
1.bash 调用历史
2.父子进程的关系
网络分析
对于网络,沙箱主要做了两个部分的工作,一部分是虚拟网络环境,另一部分是网络抓包。
1.INetSim虚拟网络环境
2.tcpdump 抓取数据包
有的木马,还会有自删除,自锁定,自修改的行为,这是一些自保护的需要。沙箱中对此也进行了检测:
现有代码的不足
对于开源的部分代码,发现一些不能落地生产环境的地方,付费版的代码应该没这些问题。
1.没有实现检测的自动化
它是把沙箱安装到虚拟机中,然后人工拖动程序进入沙箱检测,没有发现自动化的代码。当然,对于虚拟机的自动化控制,这个是可以做的,二次开发。
2.没有策略
沙箱的检测策略是没有开源的,这是很宝贵的东西。我们虽然可以获取大量的信息,但是哪些是恶意的,我们没办法判别。当然这就是我们策略该做的事情了,只要有样本,策略还是可以做的。
3.请期待下一篇:沙箱的动态检测机制。
最后
关注公众号:七夜安全博客
- 回复【1】:领取 Python数据分析 教程大礼包
- 回复【2】:领取 Python Flask 全套教程
- 回复【3】:领取 某学院 机器学习 教程
- 回复【4】:领取 爬虫 教程
- 回复【5】:领取 编译原理 教程
- 回复【6】:领取 渗透测试 教程
- 回复【7】:领取 人工智能数学基础 教程
转载于:https://www.cnblogs.com/qiyeboy/p/10222084.html
一个Python开源项目-腾讯哈勃沙箱源码剖析(上)相关推荐
- 一个完整的python项目源码-一个Python开源项目-腾讯哈勃沙箱源码剖析(上)
前言 2019年来了,2020年还会远吗? 请把下一年的年终奖发一下,谢谢... 回顾逝去的2018年,最大的改变是从一名学生变成了一位工作者,不敢说自己多么的职业化,但是正在努力往那个方向走. 以前 ...
- 一个完整的python项目源码-一个Python开源项目-哈勃沙箱源码剖析(下)
前言 在上一篇中,我们讲解了哈勃沙箱的技术点,详细分析了静态检测和动态检测的流程.本篇接着对动态检测的关键技术点进行分析,包括strace,sysdig,volatility.volatility的介 ...
- vue开源项目(各大插件,gitup源码)
vue开源项目(各大插件,gitup源码) 目录 UI组件 开发框架 实用库 服务端 辅助工具 应用实例 Demo示例 UI组件 element★31142 - 饿了么出品的Vue2的web UI工具 ...
- 【C语言】第一个C语言项目——“猜数字”游戏(内附源码)
君兮_的个人主页 勤时当勉励 岁月不待人 C/C++ 游戏开发 Hello米娜桑,这里是君兮_,今天又抽空为大家更新我们的主线0基础C语言啦!鉴于最近讲解了非常多的选择语句与循环语句,咱们今天就来讲讲 ...
- 【Python爬虫项目】酷狗音乐附源码
一.复制歌曲链接 二.F12启动开发者工具找到音频标签查看src属性 三.复制src属性进行搜索进行查看发现时音频文件 四.了解流程开始编写程序 代码: import requests from se ...
- 微盟php开源项目,weimob 微盟整站源码 包含所有 的软件程序,可上传使用 WEB(ASP,PHP,...) 272万源代码下载- www.pudn.com...
文件名称: weimob下载 收藏√ [ 5 4 3 2 1 ] 开发工具: JavaScript 文件大小: 17609 KB 上传时间: 2017-03-19 下载次数: 0 提 供 ...
- 极限学习机Python开源库——elm【内附案例源码】
- 从15000个Python开源项目中精选的Top30,Github平均star为3707,赶紧收藏!
翻译 | AI科技大本营(ID:rgznai100) 参与 | SuiSui 继推出2017年机器学习开源项目Top 30榜单后,Mybridge AI又推出了一个Python开源项目Top 30榜单 ...
- 收藏!15000个Python开源项目中精选Top30!
来源:授权自AI科技大本营(ID:rgznai100) 本文长度为1700字,建议阅读6分钟 本文基于项目质量.用户参与度以及其他因素为你列出Python开源项目Top 30,建议收藏. 继推出201 ...
- 70个python毕设项目_56个具有开创性的Python开源项目-开始使用Python
Python正在蓬勃发展,它的Gistub页面也是如此.今年对于Python来说很棒,我们看到了一些非常强大的python开源项目.今天,我们将列出一些最好的python开源项目:尝试至少对其中一个项 ...
最新文章
- windows10 计算器无法打开(转)
- Codeforces Round #520 (Div. 2)
- tomcat:Could not publish to the server. java.lang.IndexOutOfBoundsException
- 2020 金山云 面经
- CentOS 7.4 64位 .tar.bz2 解压
- 广州蓝景分享—「web前端素材」使用CSS动画效果(上)
- 常用Java编程软件有哪些
- DirectX 9的安装与配置
- 为什么选择高防DNS云解析?(二)
- android 启动视频,android 启动页面全屏播放视频
- 使用Psycopg2连接openGauss 3.0(python3)
- 【LabVIEW串口编程】03 串口接收
- Keras中predict()方法和predict_classes()方法的区别
- 计算机网络背诵笔记,震惊!网络搜索、数字笔记和云盘,让你变笨!!!
- 东软慧聚助力汽车“芯”节能减排
- python3新式类_Python之新式类与经典类
- pd15不能连接oracle11g,PowerDesigner15 使用时的十五个问题附解决方法
- shell的基础学习(二)
- 前后端存取Cookie
- [转载]初学者入门:Tomcat在Win2000下的安装
热门文章
- 中国移动吉比特GM220-S网关改桥接模式
- 仿 qq音乐播放器 html代码,仿QQ音乐播放器
- cad2019菜单栏怎么调出来_AutoCAD2019怎么把工具栏放左右两边两侧工具栏调出来
- http://www.baidu.com/cb.php?,帮助文档首页/百度翻译
- IOS 模拟器清除缓存
- 微信公众号支付java_微信公众号支付开发全过程(java版)
- jszip 解压压缩包_使用zip.js压缩文件和解压文件
- Spark机器学习(一)—Spark相关
- 拓展SOUI中SImRichEdit控件的语音OLE控件(AudioOle)
- 最大流最小割经典例题_最大流最小割基本