词法，语法，句法，语义

个人笔记，谨慎参考。

参考：《A Survey of Binary Code Similarity》 2021

下载：2021-ASurveyofBinaryCodeSimilarity.pdf-其它文档类资源-CSDN下载

词法：

这些知识，在NLP中出现较多。

首先就是词法，包括字符、注释、接续符、标识符等。词的构成和变化的规则。

标准规定字符集包括英语所有的大写字母和小写字母、数字0~9、以及! ” # % ’ * + , - . / : ; = ? \ ^ _ | ~ <> {} () []等符号

句法：

组词成句的规则。

语法：

代码表示的相似性。比较指令的序列。

指令序列：
mov ax,6622H
jmp 1000:3
mov ax,0000
sub bx,ax

序列中的指令在虚拟地址空间上面是连续的，并且属于同一个函数。

序列中的指令可以首先被标准化。

标准化：
add %eax,%ebx
add %ecx,%edx
都被表示为：add REG,REG下面这个
add [%ecx],%edx --表示为--add MEM,REG
用来跟上面的进行区分！

例如：

1.只考虑助记符（就是和操作码一一对应的东西。）

助记符  mov操作码，类似之前说的那个B8等等之类的

2.只考虑操作码（MOV、jmp、sub）

3.或者将操作数（AX 56622H）归一化为类。

语义：

被比较的代码具有相似的功能，就会被认为是语义相似的。

1.相同源代码，不同编译链生成的二进制文件是语义相似的。

2.相同密码算法的两种不同实现，也是语义等效的。

3.相同语法的代码，语义等效。

但，相似语法的不一定语义等效：如：两数相乘得出结果与两数相除得出结果。

一般比较语义相似性的做法：

三种方法用于捕获语义:
将指令或系统/API/库调用语义转换为
1.结构或语法比较
2.符号公式
3.输入-输出对。

符号公式：

比较使用三种方法：

1.使用定理证明器检查等价性

两个公式执行之后，输入变量共享相同的值，输出变量是否包含相同的值。

（此方法的计算成本很高，要计算多个成对的等价查询）

2.比较公式的语义哈希以检查等价性

（对公式进行规范化（例如，使用通用寄存器名称）并简化它们（例如，应用常量传播）之后检查两个符号公式是否具有相同的哈希值。

如果两个符号公式具有相同的哈希值，应该是等效的。

语义哈希比使用求解器更有效，但其局限性在于它们会产生假阴性。

特别是，即使经过归一化和简化，两个等价的公式也可能具有不同的哈希值。

例如，公式之一中符号项的重新排序（例如，由于指令重新排序）导致不同的散列。）

3.计算公式的图形表示的相似性。

Xmatch 和 Tedem 将基本块的符号公式表示为树，并通过应用图/树编辑距离来计算它们的相似度。

计算图/树编辑距离比比较语义哈希值消耗更高，但图表示比语义散列具有优势，它可以处理术语重新排序。

输入输出对

类似于黑盒测试。仅看输出，不看中间过程。

相同的输入，如果经过的二进制代码是等价的，那么就会产生相同的输出。

但是，该做法开销较大（需要测试所有输入）。

等效的两个部分，置信度与已测试的输入成正比。

over