CTF爬虫：掌握这些特征，一秒识别密文加密方式
关注微信公众号：K哥爬虫，持续分享爬虫进阶、JS/安卓逆向等技术干货！
文章目录
- 前言
- 编码系列
- Base 系列编码
- Unicode 编码
- Escape 编码
- URL / Hex 编码
- 加密算法
- MD5
- SHA 系列
- HMAC 系列
- RSA
- AES、DES、3DES、RC4、Rabbit 等
- SM 系列
- 混淆系列
- Obfuscator
- JJEncode
- AAEncode
- JSFuck
- Jother
- Brainfuck
- Ook!
- Trivial brainfuck substitution
- 其他
- 恺撒密码
- 栅栏密码
- 猪圈密码
- 摩斯密码
- 培根密码
- 维吉尼亚密码
- 与佛论禅
- 当铺密码
前言
爬虫工程师在做加密参数逆向的时候，经常会遇到各种各样的加密算法、编码、混淆，每个算法都有其对应的特征，对于一些较小的网站，往往直接引用这些官方算法，没有进行魔改等其他操作，这种情况下，如果我们能熟悉常见算法的特征，通过密文就能猜测出使用的哪种算法、编码、混淆，将会大大提高工作效率！在 CTF 中通常也会有密码类的题目，掌握一些常见密文特征也是 CTFer 们必备的技能！
本文将介绍以下编码和加密算法的特征：
- 编码：Base 系列、Unicode、Escape、URL、Hex；
- 算法：MD5、SHA 系列、HMAC 系列、RSA、AES、DES、3DES、RC4、Rabbit、SM 系列；
- 混淆：Obfuscator、JJEncode、AAEncode、JSFuck、Jother、Brainfuck、Ook!、Trivial brainfuck substitution；
- 其他：恺撒密码、栅栏密码、猪圈密码、摩斯密码、培根密码、维吉尼亚密码、与佛论禅、当铺密码。
PS：常见加密算法原理以及在 Python 和 JavaScript 中的实现方法可参见K哥以前的文章：【爬虫知识】爬虫常见加密解密算法
编码系列
Base 系列编码
Base64 是我们最常见的编码，除此之外，其实还有 Base16、Base32、Base58、Base85、Base100 等，他们之间最明显的区别就是使用了不同数量的可打印字符对任意字节数据进行编码，比如 Base64 使用了64个可打印字符（A-Z、a-z、0-9、+、/），Base16 使用了16个可打印字符（A-F、0-9），这里主要讲怎么快速识别，其具体原理可自行百度，Base 系列主要特征如下：
- Base16：结尾没有等号，数字要多于字母；
- Base32：字母要多于数字，明文数量超过10个，结尾可能会有很多等号；
- Base58：结尾没有等号，字母要多于数字；
- Base64：一般情况下结尾都会有1个或者2个等号，明文很少的时候可能没有；
- Base85：等号一般出现在字符串中间，含有一些奇怪的字符；
- Base100：密文由 Emoji 表情组成。
示例：
| 编码类型 | 示例一 | 示例二 |
|---|---|---|
| 明文 | 01234567890 | administrators |
| Base16 |
3031323334353637383930
|
61646D696E6973747261746F7273
|
| Base32 |
GAYTEMZUGU3DOOBZGA======
|
MFSG22LONFZXI4TBORXXE4Y=
|
| Base58 |
cX8j8pvGzppMKVb
|
BNF5dFLUTN5XwM1yLoF
|
| Base64 |
MDEyMzQ1Njc4OTA=
|
YWRtaW5pc3RyYXRvcnM=
|
| Base85 |
0JP==1c70M3&rY
|
@:X4hDJ=06Eaa'.EcV
|
| Base100 |
|