开源情报信息收集（OSINT）

一、开源情报信息收集
- 1.搜索引擎语法
- 2.在线接口
- 3.相关工具
- 4.DNS历史解析记录
- 5.Github Hacking
- - 搜索仓库
  - 搜索代码
  - 自动化工具

一、开源情报信息收集

1.搜索引擎语法

百度
必应
谷歌

2.在线接口

https://anquan.baidu.com/product/secindex?industry=total
http://www.webscan.cc/
https://censys.io/certificates?q=.example.com
https://crt.sh/?q=%25.example.com
https://github.com/c0ny1/WorkScripts/tree/master/get-subdomain-from-baidu
https://dnsdumpster.com/
https://www.threatcrowd.org/searchApi/v2/domain/report/?domain=baidu.com
https://findsubdomains.com/
https://dnslytics.com/search?q=www.baidu.com
https://viewdns.info/
https://www.ipneighbour.com/#/lookup
https://securitytrails.com/domain/baidu.com/dns
http://www.yunsee.cn/finger.html

3.相关工具

https://github.com/rshipp/awesome-malware-analysis/blob/master/恶意软件分析大合集.md#域名分析

4.DNS历史解析记录

dnsdb
全球DNS搜索引擎
viewdns.info
DNS历史记录网站
securitytrails.com
DNS历史数据库

.A记录：IP指向记录，将一个IP和一个子域名相对应，从而实现通过一个域名找到服务器，而且指向的目标主机地址类型只能使用IP地址
CNAME记录：别名指向记录
MX记录：邮件交换记录，将以该域名为结尾的电子邮件指向对应的邮件服务器以进行处理
NS记录：解析服务器记录

5.Github Hacking

您可以在所有公共GitHub存储库中搜索以下类型的信息，以及您有权访问的所有私有GitHub存储库：

Repositories
Topics
lssues and pull requests
Code
Commits
Users
Wikis

参考：

Searching for repositories
Searching topics
Searching code
Searching commits
Searching issues and pull requests
Searching users
Searching wikis
Searching in forks

您可以使用搜索页面或高级搜索页面搜索GitHub
您可以使用>, >= , <和<=搜索大于，大于或等于，小于和小于或等于另一个值的值

搜索仓库

Query	Example
> _ n _	cats stars:>1000匹配关键字"cats"且star大于1000的仓库
> = _ n _	cats topics:>=5匹配关键字"cats"且标签数量大于等于5的仓库
< _ n _	cats size:<10000匹配关键字"cats"且文件小于10KB的仓库
<= _ n _	cats stars:<=50匹配关键字"cats"且star小于等于50的仓库
_ n _ …*	cats stars:10…*匹配关键字"cats"且star大于等于10的仓库
* … _ n _	cats stars:*…10匹配关键字"cats"且star小于等于10的仓库
n…n	cats stars:10…50匹配关键字"cats"且star大于10且小于50的仓库

以下搜索语法与上面差不多，就不贴表格了

搜索代码

注意事项

只能搜索小于384 KB的文件
只能搜索少于500,000个文件的存储库
登录的用户可以搜索所有公共存储库
除filename搜索外，搜索源代码时必须至少包含一个搜索词。例如，搜索language:javascript无效，而是这样：amazing language:javascript
搜索结果最多可以显示来自同一文件的两个片段，但文件中可能会有更多结果
您不能将以下通配符用作搜索查询的一部分:﹒ ， : ; / \ ’ " = * ! ?# $&+Al-> ( ) { }[ ]。搜索将忽略这些符号

日期条件
cats pushed:<2012-07-05 搜索在2012年07月05日前push代码，且cats作为关键字
cats pushed:2016-04-30…2016-07-04 日期区间
cats created:>=2017-04-01 创建时间

逻辑运算
AND、OR、NOT

排除运算
cats pushed:<2012-07-05 -language:java 搜索在2012年07月05日前push代码，且cats作为关键字，排除java语言仓库

包含搜索
cats in:file 搜索文件中包含cats的代码
cats in:path 搜索路径中包含cats的代码
cats in:path，file 搜索路径、文件中包含cats的代码
console path:app/public language:javascript 搜索关键字console，且语言为javascript，在app/public下的代码

主体搜索
user:USERNAME 用户名搜索
org:ORGNAME 组织搜索
repo:USERNAME/REPOSITORY 指定仓库搜索

文件大小
size:>1000 搜索大小大于1KB的文件

文件名称
filename:config.php language:php 搜索文件名为config.php，且语言为php的代码
例如搜索Java项目配置文件：mail filename:.properties

扩展名
extension:EXTENSION 指定扩展名搜索
例如：extension:properties jdbc

自动化工具

GitHub敏感信息泄露监控的工具有好几种，目前基本上是调用GitHub token通过关键词搜索匹配到的。常见的有GSIL、GShark、hawkeye、Github-Monitor、x-patrol等。

资源链接：

Gitrob
http://www.github.com/michenriksen/gitrob
x-patrol
https://github.com/MiSecurity/x-patrol
GitMiner
https://github.com/UnkL4b/GitMiner
GShark
https://github.com/neal1991/gshark

GitMiner安装

$ git clone http://github.com/UnkL4b/GitMiner
$ cd GitMiner
$ curl -s https://bootstrap.pypa.io/get-pip.py | python3
$ pip -V
~/GitMiner $ pip3 install -r requirements.txt

我的是装好过一遍的了

$ git clone http://github.com/UnkL4b/GitMiner
$ cd GitMiner
$ docker build -t gitminer .
$ docker run -it gitminer -h

信息收集--OSINT相关推荐

信息收集之外网信息收集
从个人的角度去简单整理下打点前的信息收集那些事.从信息收集本质上来说多数内容都是大同小异,遇到坚壁时,不用死磕,毕竟条条大路通罗马.(大佬们也可以说说看法~向各位大佬学习!!) Tell Me 想要构 ...
信息安全：信息收集之：被动信息收集
信息收集之:被动信息收集信息收集之:被动信息收集 1 被动信息收集:OSINT 1.1 获取情报的公开渠道 1.2 信息收集内容 1.3 信息用途 2 DNS 信息收集 2.1 nslookup 2 ...
信息收集道道之外网信息收集
#信息收集道道之外网信息收集从个人的角度去简单整理下打点前的信息收集那些事.从信息收集本质上来说多数内容都是大同小异,遇到坚壁时,不用死磕,毕竟条条大路通罗马(大佬们也可以说说看法~向各位大佬学习! ...
被动信息收集:使用OSINT框架进行信息收集
开源网络情报(OSINT)库,它是指可以合法地从有关个人或组织的免费公共来源中收集的任何信息.我一般简单理解为,就是被动信息收集. 被动收集的好处与目标系统不产生直接交互尽量避免留下痕迹被动收集 ...
信息收集渠道：文本分享类网站Paste Site
信息收集渠道:文本分享类网站Paste Site Paste Site是一种专门的文本分享的网站.用户可以将一段文本性质的内容(如代码)上传到网站,然后通过链接分享给其他用户.这一点很类似于现在的优酷 ...
【网络安全】能在Twitter和Instagram上实现信息收集和数据获取的工具
关于Terra Terra是一款功能强大的公开资源情报工具(OSINT),该工具主要针对的是Twitter和Instagram数据,广大研究人员可以利用Terra在这两个社交媒体平台上实现信息收集和数 ...
Kali渗透(二)之被动信息收集
被动信息收集公开渠道可获得的信息与目标系统不产生直接交互尽量避免留下一切痕迹下面是两个关于开源情报(OSINT)的书籍美国军方北大西洋公约组织信息收集内容一.IP地址段与域名信息 ...
渗透测试入门1之信息收集
渗透测试入门1之信息收集开源情报信息收集(OSINT) github whois查询/注册人反查/邮箱反查/相关资产 google hacking 创建企业密码字典子域名获取字典列表邮箱列表获 ...
Kali Linux 秘籍第四章信息收集
第四章信息收集作者:Willie L. Pritchett, David De Smet 译者:飞龙协议:CC BY-NC-SA 4.0 简介攻击的重要阶段之一就是信息收集.为了能够实施攻击, ...

信息收集--OSINT