fofa资产收集-python爬虫

fofa资产收集-python爬虫无需调用api接口

脚本
脚本使用
结果输出

在使用fofa进行搜索资产时，使用api接口调用进行提取时是有限制的，那提取上限怎么办？一个一个复制出来吗？当然不是，而是需要一个无限制爬取的脚本.

脚本

#coding:utf-8
import sys
#reload(sys)
#sys.setdefaultencoding('utf-8')
import importlib,sys
importlib.reload(sys)
import base64
import requests
from lxml import etree
import time
import threading
threads=[]
time_start = time.time()def fofa():#其中search_data为搜索关键词search_data='port="6379"'search_data_bs=base64.b64encode(search_data.encode('utf-8'))#print (search_data_bs)search_data_bs=str(search_data_bs,'UTF-8')url='https://fofa.info/result?qbase64='headers={'cookie':'refresh_token=1;''fofa_token=你的fofa_token;'}for yeshu in range(1,5):urls=str(url)+search_data_bs+"&page="+str(yeshu)#print (urls)print("正在提取第"+str(yeshu)+"页数")try:result=requests.post(urls,headers=headers).content#print (result.decode('utf-8'))dayi=etree.HTML(result.decode('utf-8'))#print(dayi)ip_data=dayi.xpath('//span[@class="hsxa-copy-btn hsxa-copy-btn-no-link"]/@data-clipboard-text')#print (ip_data)ipdata='\n'.join(ip_data)#print (ipdata)with open(r'ip.txt', 'a+') as f:f.write(ipdata+'\n')f.close()except Exception:time.sleep(0.5)passdef ip():for ip in open('ip.txt'):ip = ip.strip()ip = ip.strip('/')ip = ip.replace('https://','')ip = ip.replace('http://', '')data=":"if data in ip:ip = ip.split(":")del ip[-1]ip="".join(ip)with open(r'ipf.txt', 'a+') as f:f.write(ip + '\n')f.close()else:with open(r'ipf.txt', 'a+') as f:f.write(ip + '\n')f.close()def qc():lines_seen = set()outfiile = open('result.txt', 'w', encoding='utf-8')f = open('ipf.txt', 'r', encoding='utf-8')for line in f:if line not in lines_seen:outfiile.write(line)lines_seen.add(line)if __name__ == '__main__':threads.append(threading.Thread(target=fofa))for t in threads:t.start()t.join()ip()qc()time_end = time.time()time_sum = time_end - time_startprint (" Program run time %s" %time_sum)

脚本使用

其中search_data填写搜索关键词

fofa_token在F12-cookie当中查找复制即可

后面的页数若是（1，5）那便是提取1页到5页.

结果输出

ip.txt提取的为原始内容结果如下

http://11.74.197.22:9090
http://11.74.197.22:9091
http://11.156.245.220:9090

ipf.txt提取的为原始内容的IP

11.74.197.22
11.74.197.22
11.156.245.220

result.txt是ipf.txt去重后的结果

11.74.197.22
11.156.245.220

fofa资产收集-python爬虫相关推荐

fofa资产收集-cert证书
fofa资产收集-cert证书前言网站证书序列号是一串数字或字母的唯一标识,它可以用来区分不同的 SSL 证书.每当一个网站颁发一个 SSL 证书时,该证书都会被分配一个唯一的序列号. 证书序列号 ...
魔兽世界python脚本拍卖行_Python大法之告别脚本小子系列—信息资产收集类脚本编写(上)...
0×01 前言在采集到URL之后,要做的就是对目标进行信息资产收集了,收集的越好,你挖到洞也就越多了----当然这一切的前提,就是要有耐心了!!!由于要写工具较多,SO,我会分两部分写-- 0×02 ...
用爬虫收集网站公开数据丨Python爬虫实战系列(5)
提示:最新Python爬虫资料/代码练习>>戳我直达文章目录前言用爬虫收集公开数据编写程序流程分析确定Xpath表达式 1) 确定基准表达式 2) 确定抓取信息的表达式 3) 提 ...
从网络上收集的爬虫工具，推荐基于python的工具
Java爬虫 1.Arachnid Arachnid是一个基于Java的web spider框架.它包含一个简单的HTML剖析器能够分析包含HTML内容的输入流.通过实现Arachnid的子类就能够开 ...
使用FOFA进行资产收集
使用FOFA进行资产收集 FOFA是一款空间搜索引擎;它可以通过进行网络空间测绘快速进行网络资产匹配 FOFA官方地址:https://fofa.so/ 我们使用FOFA进行搜索资产的时候他是不区分大 ...
Python大法之告别脚本小子系列——信息资产收集类脚本编写附源码
关注头条号,私信回复资料会有意外惊喜呦------最后一张照片有资料呦. 前言在采集到URL之后,要做的就是对目标进行信息资产收集了,收集的越好,你挖到洞也就越多了............当然这一切 ...
超级简单的Python爬虫教程,python爬虫菜鸟教程官网
毫无基础的人如何入门 Python ? Python是一种计算机程序设计语言.你可能已经听说过很多种流行的编程语言,比如非常难学的C语言,非常流行的Java语言,适合初学者的Basic语言,适合网页编 ...
渗透测试-红队从资产收集到打点
红队从资产收集到打点最近想总结一下,在红队渗透拿到一个目标名或者刷src时候,怎么快速信息收集和批量检测来打到一个点,往往在实际项目中就是拼手速. 信息收集到打点大致我就分为企业信息结构收集敏感 ...
红蓝对抗之企业对外根域名资产收集
前言上次听了火线安全平台 (https://www.huoxian.cn) 组织的火器专项线上分享会议有提到火器的资产关联大概的思路,真的是收获了很多.再夸夸火器,在挖一些项目中的确能省掉很多资产收 ...

fofa资产收集-python爬虫

fofa资产收集-python爬虫无需调用api接口

脚本

脚本使用

结果输出

fofa资产收集-python爬虫相关推荐

最新文章

热门文章