#!/usr/bin/python3

coding: utf-8

import simplejson
import subprocess
“”"
添加Cookie扫描示例

命令行调用时:
./crawlergo -c /home/test/chrome-linux/chrome -o json --ignore-url-keywords quit,exit,zhuxiao --custom-headers "{\"Cookie\": \"crawlergo=Cool\"}"
使用 --ignore-url-keywords 添加你想要的排除的关键字,避免访问注销请求

“”"

def main():
target = “http://testphp.vulnweb.com/”
headers = {
“User-Agent”: “Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
“Chrome/74.0.3945.0 Safari/537.36”,
“Cookie”: “crawlergo=Cool”
}
cmd = [”./crawlergo", “-c”, “/home/test/chrome-linux/chrome”,
“-o”, “json”, “–ignore-url-keywords”, “quit,exit,zhuxiao”, “–custom-headers”, simplejson.dumps(headers),
target]

rsp = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
output, error = rsp.communicate()result = simplejson.loads(output.decode().split("--[Mission Complete]--")[1])
req_list = result["req_list"]
for each in req_list:print(each)

if name == ‘main’:
main()

crawlergo带cookie爬虫相关推荐

  1. HttpHelps类,用来实现Http访问,Post或者Get方式的,直接访问,带Cookie的,带证书的等方式,可以设置代理...

    原文地址:http://blog.csdn.net/cdefg198/article/details/8315438 万能框架:http://www.sufeinet.com/forum.php?mo ...

  2. python发送cookie请求_Python中实现带Cookie的Http的Post请求

    已经实现了如何获得对应的cookie,具体参考: [已解决]Python中如何获得访问网页所返回的cookie 现在想要把已获得cookie,在http的提交post请求的时候,也同时发送过去. 即, ...

  3. Postman发送带cookie的http请求

    1.Postman是chrome上一个非常好用的http客户端插件,可惜由于chrome安全的限制,发不出带cookie的请求.如果想要发送带cookie的请求,需要开启Interceptor: 2. ...

  4. go语言带cookie的net客户端请求与[]byte转string

    前些日子参加了一个叫Advent of Code的编程大赛,每天一道题,快活似神仙.这每道题都有自己的拼图数据输入puzzle input,要做题就需要用到该数据,把数据复制过来感觉又太麻烦,于是就兴 ...

  5. Network下方什么请求也没有_利用postman进行接口测试并发送带cookie请求的方法

    顾翔老师的<软件测试技术实战设计.工具及管理>网上购买地址: https://item.jd.com/34295655089.html <基于Django的电子商务网站>网上购 ...

  6. 前台请求不带cookie的问题解决方案大汇总

    今天碰到一个很棘手的问题,前端请求后端不带cookie, 请求时header里面就是没有cookie,可能还少了点其他东西 很头疼,尝试了很多办法,还是不行,比如下面几种: 1:我是用的axios请求 ...

  7. vue axios 请求不带cookie问题

    场景: 有时后端需要处理验证前端带有的cookie, 然而axios请求默认不携带cookie,所以后端获取不到cookie导致验证失败. 解决方法(二者选其一就行): 1. 每次想携带cookie的 ...

  8. C# 发送带cookie的http请求_C#发送请求带cookie

    C# 发送带cookie的http请求_C#发送请求带cookie 一.Get请求带cookie 发送带cookie的请求,最好带上浏览器代理字符串: Mozilla/5.0 (Windows NT ...

  9. python打开浏览器后带cookie_Python爬虫使用浏览器的cookies:browsercookie

    很多用Python的人可能都写过网络爬虫,自动化获取网络数据确实是一件令人愉悦的事情,而Python很好的帮助我们达到这种愉悦.然而,爬虫经常要碰到各种登录.验证的阻挠,让人灰心丧气(网站:天天碰到各 ...

最新文章

  1. shell python -c_python, shell, C/C++ 从命令行获得参数
  2. c语言连接mysql(入门)_MySQL入门之C语言操作MySQL
  3. Java适配器的设计模式
  4. 在微型计算机控制系统中常用的报警方式中,微机控制技术复习题
  5. 缓存雪崩处理方法-双缓存思路
  6. 该来的终于来了:“第一起”基于 IPv6 的 DDoS 攻击
  7. 4G知识总结(LTE网络架构、关键技术、物理层、移动性管理)
  8. java 复制excel_利用Java实现复制Excel工作表功能
  9. 我对目前人工智能和机器学习的看法!
  10. 中国大学的现实是:大学层次越低,上课越多,学生读书越少
  11. 正在解析主机/打开网页慢,有可能是你的虚拟机网卡的问题
  12. H5托盘通知(带声音提醒)
  13. php twig中文手册,使用技巧 · Twig 中文文档 · 看云
  14. AKSHARE 上获取股票数据用于盘后分析以及自己的交易模型的测试。
  15. 你不知道的SQL语言数据库原理
  16. js获取当前月、上一月和下一月
  17. 《寄居者》 - 严歌苓
  18. 千锋好程序员与京东云大数据共建班,开班典礼在京东总部圆满举行
  19. 4.15早盘黄金行情平平,白银TD纸白银行情分析
  20. 5g速度测试软件,5G测速大师

热门文章

  1. BVS未带安全帽人脸识别抓拍系统
  2. 人员管理系统+报销系统
  3. AutoCAD二次开发——CAD数据库层次关系(笔记22.11.29)
  4. ElasticSearch报错:FORBIDDEN/12/index read-only / allow delete (api)无法写入
  5. Excel表格设置下拉选项并应用到整列及清除下拉项设置
  6. 怎么把Excel表格旋转90°显示
  7. Pycharm2018.2永久破解
  8. C语言(求解一元二次方程的根)
  9. 2023最新SSM计算机毕业设计选题大全(附源码+LW)之java基于java网上心理咨询系统50fxl
  10. ubuntu su 密码