put url带参数_Superlurl 一款开源关键词URL采集工具

superl-url是一款开源的，并且功能强大的关键词URL采集工具，可以根据关键词，对搜索引擎内容检索结果的网址内容进行采集。可自动从搜索引擎采集相关网站的真实地址与标题等信息，可保存为文件，自动去除重复URL。同时，也可以自定义忽略多条域名。

优势介绍

1.支持多搜索引擎，很方便添加集成。(已内置了百度，搜狗，360),结构模块化，很方便进行扩展，可以无限添加。

2.开源，跨平台，使用python开发；

3.做了兼容性优化，同时支持python2和python3；

4.支持自动过滤重复内容，支持过滤标题中存在指定关键词的内容，支持过滤域名；

5.保存方式同时支持本地txt和mysql数据库；

6.从搜索引擎采集到的地址，是真实网站地址，不是像百度快照那样的三方地址；

7.多进程同时采集。每个搜索引擎都单独一个进程；

8.可灵活的通过配置文件自定义要保存的结果格式。比如只输出带参数的原始真实URL，或者只输出域名，或者同时输出标题，搜索引擎名称。

9.可自定义每页采集时间间隔，防止被屏蔽；

使用说明

1.安装python2或者python3运行环境；

2.如果提示没有找到库，则需要安装依赖：

如果是python3，则：

pip install ConfigParser

pip install tldextract

如果是Python2，则：

pip install tldextract

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple configparser

文章来源及下载:

https://github.com/super-l/superl-url

你可能喜欢

Snort - 开源网络入侵检测工具

mysql综合利用工具

多功能Python键盘记录工具：Radium

put url带参数_Superlurl 一款开源关键词URL采集工具相关推荐

Superl-url：一款开源关键词URL采集工具
superl-url是一款开源的,并且功能强大的关键词URL采集工具,可以根据关键词,对搜索引擎内容检索结果的网址内容进行采集. 程序主要运用于安全渗透测试项目,以及批量评估各类CMS系统0DAY ...
put url带参数_避免自己写的 url 被diss！建议看看这篇RESTful API简明教程！
RESTful API 是每个程序员都应该了解并掌握的基本知识,我们在开发过程中设计 API 的时候也应该至少要满足 RESTful API 的最基本的要求(比如接口中尽量使用名词,使用 POST 请 ...
7 款开源 Java 反编译工具
7 款开源 Java 反编译工具今天我们要来分享一些关于Java的反编译工具,反编译听起来是一个非常高上大的技术词汇,通俗的说,反编译是一个对目标可执行程序进行逆向分析,从而得到原始代码的过程.尤其 ...
php动态添加查询,php动态添加url查询参数的方法，php动态url参数_PHP教程
php动态添加url查询参数的方法,php动态url参数本文实例讲述了php动态添加url查询参数的方法.分享给大家供大家参考.具体分析如下: 这段代码可以动态为url添加key-value查询参数 ...
页面url带参数_微信小程序云开发教程微信小程序的JS高级页面间数据传递
同学们大家好,我是小伊同学,上一节课我们讲解了全局数据的读写方法,那么在页面间同样需要数据交互,今天我们就来学习这部分内容. 在微信小程序中,我们常常需要将数据在页面之间进行传递,比如用户的身份信息, ...
Javascript JS 网页分享到QQ空间QQ，java实现qq分享，url带参数的方法
网页js实现qq分享创建一个jsp页面,html页面也行,下面是简单demo代码,直接复制到就能用 html把头 <%@ page language="java" cont ...
最强大脑！这 7 款开源思维导图工具真的很神奇
2019独角兽企业重金招聘Python工程师标准>>> 思维导图,除了帮助概括提炼.归纳总结.理清楚思维逻辑之外,还是一种非常有效的学习方式,能激发联想力,再衍生出更多的想法. 本文 ...
put url带参数_一道腾讯面试题：如何快速判断某 URL 是否在 20 亿的网址 URL 集合中？...
来源:http://rrd.me/ekN8q 何为布隆过滤器还是以上面的例子为例: 判断逻辑: 多次哈希: Guava的BloomFilter 创建BloomFilter 最终还是调用: 使用: 算 ...
uniapp通过url带参数传值
1.传参数如下 monthSelect: null,//定义url: 'drawerChild/drawerChild?data=' + encodeURIComponent(JSON.stringi ...

put url带参数_Superlurl 一款开源关键词URL采集工具

put url带参数_Superlurl 一款开源关键词URL采集工具相关推荐

最新文章

热门文章