Web死链扫描神器之LinkChecker

LinkChecker 其原理是利用机器人爬虫框架实现，通过多线程进行死链扫描，并进行结果反馈。

1. 版本要求

系统版本:Ubuntu 16.04

Python版本： 2.7.12

2. pip 安装

tar xf pip.tar.gz

./configure && make && make install

3. 依赖包问题

MySQL-python==1.2.5
requests==2.10.0
robotframework==3.0.2
robotframework-databaselibrary==1.0.1
robotframework-requests==0.4.5
robotframework-ride==2.0a1
wxPython==3.0.2.0
wxPython-common==3.0.2.0

以上依赖包均通过pip源进行安装完成

4.运行python ride.py 进行测试见图片

注意：需要sudo权限运行，否则失败

下一步，利用jenkins 实现web 死链定时扫描，将该机器作为slave节点执行job，本文不做叙述

Web死链扫描神器之LinkChecker相关推荐

利用shell脚本批量提交网站404死链给百度
网站运营人员对于死链这个概念一定不陌生,网站的一些数据删除或页面改版等都容易制造死链,影响用户体验不说,过多的死链还会影响到网站的整体权重或排名. 百度站长平台提供的死链提交工具,可将网站存在的死链( ...
维基百科和互联网档案馆合作解决死链问题
维基百科已度过了15年岁,在World Wide Web短短二十七年的历史中算得上是长寿了.许许多多的网站消失在了互联网的汪洋之中,它们仍然被维基百科记录着,但它们的链接已经不可用.为了解决数以百万计 ...
百度关键词抓取工具_百度网站关键词最蜘蛛快排 - 关于网站网站死链
原出处:最蜘蛛快排原文链接:http://seo.zuizhizhu.com 百度网站关键词最蜘蛛快排 seo.zuizhizhu.com 网站关键词快速排名优化,支持百度快速排名,搜狗快速排名,3 ...
没有通证和代币激励机制的一定是死链
原创: 张阿梅 100BLOCK 2018.6.20 微信社群:极热区块链研究所(该对话群拥有上百的项目方和众多资深投资人) 对话嘉宾:墨客区块链周沙.丁炫力.极热区欧鑫嘉宾介绍周沙,本名周沙,网 ...
APP自动化测试神器之Appium-Python环境部署及脚本实战
Appium is an open source test automation framework for use with native, hybrid and mobile web apps. ...
oracle aul 索引,ORACLE恢復神器之ODU/AUL/DUL
分享ORACLE數據庫恢復神器之ODU.DUL和AUL工具. ODU:ORACLE DATABASE UNLOADER DUL:DATA UNLOADER AUL:也稱MyDUL 關於三種工具說明: ...
Web目录全能扫描工具DirBuster
Web目录全能扫描工具DirBuster Kali Linux提供的目录扫描工具DirBuster支持全部的Web目录扫描方式.它既支持网页爬虫方式扫描,也支持基于字典暴力扫描,还支持纯暴力扫描.该工 ...
web目录文件扫描工具 dirmap 简介
知名的web目录文件扫描工具有很多,如:御剑1.5.DirBuster.Dirsearch.cansina. 其他开源的各种轮子,更是数不胜数. 这次我们不造轮子,我们需要造的是一辆车!open so ...
网络推广是做什么的教你在网站优化中正确处理死链的技巧！
网络推广是做什么的中网站在运行的过程中,难免会因为一些问题而导致网站出现死链,给用户带来极不好的体验,那么在网站的优化中,该如何处理死链的问题呢?下面网络推广是做什么的就带大家一起来了解一下. 1.检 ...

Web死链扫描神器之LinkChecker

Web死链扫描神器之LinkChecker相关推荐

最新文章

热门文章