java 死链检测_网站死链检测工具/网站地图生成工具

转载自 http://www.yshjava.cn/post/483.html

今天在谷歌站长工具上看到谷歌爬虫在笔者的个人博客网站上找到了3个无效的404链接，稍微有一点SEO常识的人都知道，404是搜索引擎爬虫非常讨厌的页面，会直接降低网站在搜索引擎中的权重和排名，这是广大站长都不愿意看到的事情。如果自己手动的去寻找这些404页面，或许很难：404存在于哪些页面中？出现一次还是多次？偶然还是必然？所以，为了让它这件事变得高效和容易，我们得使用工具！

网络上死链检测的工具多如牛毛，其中不乏非常经典、好用的，但是这些工具多大有一个特点，就是都是web(网页)版的，而且只支持单页面死链检测，不支持全站检测，也不支持图片检测，鉴于此，干脆自己抽了点时间，根据自己的需要做了一个。

工具界面做的比较粗糙，因为是自己用，也没有去细细美化，截图如下：

简单说一下它的使用：

在主窗口的起始地址栏中输入起始页面的链接地址(一般是网站首页)，然后点击后面的“开始扫描”按钮，弹出“扫描配置”对话框，在对话框中对扫描进行配置

图片过滤和下载链接过滤都采用后缀过滤，多个后缀以空格隔开

链接过滤采用正则表达式过滤，链接地址前必须要加http://

配置完成后，点击“确定”，开始根据配置信息进行死链检测扫描，扫描结果如下：

生成的网站地图文件

该工具采用深度优先遍历算法跟踪网页链接，单线程工作，因此不会给目标网站带来压力，因此工具的检测速度有所下降。

工具虽然简陋，但是确实也弥补了网络上那些广泛流传的死链检测工具所不具备的功能，比如图片链接检测、文件下载链接扫描、指定目录(或后缀或规则)的url定向扫描等功能，同时还捎带地提供了网站地图生成的功能，能够将检测得到的有效链接生成符合http://www.sitemaps.org/schemas/sitemap/0.9规范的网站地图文件。

如果您需要，请在这里下载Java版(运行需要本机安装Java运行时环境)：

java 死链检测_网站死链检测工具/网站地图生成工具相关推荐

Sitemap网站地图生成工具（适用于所有网站）
前言: Sitemap网站地图生成工具是为数不多免费的.无限制的生成sitemap的XML.HTML.TXT版本的工具之一. 现在市面上的大部分网站CMS都支持自动生成Sitemap网站地图,但是部分 ...
分享一个网站地图生成工具
为什么分享这个网站地图生成工具?因为除了懂开发的大牛们,还有很多想我们这样的普通SEO工作者,使用现成的工具更符合现实. 最近发现的这个网站地图生成工具生成的页面比较全面,没有做更多的限制,也许还在内 ...
推荐一个网站地图生成工具
开WEB视界sitemap网站地图生成工具(http://sitemap.webkk.net),按照页面说明,很方便的就生成了全站的网站地图. 生成地图之后,你需要做的是,向百度或者其他搜索引擎提交你 ...
https网站地图生成工具
众所周知,网站地图制作是SEO工作当中比不可少的一部分.在HTTPS成为主流趋势的今天,发现之前一直使用的网站地图制作工具抓取不了HTTPS网站. 接下来推荐一款HTTPS网站地图制作工具亲测可用的, ...
五金件视觉检测_五金配件视觉检测_五金冲压件视觉检测
五金配件是用五金制作成的机器零件或部件,以及一些小五金制品.它可以单独用途,也可以做协助用具.例如五金工具.五金零部件.日用五金.建筑五金以及安防用品等.小五金产品大都不是最终消费品.而是作为工业制造 ...
java 新浪短链接_java高仿新浪微博短链接地址生成工具ShortUrlGenerator.java | 学步园...
仿新浪微博短链接地址生成工具 ShortUrlGenerator.java String sLongUrl = "http://www.zuidaima.com/share/1550463 ...
java循环队列配对_循环队列链式队列的jJAVA实现
对节点的移除插入删除操作,一定要注意在表头和表尾边界进行处理的过程出队列时注意只有一个元素的情况,此时队尾和对头指针应该都为空,别忘了修改队尾指针. class CircleQueue { pri ...
java 正则提取邮箱_如何用正则表达式提取一个网站里面的所有邮箱地址？
展开全部用正则表达式提取一个网站里面的所有邮箱地址e68a8462616964757a686964616f31333337616565 import java.io.BufferedReader; ...
java zip 流压缩_关于zip：检测流是否用Java压缩的最佳方法
找出i java.io.InputStream包含压缩数据的最佳方法是什么? 这是HTTP请求/响应的一部分吗? 介绍由于所有答案都存在5年之久,因此我有责任写下来,这是怎么回事.我严重怀疑应该读取 ...
深度学习用于视频检测_视频如何用于检测您的个性？
深度学习用于视频检测视频是新的第一印象! (Videos are the New First Impressions!) Think about the approximate number of ...

java 死链检测_网站死链检测工具/网站地图生成工具

java 死链检测_网站死链检测工具/网站地图生成工具相关推荐

最新文章

热门文章