死链对网站的影响、产生过程、解决办法汇总

大量死链对搜索引擎来讲，有什么影响?

　　1、几乎很多站都避免不了存在死链接，但死链率过高，会影响搜索引擎对网站的评分。

　　2、搜索引擎对每个网站每天抓取的频次是限额的，若网站存在大量死链，会浪费掉抓取配额并影响正常页面的抓取。

　　3、过多死链对网站用户来讲也是体验不好的表现。

　　百度站长工具中有一个抓取异常，那么这个工具里面的异常数据是如何产生的呢?

　　1、网站内部添加了错误的内部链接

　　编辑失误或者程序员大意让页面产生了不存在页面的URL。

　　2、原来正常页面因为程序或页面调整或改版无法打开

　　因为程序的一个改动，导致了某些正常页面无法打开。

　　3、网站短暂无法访问

　　因为服务器、空间或程序问题导致网站无法访问，抓取异常中会出现大量的500错误页面。

　　4、外部链接错误

　　用户或者站长在站外发布了错误URL，蜘蛛爬取后产生错误页面;别的网站复制或采集了你们含有错误链接的页面;有些垃圾网站自动生成的静态搜索结果页，如 www。8875。org/desc/3715714444.html 这个页面中出现的很多链接在html前面有“...”。

　　5、爬虫提取了不完整的URL

　　个别爬虫在提取页面URL的时候，只提取部分URL或者把正常的URL后面的文字或字符也提取进去了。

　　6、网站改版或管理员删除页面

　　网站改版过程中处理不当导致部分老页面无法访问,或者网站管理员删除被黑、广告、过时、被灌水页面。

　　出现了上述情况，我们该如何去解决

　　1、修复错误页面抓取异常中的很多错误页面是因为程序员大意或者我们程序问题导致的，本应该是正常页面，因为失误导致无法访问，对于此类页面，第一时间进行修复。

　　2、提交死链接但必定很多错误页面是本不应该存在的，那么我们要想办法获取此类页面URL，获取方式主要有三种：

　　（1）百度站长工具--抓取异常--找不到的页面--复制数据 [修正：此处死链不需我们提交了，百度站长工具自动提交死链];

　　（2）管理员在删除页面的时候手动或者程序自动保存被删页面URL;

　　（3）使用相关爬虫软件，爬取整站获取死链，如Xenu 。

　　然后将上述数据合并并删除重复项(excel表格中能实现删重，wps表格更容易操作)，然后再复制所有URL通过HTTP状态批量查询工具查询下[这个不错pl.soshoulu.com/webspeed.aspx]，剔除掉非404返回码页面。

　　然后整理上面处理好的数据粘贴到网站根目录中的一个文档中，再把文档地址提交到百度站长工具--网页抓取--死链提交--添加新数据--填写死链文件地址。

　　3、在robots中屏蔽抓取

　　若大量的错误URL存在一定的规律，可以在robots文件中写一个规则禁止蜘蛛程序抓取此类链接，但前提一定要照顾好正常页面，避免屏蔽规则误伤正常页面，比如你的网站全部是静态URL，那么如果错误链接中含有?的话，规则写成Disallow:/*?*，如果错误链接中有/id...html 的话，规则写成Disallow:/*...* 。

　　robots文件添加完规则后，一定要去百度站长的 robots工具进行校验，将指定的错误页面放进去，看看是否封禁成功，再把正常的页面放进去看看是否被误封。

死链对网站的影响、产生过程、解决办法汇总相关推荐

seo知否：死链对于网站的利与弊【对网站的特殊影响】...
导读:seo知否:死链从SEO角度来看对网站有何影响呢?在学习SEO的时分我们会接触链接这个东西,链接根本分为内链.外链(友谊链接也被称为外链).反链.死链四大类.死链从SEO角度来看对网站有何影响呢 ...
死链对网站优化排名有哪些不利作用？
众所周知,网站死链是指网站的URL地址发生了改变,致使目前无法访问的地址,即所谓的死链.一般网站在运行中难免会因为改版等因素而导致网站出现死链,因此优化人员一定要定期进行清理死链,不然会给网站带来不利 ...
放假期间网站被挂马的解决办法
放假期间网站被挂马的解决办法青岛峰会期间本来想给自己放几天假的,因为网站的挂马给泡汤了,打开网站首页,使用浏览器的源代码功能,发现自己网站的首页多了很多木马代码,于是我连接FTP查看网站首页的代码中 ...
常见的网站登录验证码种类及其解决办法
在爬虫开发时,大家经常会遇到验证码识别,在网站中加入验证码的目的是加强用户安全性和提高反爬虫机制,有效防止对某一特定注册用户用特定程序暴力破解的方式不断地进行登录尝试.在此为大家介绍一下验证码的种类. ...
myeclipse 9.0正式版，提供个可下载的网址（附激活方法+汉化包），MyEclipse官方网站打不开（解决办法）
MyEclipse 9.0 for Windows 下载地址: http://downloads.myeclipseide.com/downloads/products/eworkbench/heli ...
网站标题被修改的解决办法
国庆假日期间我们Sine安全接到众多网站站长求助网站标题被改导致在百度搜索中百度安全中心提醒被拦截,导致网站正常用户无法浏览网站被跳转到一些菠菜du博网站,而且很明显的一个特征就是在百度中搜索关键词的 ...
css opacity影响子元素解决办法
css opacity影响子元素解决办法设置父元素opacity:0.3,子元素不设置opacity,子元素也会有0.3的透明度.设置子元素opacity:1,子元素的opacity:1也是在父元素 ...
PHP网站常见“一句话木马”攻击解决办法
如何破解PHP网站"一句话木马" PHP网站常见"一句话木马"攻击解决办法近期,公司发布的PHP网站挂域名对外发布一段时间,发现经常遭到"一句话木马 ...
应对恶意网站 IE常见的故障解决办法
如果问这样一个问题:一般大家在使用电脑时最频繁打开的程序是什么?你可能会回答是QQ,FlashGet或者Word.其实经过统计,大家最经常使用的还是 Internet Explorer,也就是微软的浏 ...
java ee ide 假死_Eclipse编辑jsp、js文件时卡死现象的解决办法汇总
使用Eclipse编辑jsp.js文件时,经常出现卡死现象,在网上百度了N次,经过N次优化调整后,卡死现象逐步好转,具体那个方法起到作用,不太好讲.将所有用过的方法罗列如下: 1.取消验证 windo ...

死链对网站的影响、产生过程、解决办法汇总

死链对网站的影响、产生过程、解决办法汇总相关推荐

最新文章

热门文章