错误的robots文件设置对SEO的影响
对于一个新站来说,搜索引擎爬虫来抓你的网站,他们就跟大爷一样,要好吃好喝的供着,你不能让别人自己端茶倒水,把别人累个半死,你说这样他回去会跟他主子(搜索引擎)说什么好话么?
那怎么让他们吃好喝好呢?其实也简单,就是让他们少做点,我们多做点,对于一个网站,那就是把目录结构尽量扁平话,但是要掌握好一个度,凡事过了就物极必反,蜘蛛来你网站,你肯定要想办法第一时间把最好的文章,最想排名的关键词让它带走,对于站长来说唯一能和蜘蛛交流的办法,就是robots.txt
文件了,不知道这个东西?那可以看看这篇文章先《robots.txt文件介绍》
搜索引擎无用的网页
因为SEO小也这个站是使用WordPress搭建的,WordPress默认使用的是一个虚拟的robots.txt文件,内容比较简单,没有屏蔽feed页面
,这个页面对搜索引擎来说没什么作用,谷歌也基本不收录
所以把这些文件排除,让搜索引擎蜘蛛只抓取那些对于他们有用的文件,因为蜘蛛来抓取一个网站是有时间限制的,如果把宝贵的时间花在这些没用的内容上,对网站优化来说就太浪费了。
错误的robots.txt规则
因为图省事,我就去网上找了一段robots.txt适用于WordPress的规则,当时也没多想,只直接写入到文件里面,但是没过两天,Google Search Console既然有错误提示?
说我移动设备兼容有问题?不可能啊,我前一段时间刚花了一天时间做了响应式布局的?难道我老了不中用了?响应式写错了?带着这么多疑问,我看了错误提示:
Googlebot blocked by robots.txt
原来我上次的骚操作,把wp-content
内部的资源文件屏蔽了,下面是我修改以后完整的robots.txt文件内容,可以作为参考:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /attachment/
Allow:/wp-content/uploads/
Allow:/wp-content/themes/seozen2021/
Allow:/wp-content/plugins/
Sitemap:https://www.seozen.top/sitemap.xml
上面这些规则简单的介绍下:
1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/
用于告诉搜索引擎不要抓取后台程序文件页面。
2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*
禁止搜索引擎抓取评论分页等相关链接。
3、Disallow: /category/*/page/和Disallow: /tag/*/page/
禁止搜索引擎抓取收录分类和标签的分页。
4、Disallow: /*/trackback
禁止搜索引擎抓取收录trackback等垃圾信息
5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed
禁止搜索引擎抓取收录feed链接,feed只用于订阅本站,与搜索引擎无关。
6、Disallow: /?s=*和Disallow: /*/?s=*\
禁止搜索引擎抓取站内搜索结果
7、Disallow: /attachment/
禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。
8、Allow: /wp-content/uploads/
允许搜索引擎抓取资源文件,这个很重要,可以用来判断移动设备兼容性
因为这个操作,导致谷歌对SEO小也的收录不升还降了一点,我重新配置了robots.txt文件,观察一下过几天的情况再看看。
错误的robots文件设置对SEO的影响相关推荐
- 404错误的处理方式及对SEO的影响(更新)
404错误的处理方式及对SEO的影响(更新) <script type="text/javascript"> </script> <script sr ...
- 文件设置索引_什么样的网站结构备受搜索引擎喜爱?
网站在优化中,对于收录问题也非常重视,但很多时候,网站各方面都做的很好但就是蜘蛛不抓取,这个时候就要考虑是网站结构问题了,导致网站页面无法被正常抓取.那么怎样才能提升搜索引擎的抓取呢?什么样的结构更受 ...
- 织梦根目录感染abc.php,织梦SEO优化:织梦dedecms根目录下robots.txt文件设置详解! - 张俊SEO...
对于dedecms这个建站程序,我想大多数站长都曾经用过,他功能之强大,几乎能秒杀一切内容管理系统,而且所有页面都能生成静态的html文件,对于SEO优化也是相当有优势的,说道SEO优势,就不得不提到 ...
- yoast seo设置中文_如何通过Yoast安装和设置WordPress SEO插件
yoast seo设置中文 Do you want to properly install and setup Yoast SEO plugin in WordPress? 您是否要在WordPres ...
- 【Android 内存优化】Android 工程中使用 libjpeg-turbo 压缩图片 ( 初始化压缩对象 | 打开文件 | 设置压缩参数 | 写入压缩图像数据 | 完成压缩 | 释放资源 )
文章目录 一.使用 libjpeg-turbo 压缩图片流程 二.初始化 JPEG 压缩对象 三.打开文件 四.设置压缩参数 五.开始压缩 六.循环写入压缩数据 七.完成图片压缩及收尾 八.libjp ...
- android r文件错误,Android R文件丢失异常原因汇总
Console报错:R.java was modified manually! Reverting to generated version! 引言: R文件丢失异常在java开发中是个比较常见的异常 ...
- bat文件设置dns服务器,.bat文件设置IP、DNS
这几天遇到个烦心事,每次开机之后都要去手动去设置一下IP地址,一大串的数字还是有点麻烦,于是就想写个批处理文件设置IP 注意:在DOS下设置IP时需要管理员权限运行 1.查看机子设置IP需要用到的名字 ...
- html文件设置断点调试,断点调试
断点调试 使用 ES2015+ 特性来开发 Node.js 项目可以带来巨大的便利,但同时由于有些特性现在还不支持,需要借助 Babel 编译,运行的代码实际上是编译后的代码,这样给调试带来很大的麻烦 ...
- ADODB.Stream 错误 '800a0bbc' 写入文件失败
重装更改目录为e盘后,上传文件出现问题.解决方法: 调用adodb.stream的savetofile方法时发生错误, ADODB.Stream 错误 800a0bbc 写入文件失败. 原因可能是: ...
- ae渲染出现错误是什么问题_After Effects错误:写入文件.....时发生渲染错误.输出模块失败.文件可能已损坏。(-1610153464)...
我来回答一下,你在电脑里安装了其他下载的aex文件格式的插件,你只要把你这些插件删除掉,问题就可以解决,(安装插件不正确,或者有相同的插件也出现提示框)其实,这个提示不重要,你正常开启AE以后,正常使 ...
最新文章
- 中科院等发布《2017研究前沿》 中国25个前沿表现卓越 居全球第二
- Noip前的大抱佛脚----字符串
- 031_jQuery Ajax的post方法
- 维护100亿个URL
- Python爬虫! 单爬,批量爬,这都不是事!
- mnist手写数字识别python_Python tensorflow实现mnist手写数字识别示例【非卷积与卷积实现】...
- php reader oleread,请问用phpExcelReader方式,excel文件名字可以是中文吗?
- ios transporter 缓存_鸿蒙和安卓都是开源,为什么iOS系统却可以获得出色的口碑?...
- 人物角色群体攻击判定四(三角区域判断)
- mysql编译参数详解_教你MySQL数据库的编译安装以及命令详解(5.7版本)
- 那些适用于跨境电商的ERP系统
- 计算机操作系统出现死锁的原因
- 正确设置路由器时间和时区
- 薄透镜焦距的计算公式
- python提取txt数据到excel
- iOS-利用粒子发射器(CAEmitterLayer) 制作发射动画
- 批处理命令html文件合并,cmd命令行无损合并批处理TS视频文件
- 高性价比WIFI图传方案快速入门教程
- 聊聊线性代数(15)SVD的应用--3
- Linux安装教程以及开发板预学习