站长们都会，但是都会写错的robots！

午休前分享一下robots吧！
相信很多站长对robots都不会陌生了吧？！
但是还是有些人会写错！这真是丢尽了站长的脸了，还是会写错的，留个言，我们会对你进行“判死缓”的，哈哈！~
不管怎么说，有时候错误往往都会出现在积极两个字上面，站长何必自己去一字一字的写robots呢？！这多浪费时间呀！直接copy别人网站上面不就完了么，对不？简单省事。。。有时候积极也未必是好事，万一写错了就闹笑话了。。。
好吧！你说我就是要自己写，不想看别人的，这是认真负责，就像小学生考试的时候，老师说了，考试不要作弊，不要互相抄袭。。。Duang！~脑袋炸了，所以当答案就在面前的时候，尽然失去了抄的能力！杯具呀。
好了，不调侃了，认真写好robots。
首先robots必须声明针对的蜘蛛
"User-Agent:"
这一行就是针对这一声明的，
"User-agent: Baiduspider"
很明显这就是针对百度蜘蛛的声明了

第二个要了解的就是“允许”和“不允许”
代码是“Allow:”和“Disallow:”，后面加上你想要“允许”和“不允许”抓取的栏目或者网址
这里在介绍一个通配符“*”，怎么用呢！看看
Disallow: /*.css
Disallow: /*.js
Disallow: /*.aspx
这里就是禁止抓取所有的css样式和js样式，还有我们的动态页

第三个你可以在最后加上自己的sitemap地址，还是比较有用的，本人测试过。

第四点呐最重要的一点，就是空格！空格！！空格！！！
很多人在自己写robots的时候都会忘记的就空格了
User-Agent:（英文空格）*
Disallow:（英文空格）/*.css

站长们都会，但是都会写错的robots！相关推荐

R语言rename重命名dataframe的列名实战:rename重命名dataframe的列名（写错的列名不会被重命名）
R语言rename重命名dataframe的列名实战:rename重命名dataframe的列名(写错的列名不会被重命名) 目录
git 怎么拉去分支代码_Git使用技巧1——代码写错分支了怎么办？
工欲善其事,必先利其器.前言Git的本质git是一个版本控制工具,一切以版本控制为中心,版本即每一次commit,其实分支是指向commit的,HEAD也是指向某一次提交的,HEAD其实指向的就是当前 ...
feign整合sential_Sentinel 和 Feign 集成时，方法名称写错
对,我目前也是这样解决的.thanks. 半缘忘忧 jens.wu@foxmail.com exgwbvdtcfqpbgce ------------------ 原始邮件 ------------ ...
常见笔顺错误的字_常用汉字中易写错笔顺的字有哪些？
不管是没学过书法的朋友们,还是书法爱好者们,都应该需要知道一些常用字的正确书写顺序.今天就谈一下汉字中易写错笔顺的一些字愿与朋友们共同学习. 第一个:"必"字.见过不少朋友写这个字 ...
hbase shell写错退格
楔子 bashe shell写错命令处理处理连续两个单引号即可,分别输入命令写错 ctrl+Backspace 或者 delete
html写静态页面容易写错总结
html写静态页面容易写错总结写静态页面的注意点,避免页面崩溃 1.整个页面在写之前首先应该先把大的框架搭出来,在去写里面小的细节.保证大的框架没有问题,里面有问题,大不了删了重写.(给大的框架加上 ...
常见笔顺错误的字_汉字笔顺已列入中考范围，这些常见字笔顺，常被写错，自查一下吧...
平时写字,大家都有自己的写法习惯,先写哪一笔后写哪一笔,每个人都不太一样.有些字是我们十几年几十年一直写错的.而汉语是讲究笔顺的,尤其是独体字或者一些偏旁部首,都有自己的写法顺序,写错了,虽然对成人没 ...
中国人最容易写错的十个常见字
我们杂志做过一次读者调查,发现以下十个很常见的字,我们读者.或者说我们中国人最容易写错.不信,你先不要看答案,按照所给的拼音填汉字: 1.食不( )guǒ腹 2.一( )tān血 3.不能自yǐ( ) ...
python替换把写错的中文符号都替换成英文方法
python替换把写错的中文符号都替换成英文方法利用函数: def str_replace(self,data):""" 把写错的中文符号都替换成英文 "&q ...

站长们都会，但是都会写错的robots！

站长们都会，但是都会写错的robots！相关推荐

最新文章

热门文章