php robots.txt,robots.txt的写法

robots.txt的写法是做seo的人员必须知道的(什么是robots.txt)，但该如何写，禁止哪些、允许哪些，这就要我们自己设定了。

百度蜘蛛是一机器，它只认识数字、字母和汉字，而其中robots.txt就是最重要也是最开始和百度“对话”的内容。

当我们的网站在没有建好的时候，我们不希望百度来抓取我们的网站，往往有人会禁止百度来抓取。但是，这种做法是非常不好的，这样会让百度蜘蛛很难再来到你的网站了。所以，我们必须现在本地搭建网站，等一切都搞好以后，再去买域名、空间，要不，一个网站的反复修改，会对你的网站有一定的不利影响。

我们的网站起初的robots.txt写法如下：

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

User-agent: * 的意思是，允许所以引擎抓取。

而Disallow: /wp-admin/和Disallow: /wp-includes/，则是禁止百度抓取我们的隐私，包括用户密码、数据库等。这样的写法既保护了我们的隐私，也让百度蜘蛛的抓取最大化。

如果，你想禁止百度蜘蛛抓取某一个页面，比如123.html，那就加一句代码“Disallow: /123.html/”即可。

robots.txt写好后，只需要上传到网站的根目录下即可。

php robots.txt,robots.txt的写法相关推荐

Prn.txt Con.txt（文件命名的问题）
Prn.txt Con.txt较特殊,一般的文本操作时,不要用这些文件名. Prn表示打印端口,con表示串口.
用两个文件a.txt;b.txt.使用linux命令，复制，a.txt文档倒数第十行的记录to b.txt文档
用两个文件a.txt;b.txt.使用linux命令,复制,a.txt文档倒数第十行的记录to b.txt文档 tail -n 10 a.txt | head -n 1 >> b.txt
java 从txt写入txt
前言纠结两天了,本来是书上的一个例题,我照着书打打,说系统找不到文件,然后我又去创造文件,然后就行了,但是当我想去读取我的一篇pdf文档的时候,读出来的是乱七八糟的东西,乱码,于是我就去调编码,UF ...
PASCAL VOC2012类型的数据集生成train.txt\val.txt等文件
PASCAL VOC 2012 图像分割经常要用的到这个数据集,我是自己做的数据集,但也仿照了PASCAL VOC2012的格式,在数据中,需要把所有图片放在一个文件夹中,mask放在另一个文件夹中, ...
有两个磁盘文件 textl.txt text2.txt ，各存放一行英文字母，要求把这两个文件中的信息合并（按字母顺序排列），然后输出到个新文件 text3.txt
import fileinput a = [] with fileinput.input(files=('text1.txt','text2.txt')) as fp:for line in fp:a ...
win7遭攻击了，出现cao.txt naicha.txt
这两天win7又被病毒入侵了,每隔几分钟总是提示查杀到病毒.还会出现多个用户我把360卸载了,装了金山,还解决不了我在金山论坛里发帖求助,有个网友帮我了,振伟.他花了好长时间终于帮我弄好了.是143 ...
shell，给你一个目录，里面有很多文件，把他们改成 1.txt 2.txt 3.txt ....以此类推、盗墓者是个丑奴儿
//盗墓者是个丑奴儿,原 //博主个人网站 :https://daomu.kaige123.com //打完一波小广告,进入正题 #!/bin/sh #1.txt,2.txt,3.txt....申请修 ...
VOC数据集将XML转为对应的train.txt,trainval.txt,val.txt,test.txt
在我自己的实验中,/home/xiaobumi/SSD-Tensorflow-master/VOC2007/Annotations/下为所有图片对应的xml文件(包含训练和检测),通过下方代码可以成功 ...
C# 学习 txt -- excel txt -- json
在Unity3D 中使用,需要配置环境,\Assets\Plugins Txt --> Excel using System.Collections; using System.Colle ...

php robots.txt,robots.txt的写法

php robots.txt,robots.txt的写法相关推荐

最新文章

热门文章