disallow: /api.php,dz论坛如何禁止搜索引擎抓取任何内容？

这其实不只是针对于discuz这个程序建的网站，针对所有的网站都有效。网站的根目录有一个robots.txt文件。这个就相当于一个协议。它告诉搜索引擎，你可以抓取我网站里的哪些内容。所以，想要禁止搜索引擎抓取网站内容，就得在这个文件里进行操作。

先看一下discuz默认的robots.txt内容：

User-agent: *

Disallow: /api/

Disallow: /data/

Disallow: /source/

Disallow: /install/

Disallow: /template/

Disallow: /config/

Disallow: /uc_client/

Disallow: /uc_server/

Disallow: /static/

Disallow: /admin.php

Disallow: /search.php

Disallow: /member.php

Disallow: /api.php

Disallow: /misc.php

Disallow: /connect.php

Disallow: /forum.php?mod=redirect*

Disallow: /forum.php?mod=post*

Disallow: /home.php?mod=spacecp*

Disallow: /userapp.php?mod=app&*

Disallow: /*?mod=misc*

Disallow: /*?mod=attachment*

Disallow: /*mobile=yes*

Disallow的意思就是不允许抓取。好了，我们最终把上面的代码改成下面内容：

User-agent: *

Disallow: /

这样就是网站根目录下的所有内容都不允许抓取。

disallow: /api.php,dz论坛如何禁止搜索引擎抓取任何内容？相关推荐

如何让搜索引擎抓取AJAX内容
2019独角兽企业重金招聘Python工程师标准>>> 越来越多的网站,开始采用"单页面结构"(Single-page application). 整个网站只有一 ...
搜索引擎只能抓取html文件,通过robots屏蔽搜索引擎抓取网站内容
robots协议屏蔽搜索引擎抓取 Robots协议(也称为爬虫协议.机器人协议等)的全称是"网络爬虫排除标准"(Robots Exclusion Protocol),网站通过Rob ...
搜索引擎是如何抓取网站内容的
编者按:站长朋友们,今后定期都将在这里跟大家分享一些有关搜索引擎工作原理及网站运营相关的内容,今天先简单介绍一下关于搜索引擎抓取系统中有关抓取系统基本框架.抓取中涉及的网络协议.抓取的基本过程三部分. ...
阻止搜索引擎抓取网站的工具_使用PHP将抓取的网站转变为搜索引擎
阻止搜索引擎抓取网站的工具 In the previous part of this tutorial, we used Diffbot to set up a crawljob which woul ...
各大网站屏蔽搜索引擎抓取分析
2019独角兽企业重金招聘Python工程师标准>>> 前面转载了一篇关于淘宝屏蔽百度的文章,但是那是其他人的看法,还是想发表一下自己的看法,当然由于本人对屏蔽爬虫内幕了解不是很多 ...
SEO优化篇 - 搜索引擎抓取href=#!锚点
. 由于我们在处理单页应用的时候页面是不刷新的,所以会导致我们的网页记录和内容很难被搜索引擎抓取到. 搜索引擎抓取页面首先要遵循http协议,可是#不是协议内的内容. 而实际上也是这样,我们没有见过搜 ...
百度VS淘宝（淘宝网正式向百度宣战：淘宝网将屏蔽百度的搜索引擎抓取）
昨天,淘宝网正式向百度宣战:淘宝网将屏蔽百度的搜索引擎抓取. 听到这个消息后我非常震惊,看来互联网这场电子商务大战正在拉开帷幕. 首先说淘宝 1.马云的决定首先说马云,马云采用屏蔽搜索引擎这招狠棋应 ...
scrapy 搜索关键字_解析搜索引擎抓取网站目标关键词原理
一个网站有几百甚至几千个关键词,怎么让搜索引擎知道网站的目标关键词是什么呢? 解析搜索引擎抓取网站目标关键词原理一.网站标题(Title),网站标题是搜索引擎最重视的部分,通常情况下,无论网站是否存 ...
html 禁止百度抓取,禁止百度收录方法是什么？
小编:我们都知道robots.txt文件中的协议是用来告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取的.如为了禁止百度收录网站的某些特地的页面,除robots.txt外,我们还可以用Meta robo ...

disallow: /api.php,dz论坛如何禁止搜索引擎抓取任何内容？

disallow: /api.php,dz论坛如何禁止搜索引擎抓取任何内容？相关推荐

最新文章

热门文章