只要是能让浏览器访问的,就没有不能采集的。但是可以通过一定的手段让采集变得非常麻烦,进而在大量数据的情况下延迟采集完成时间,加大采集难度。

1、网站内容采用多套模板,随机模板,给采集程序设置过高的门槛;但这招对整站采集器不起作用。

2、网站内容里随机插入本网站的版权,如域名,网站名称,网站主人,而这些标识可以分开来写,或中间加短横-,或换成全角字符,防止被自动过滤(一起 过 www.yiqig.cn)。

3、给我们网站里的图片打上自己的logo标识,比如在图片的右下角打上网站的名称 域名;采集者把我们的网站的图片采集过去,不可能一张一张图片都ps;所以,他们采集我们的网站内容,等于变相地帮助我们宣传网站。

4、这招比较损(绝对够坏!)。如果对方采集的程序几乎和你的网站同步,那么你可以采用这招了。先在我们的网站里添加几篇标题以及文章开头结尾都很正规的内容,而在文章内容中间偷偷插入非法关键字,有多非法就要多非法,多插入几个,隐蔽工作做的也要到位,然后在我们的网站robots.txt文件里禁止搜索引擎抓取这几篇文章。等对方采集了这几篇文章后,我们立即删除自己网站上的这些文章,然后向采集者服务器当地网警举报。

linux判断网站被采集,网站被采集的几个处理方法(非技术)相关推荐

  1. ubuntu 压缩率最高的软件_不用写采集规则也可以轻松采集网站文章,揭秘一款明泽文章采集软件的工作原理...

    一直以来,大家都在用各种各样的采集器或网站自带的采集功能,如织梦采集侠.火车头采集器.八爪鱼采集器等,这些采集软件都有一个共同的特点,就是要编写采集规则才能采集到文章,这个技术性的问题,对于新手来说, ...

  2. 采集网站特殊文件Meta信息

    采集网站特殊文件Meta信息 元(Meta)信息是描述文件的属性的特殊信息,如文件的所有者.联系方式.机构名.邮件地址等信息.而网站中常常会有共享的文档文件,如PDF.Excel.Word.这些文件均 ...

  3. 火车头作者谈网站的采集与防采集

    一.谈火车头采集器的由来 火车头:我们的这个采集器最早是从05年底开始有这个想法的,当时也是和大家一样,个人站长,添加管理维护网站很辛苦,一篇篇修改复制发布最开始也是接触dede 然后发现他有个外部的 ...

  4. laravel 集成采集_新版2020 Laravel采集网站程序

    环境:php5.6 数据库:mysql5.5 集成环境软件:护卫神apache 这套程序是520.ag 的网站 很早的程序了是去年还是前年 应该是前年 免费采集网站  但是经常挂 其实他网站挂和服务器 ...

  5. 小说网站程序源码 自动采集 SEO优化

    介绍: 安装宝塔面板一键安装环境 必装环境:nginx(apache.iis也可),mysql,php5.6.必须安装扩展: ZendGuardLoader 脚本解密 ionCube 脚本解密 fil ...

  6. php中使用curl采集小说网,PHP:通过curl实现采集网站内容

    关于curl,请各位同学自行百度,我直接上案例. 首先开启你的curl拓展,在php.ini文件把curl拓展开启,即取消extension=php_curl.dll的分号. eg:利用curl采集网 ...

  7. 分享几个影视采集网站

    文章目录[隐藏] 前言 卧龙资源网 ok 资源网 最大资源网 135 资源网 123 资源网 前言 大概在 2018 年左右大批影视站崛起,个人影视站长越来越多,影视 cms 也如雨后春笋似的,其中以 ...

  8. 汽车云智能采集服务 八爪鱼采集器在汽车行业网站的应用

    大数据时代来临,各行业各企业都在潜移默化的发生着变化,或许这变化还很微小,微小到很多企业认为大数据与自身无关,甚至到有部分企业仅仅认为大数据是大公司大平台的事情.笔者认为大数据不仅仅只是某些公司的事情 ...

  9. 不用代码免费采集网站内容_看一遍就能上手的火车头采集图文全流程教程

    火车采集器(LocoySpider) 是一个供各大主流文章系统,论坛系统等使用的多线程内容采集,支持采集其他网站文章.下载下本地,统一上传到指定文件夹. 火车头采集规则是什么,怎么样设置火车头采集规则 ...

最新文章

  1. 【Qt】Qt再学习(二):Bars Example(Q3DBars)
  2. SAP PM技术对象
  3. VIM中空格和TAB的替换 [转]
  4. Ubuntu下Qt配置Opencv
  5. 了解HAProxy原理及参数
  6. android 集成同一interface不同泛型_【Java视频教程】day30-泛型??
  7. wxpython入门_wxpython笔记:Wxpython入门
  8. 微服务组件记事本:Skywalking执行效果 · 多图篇
  9. 刚刚有水了一道,用递归实现进制转换
  10. oracler日期函数相差六个月_oracle中计算两个日期的相差天数、月数、年数、小时数、分钟数、秒数等...
  11. python学习链接
  12. oracle merge into 优化,ORACLE 10g 的 merge into用法
  13. 用session做权限控制
  14. Java中删除文件或文件夹的几种方法
  15. Games 图形学 L2线性代数
  16. selenium 下载
  17. 更改putty默认配色方案
  18. 研究生研一学习机器学习ML、深度学习DL的规划
  19. YARN队列优先级分配策略
  20. 记在创口贴上的超实用IDEA Eclipse快捷方式

热门文章

  1. OpenShift ocp packages
  2. Linux_Kernel_Function_Tracing_hooking.jpg
  3. 【转】POSIX 是什么?让我们听听 Richard Stallman 的诠释 | Linux 中国
  4. 如何用libpng输出一个编辑后的png图片?
  5. java 和mysql 时间_java和mysql之间的时间日期类型传递
  6. 用户需求说明书_「软件项目管理入门」(21) 需求调研和需求分析怎么做?
  7. Python OOP 项目实践:从农药到吃鸡
  8. Python组合数据类型:容器类型转换,list←→tuple←→set
  9. python 编程效率_五个Python编程Tips,帮你提高编码效率
  10. VUE的导入(HelloWord)