一些浏览器的爬虫很恶心  不仅仅收录不了,大量的爬虫还影响网站的速度  所以可以通过指定user_agent来试试
编辑nginx的配置文件 使用location
location / {
if ($http_user_agent ~*‘bingbot/2.0|MJ12bot/v1.4.2|Spider/3.0|YoudaoBot|Tomato|Gecko/20100315’)
{
return 403;
}
}
如果匹配了上面的那些user_agent 就是浏览器标识,我们直接给它403拒绝掉
~*号组合一起匹配是 不区分大小写

nginx禁止某些指定的浏览器标识来爬我们网站相关推荐

  1. 前端获取浏览器标识_浏览器缓存机制

    最近在项目中遇到了 IE浏览器因缓存问题未能成功向后端发送 GET类型请求 的bug,然后顺藤摸瓜顺便看了看缓存的知识,觉得有必要总结跟大家分享一下. 在前端开发中,性能一直都是被大家所重视的一点,然 ...

  2. Nginx 禁止某 IP 访问

    导语 总有一些不怀好意的人来访问我的网站,而且频率还很高,所以就用简单的方式禁止访问,就用 Nginx 来实现. 创建黑名单 在 /usr/local/nginx/conf 目录下创建 blocksi ...

  3. nginx启动时指定prefix(覆盖编译时的 --prefix)

    文章目录 nginx启动时指定prefix(覆盖编译时的 --prefix) nginx启动时指定prefix(覆盖编译时的 --prefix) -? 或者 -h:打印命令行参数帮助信息 -c fil ...

  4. 限制访问网站、过滤特定网址、禁止访问指定网站的方法

    限制访问网站.过滤特定网址.禁止访问指定网站的方法 此博文包含图片 (2017-12-19 16:36:25)转载▼ 许多公司出于管理员工上网行为的需要,经常限制电脑访问一些网站例如游戏网站.购物网站 ...

  5. 全网最新Nginx禁止国内IP地址访问网站

    全网最新Nginx禁止国内IP地址访问网站 文章目录 全网最新Nginx禁止国内IP地址访问网站 1.服务器安装依赖 2.创建文件地址并下载所需服务 3.安装libmaxminddb 4.解压并且修改 ...

  6. 教你如何处理Nginx禁止ip加端口访问的问题

    这篇文章主要介绍了Nginx禁止ip加端口访问的问题,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下 Nginx禁止IP加端口访问 使用iptables 限制 ...

  7. nginx禁止对写操作timeout时retry

    1) nginx禁止对写操作timeout时retry 以前遇到的一个case,业务那边说一笔请求从nginx端发送给后端tomcat了2次(落在两个不同的tomcat节点上). 后来发现是nginx ...

  8. [IE技巧] 如何禁止用户关闭IE浏览器

    在有些基于browser应用程序里面,  我们需要保证browser 一直开着才能使程序按正常流程运行. 以下是个小技巧可以禁止用户关闭IE 浏览器. 在注册表键 HKLM\Software\Poli ...

  9. Nginx 禁止猜测路径上传恶意代码

    Nginx 禁止猜测路径上传恶意代码   #需要nginx  server字段中添加include blockip.conf 文件路径. 然后将其脚本放到crond计划中 1 #!/usr/bin/b ...

最新文章

  1. 试用memcached高可用repcached
  2. carthage update --no-use-binaries --platform mac,ios
  3. 【LeetCode】169. Majority Element
  4. 当代的设计潮流是什么_12月,潮流咖的出行攻略!
  5. mysql版本 time类型
  6. iPhone 12不支持双卡5G?媒体实测结论终于让大家安心
  7. Linux内核深入理解中断和异常(2):初步中断处理-中断加载
  8. Javascript 中的非空判断 undefined,null, NaN的区别
  9. iOS字符串处理笔记(正则表达式、NSScanner扫描、CoreParse解析器)
  10. 秒懂C#通过Emit动态生成代码
  11. NET代码运行在服务器JS运行在客户端
  12. java使用io上传文件_文件传输基础——Java IO流
  13. java wsdl文件生成代码_wsdl文件生成java代码
  14. 51单片机流水灯画图打板焊元件历程
  15. html5自动调用js函数,从html文件中的外部js文件调用Javascript函数
  16. 2005年10月--至今 开发过的项目
  17. 支付系统就该这么设计(万能通用)
  18. 成为金融级数据库,腾讯TDSQL 的底气是什么?
  19. 华为路由器配置DHCP服务及给指定PC分配固定IP地址
  20. 中国象棋对弈系统java的程序包谁有?

热门文章

  1. 人工智能 识别医疗票据、医疗结算清单 OCR识别技术
  2. PyQt5+Python+Excel链家二手房信息爬取、可视化以及数据存取
  3. 谷歌黑搜索怎么收_谷歌搜索持久的反黑种族主义
  4. 离散数学实验2关联矩阵相邻矩阵
  5. Rust编程语言入门教程(一)-什么是Rust
  6. 【Unity连载】斗兽棋—棋类游戏开发演示(1)
  7. jupyter notebook ModuleNotFoundError: No module named ‘tensorflow‘---爬出坑
  8. 人间烟火气 最抚凡人心
  9. POI解析Word批注信息
  10. Python3 将汉语转换为汉语拼音