2019独角兽企业重金招聘Python工程师标准>>>

访问控制4/5

访问控制4

根据user_agent限制访问(可以拒绝网络爬虫爬走网站内容)

比如我想让谁访问我的网站,我就告诉他域名,如果不告诉别人域名,就说明我不想让他知道我的站点,这需要禁止搜索引擎在网络上爬取站点内容。可以通过user_agent来限制。

  1. 编辑虚拟主机文件

     [root[@localhost](https://my.oschina.net/u/570656) ~]# vim /usr/local/nginx/conf/vhost/test.com.conf
    
  2. 添加如下内容

     if ($http_user_agent ~* 'Spider/3.0|baidu|YoudaoBot|Tomato'){return 403;}
    
  3. 测试并重新加载配置文件 ..-t ...-s reload

  4. 使用curl测试,curl -A 可以模拟user_agent,发现返回的代码是403,表示实验成功。

     [root[@localhost](https://my.oschina.net/u/570656) ~]# curl -A "www.baidu.com" -x127.0.0.1:80 test.com -IHTTP/1.1 403 ForbiddenServer: nginx/1.15.3Date: Tue, 04 Sep 2018 17:57:37 GMTContent-Type: text/htmlContent-Length: 169Connection: keep-alive

访问控制5 限制uri

什么是URI?参考 https://baike.baidu.com/item/URI/2901761?fr=aladdin

  1. 在上面这个网址当中,baike.baidu.com是域名;/item/URI/2901761是uri ;?后面是参数。
  2. 限制request_uri 就是限制uri和参数中包含指定字符的访问。
if ($request_uri ~ (abc|123))
{return 404;
}

curl 的用法

curl有很多使用方法,可参考: https://www.cnblogs.com/duhuo/p/5695256.html

转载于:https://my.oschina.net/u/4080783/blog/3015246

4.46-47访问控制4/5相关推荐

  1. 【AcWing19】【LeetCode】DFS - 46/47/39/77/78/216/17/131/93/90/491

    文章目录 代码随想录在B站的视频讲得比AcWing好 模板题1:排列数字 模板题2:n皇后 方法一 方法二 LeetCode 46. 全排列 LeetCode 47. 全排列 II (重复元素) Le ...

  2. 46寸拼接屏对应的html尺寸,〖液晶拼接屏尺寸大全〗三星 LG BOE:40 42 46 47 49 55寸拼接屏尺寸...

    目前市场上,工业A级拼接屏面板有三星40寸.46寸.55寸:LG 42寸.47寸.49寸.55寸:京东方55寸拼接屏. 三星40寸22mm拼缝拼接屏尺寸:911.7 x 524.2(mm): 三星46 ...

  3. CTFshow web42 43 44 45 46 47

    web42 代码分析: if(isset($_GET['c'])){$c=$_GET['c'];system($c." >/dev/null 2>&1"); & ...

  4. haproxy访问控制与动静分离

    acl 语法: 1 acl  <acl_name>  <criterion> [flags] [operator] <value> acl_name:自定义的acl ...

  5. WCF技术实现基于角色的访问控制

    第一次写,小紧张! 即将毕业了,现在将我毕业设计中用到的小的编程技术以及自己的一些理解分享出来,希望可以做点小贡献. 首先要感谢网上各路大神无私的分享,没有你们,就没有我的收获. 在大四之前,对于编程 ...

  6. 《从零开始学Swift》学习笔记(Day 47)——final关键字

    在类的定义中使用final关键字声明类.属性.方法和下标.final声明的类不能被继承,final声明的属性.方法和下标不能被重写. 下面看一个示例: 1 2 3 4 5 6 7 8 9 10 11 ...

  7. dubbo接口访问控制

    微服务背景下,一个web应用都可能不再service依赖,而是通过RPC调用远端服务器上的服务.这些服务里,就包括了一些不能轻易暴露的后台功能接口.暴露出去的dubbo接口注册到某一个zk上后,该du ...

  8. Kaggle常用函数总结 原创 2017年07月03日 21:47:34 标签: kaggle 493 kaggle比赛也参加了好几次,在这里就把自己在做比赛中用到的函数汇总到这,方便自己以后查阅

    Kaggle常用函数总结 原创 2017年07月03日 21:47:34 标签: kaggle / 493 编辑 删除 kaggle比赛也参加了好几次,在这里就把自己在做比赛中用到的函数汇总到这,方便 ...

  9. 树梅派应用47:用树莓派给智能手机发送推送通知

    本项目说明了如何从树莓派发送推送通知给iOS和Android设备,只需要用到一个免费的推送app即可.这里的主要思想就是利用一个电磁感应门来触发推送信息的事件.当电磁门打开时,树莓派就发送消息.在这个 ...

  10. 第47章 QR-Decoder-OV5640二维码识别—零死角玩转STM32-F429系列

    第47章     QR-Decoder-OV5640二维码识别 全套200集视频教程和1000页PDF教程请到秉火论坛下载:www.firebbs.cn 野火视频教程优酷观看网址:http://i.y ...

最新文章

  1. Android Studio编译NDK工程时,报ndk-build.cmd'' finished with non-zero exit value 2错误
  2. mybatis-generator自动生成mapper
  3. Oracle学习操作(6)函数与存储过程
  4. linux下开发问题汇总
  5. 百度编辑器回显js报错Uncaught SyntaxError: Invalid or unexpected token
  6. linux mint 8812ac网卡,kali虚拟机连接无线网卡comfast cf-812AC(Realtek 8812BU芯片)(不支持wlan0mon)...
  7. linux窗口死,Linux系统入门学习:Linux 上 Wireshark 界面僵死解决
  8. “知识库系统”的一些思考
  9. 更加简便的使用VSS
  10. Tomcat——配置Tomcat的服务端口(默认端口8080)
  11. 《C#多线程编程实战》读书笔记
  12. CC00382.CloudKubernetes——|KuberNetesCI/CD.V20|——|Jenkins.v08|kubeconfig多集群配置.v02|
  13. 《中国垒球》:棍网球委员会·垒球联盟
  14. NO2/*学习记录*/--模仿百度首页(纯HTML+css)
  15. Python写违章扣分程序
  16. 最近Oracle Cloud甲骨文上线了免费云套餐.
  17. 烤仔建工首支元宇宙Vlog上线!
  18. 计算线段与平面的交点
  19. 线上直播丨国际人工智能会议AAAI 2021论文北京预讲会,33场报告+31个Poster等你来...
  20. 浅谈对Python的理解和优缺点

热门文章

  1. python爬虫大作业任务书_爬虫大作业
  2. 【战神引擎】设置GM管理员账号
  3. 轻量而敏捷的工业组态软件UI设计工具-ConPipe Studio 2022
  4. matlab/simulink鼠标滚动设置成上下移动而不是缩放
  5. 全国人大财经委加快数据要素市场建设专项座谈会在京召开,聚合数据左磊受邀参会
  6. 威纶通屏,标准程序范本非常漂亮都是重新做的素材,可以省去很多时间就能做出好看的界面
  7. Mysql统计男女比例
  8. 实业优则投资:危险的游戏
  9. 异常解决——Failed to introspect Class [com.github.pagehelper.autoconfigure.PageHelperAutoConfiguration]
  10. hdu_1429 胜利大逃亡(续)