丑憨批的爬虫笔记2（爬虫引发的问题+robots协议）

去搜
user-agent！！！！
referer！！！！！
网页中怎么查看请求头header信息
点一下Name里的东西就会出来

规模大小分类

robots协议

User-agent: *      /// user-agent: * :指任何网络爬虫都不允许  通配符
Disallow: /?*       ///disallow : 指不允许访问的资源的目录
Disallow: /pop/*.html
Disallow: /pinpai/*.html?*
User-agent: EtaoSpider
Disallow: /        下面的是四个不允许的爬虫（是四个购物助手）
User-agent: HuihuiSpider
Disallow: /
User-agent: GwdangSpider
Disallow: /
User-agent: WochachaSpider
Disallow: /

丑憨批的爬虫笔记2（爬虫引发的问题+robots协议）相关推荐

丑憨批的html笔记
html语法基础 h1#idid${itme$}*3 <!DOCTYPE html> <html lang="en"> <head><me ...
丑憨批的NLP笔记BERT前置：ATUO encoder，DAE
ATUOEncoder 深度学习:什么是自编码器(Autoencoder) DAE 降噪自动编码器(Denoising Autoencoder)
丑憨批的vector笔记
上网统计 "在线自闭,是输出出的问题,别用cout string" #include <iostream> #include<bits/stdc++.h> ...
丑憨批的Transformer笔记
rnn-seq2seq-attentio attention attention transformer transformer Self-Attention:当前翻译和已经翻译的前文之间的关系: E ...
丑憨批的爬虫笔记6实例
0.中国大学排名定向爬虫 http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html 可行性: http://www.zuihaodaxue.cn/ro ...
丑憨批的爬虫笔记3（实例）
1.京东商品: import requestsdef getHTMLText(url):try:r=requests.get(url)r.raise_for_status()r.encoding=r. ...
丑憨批的爬虫笔记5信息标记与提取
0.信息标记的三种形式信息标记的作用 HTML:超文本标记种类:3种 XML 无内容则一个尖括号 Json Yaml 用缩进表达从属关系,-表示并列关系 1.三种信息标记形式的比较 2.信息提取的 ...
丑憨批的爬虫笔记4BeautifulSoup4
pip install beautifulsoup4 https://python123.io/ws/demo.html 使用方法参数:1.html信息2.解析器 import requests r ...
丑憨批的爬虫笔记1（导学+requests））
the website is the API Requests robots.txt beautiful soup projects 正则表达式 Scrapy 12单元 4个实例工具:IDLE,Su ...

丑憨批的爬虫笔记2（爬虫引发的问题+robots协议）

丑憨批的爬虫笔记2（爬虫引发的问题+robots协议）相关推荐

最新文章

热门文章