Robots 协议也称作爬虫协议、机器人协议，它的全名叫作网络爬虫排除标准( Robots ExclusionProtocol)，用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。它通常是一个叫作 robots.txt的文本文件，一般放在网站的根目录下 。

2. robotparser

set_url:用来设置 robots.txt 文件的链接。 如果在创建 RobotFileParser 对象时传入了链接，那么就不需要再使用这个方法设置了

read:读取 robots.txt 文件并进行分析。 注意，这个方法执行一个读取和分析操作，如果不 调用这个方法 ， 接下来的判断都会为 False，所以一定记得调用这个方法。 这个方法不会返回任何内容，但是执行了读取操作 。

parse:用来解析robots.txt文件，传人的参数是robots.txt某些行的内容，它会按照robots.txt的语法规则来分析这些内容 。

can_fetch:该方法传人两个参数 ， 第一个是 User-agent，第二个是要抓取的 URL。 返回的 内容是该搜索引擎是否可以抓取这个 URL，返回结果是 True 或 Falsea

mtime:返回的是上次抓取和分析 robots.txt的时间，这对于长时间分析和抓取的搜索爬虫是 很有必要的，你可能需要定期检查来抓取最新的 robots.txt。

modified:

1 from urllib.robotparser importRobotFileParser2

3 rp =RobotFileParser()4 rp.set_url('http://www.jianshu.com/robots.txt')5 rp.read()6 print(rp.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d'))7 print(rp.can_fetch('*', 'http://www.jianshu.com/search?q=python&page=l&type=collections'))

8. requests

它同样对长时间分析和抓取 的搜索爬虫很有帮助，将 当前时间设置为上次抓取和分析 robots.txt 的时间 。

1. get:

1 importrequests2 importre3

4 #浏览器标时，如果没有，会禁止爬取

5 headers ={6 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'

7 }8 r = requests.get("http://www.zhihu.com/explore",headers=headers)9 pattern = re.compile('explore-feed.*?question.*?>(.*?)',re.S)10 titles =re.findall(pattern, r.text)11 print(titles)12

13 r = requests.get("http://github.com/favicon.ico")14 with open('favicon.ico','wb') as f:15 f.write(r.content)

2. post:

1 importrequests2

3 data ={4 'name': 'name',5 'age': '22'

6 }7 r = requests.post("http://httpbin.org/post", data=data)8 print(r.text)9 r = requests.get('http://www.zhihu.com')10 print(type(r.status_code), r.status_code)#得到状态码

11 print(type(r.headers), r.headers)#得到响应头

12 print(type(r.cookies), r.cookies)#得到cookies

13 print(type(r.url), r.url)#得到URL

14 print(type(r.history), r.history)#得到请求历史

9. request的高级语法：

1.文件上传：

2. cookies:

1 importrequests2

3 files = {'file':open('favicon.ico', 'rb')}4 r = requests.post("http://httpbin.org/post", files=files)5 print(r.text)6 r = requests.get("http://www.baidu.com")7 print(r.cookies)8 for key, value inr.cookies.items():9 print(key + '=' +value)10

11 headers ={12 'Cookies': 'tst=r; __utma=51854390.2112264675.1539419567.1539419567.1539433913.2; __utmb=51854390.0.10.1539433913; __utmc=51854390; __utmv=51854390.100--|2=registration_date=20160218=1^3=entry_date=20160218=1; __utmz=51854390.1539433913.2.2.utmcsr=zhihu.com|utmccn=(referral)|utmcmd=referral|utmcct=/; tgw_l7_route=e0a07617c1a38385364125951b19eef8; q_c1=d3c7341e344d460ead79171d4fd56f6f|1539419563000|1516290905000; _xsrf=713s0UsLfr6m5Weplwb4offGhSqnugCy; z_c0="2|1:0|10:1533128251|4:z_c0|92:Mi4xS2VDaEFnQUFBQUFBZ09DVGo1ZUtEU1lBQUFCZ0FsVk5PX3hPWEFEVXNtMXhSbmhjbG5NSjlHQU9naEpLbkwxYlpB|e71c25127cfb23241089a277f5d7c909165085f901f9d58cf93c5d7ec7420217"; d_c0="AIDgk4-Xig2PTlryga7LwT30h_-3DUHnGbc=|1525419053"; __DAYU_PP=zYA2JUmBnVe2bBjq7qav2ac8d8025bbd; _zap=d299f20c-20cc-4202-a007-5dd6863ccce9',13 'Host': 'www.zhihu.com',14 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',15

16 }17 r = requests.get("http://www.zhihu.com",headers=headers)18 print(r.text)

3. 会话维持:

1 importrequests2

3 requests.get("http://httpbin.org/cookies/set/umber/123456789")4 r = requests.get("http://httpbin.org/cookies")5 print(r.text)6 s =requests.Session()7 s.get("http://httpbin.org/cookies/set/umber/123456789")8 r = s.get('http://httpbin.org/cookies')9 print(r.text)

1 {2 "cookies": {}3 }4

5 {6 "cookies": {7 "umber": "123456789"

8 }9 }10

11

12 Process finished with exit code 0

4. SSl证书验证

requests还提供了证书验证的功能。 当发送 HTTP请求的时候，它会检查 SSL证书，我们可以使用 verify参数控制是否检查此证书。 其实如果不加 verify参数的话，默认是 True，会自动验证。