response.status_code是一个很常用的属性，在我们之后的爬虫代码中也将多次出现。

response.content，它能把Response对象的内容以二进制数据的形式返回，适用于图片、音频、视频的下载

# 引用requests库

import requests

# 下载《三国演义》第一回，我们得到一个对象，它被命名为res

res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/sanguo.md')

# 把Response对象的内容以字符串的形式返回

novel=res.text

# 现在，可以打印小说了，但考虑到整章太长，只输出800字看看就好。在关于列表的知识那里，你学过[:800]的用法。

print(novel[:800])

response.text，这个属性可以把Response对象的内容以字符串的形式返回，适用于文字、网页源代码的下载。

# 引用requests库

import requests

# 下载《三国演义》第一回，我们得到一个对象，它被命名为res

res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/sanguo.md')

# 把Response对象的内容以字符串的形式返回

novel=res.text

# 现在，可以打印小说了，但考虑到整章太长，只输出800字看看就好。在关于列表的知识那里，你学过[:800]的用法。

print(novel[:800])

response.encoding，它能帮我们定义Response对象的编码。

# 引用requests库

import requests

# 下载《三国演义》第一回，我们得到一个对象，它被命名为res

res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/sanguo.md')

# 定义Response对象的编码为gbk

res.encoding='gbk'

# 把Response对象的内容以字符串的形式返回

novel=res.text

# 打印小说的前800个字

print(novel[:800])

遇上文本的乱码问题，才考虑用res.encoding。

爬虫伦理

服务器在通常情况下，对搜索引擎是欢迎的态度(刚刚讲过，谷歌和百度的核心技术之一就是爬虫)。当然，这是有条件的，通常这些条件会写在robots协议里。

robots协议是互联网爬虫的一项公认的道德规范，它的全称是“网络爬虫排除标准”(robots exclusion protocol)，这个协议用来告诉爬虫，哪些页面是可以抓取的，哪些不可以。

User-agent: Baiduspider # 百度爬虫

Allow: /article # 允许访问 article

Allow: /oshtml # 允许访问 oshtml

Allow: /ershou # 允许访问 ershou

Allow: /$ # 允许访问根目录，即淘宝主页

Disallow: /product/ # 禁止访问product文件夹下面的所有文件，但是product文件夹本身允许被访问

Disallow: / # 禁止访问除 Allow 规定页面之外的其他所有页面

​

User-Agent: Googlebot # 谷歌爬虫

Allow: /article

Allow: /oshtml

Allow: /product # 允许访问product文件夹及product文件夹下面的所有文件

Allow: /spu

Allow: /dianpu

Allow: /oversea

Allow: /list

Allow: /ershou

Allow: /$

Disallow: / # 禁止访问除 Allow 规定页面之外的其他所有页面

​

…… # 文件太长，省略了对其它爬虫的规定，想看全文的话，点击上面的链接

​

User-Agent: * # 其他爬虫

Disallow: / # 禁止访问所有页面