本文主要内容：

1.爬虫的相关概念。

2.Requsets库安装。

3.Requests库介绍。

4.爬取网页的通用代码框架。

1.爬虫相关概念。

网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。(百度百科)

网络爬虫就是从网页中按照规则爬取数据，然后对数据进行处理，得到我们需要的有价值的数据的过程。

从网站某一个页面(通常是首页)开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。

2.Requests库安装。

要使用Requests库需要先进行安装，我的Python环境是3.6。安装过程很简单，只须在cmd控制台上用pip命令就行可以了。

打开cmd控制台，输入pip install requests.

3.Requests库介绍：

以下列出方法名及用途，具体使用大家可以自行百度或者参考文章最后的链接文件，里面有详细的Request库介绍。

我们通过调用Request库中的方法，得到返回的对象。其中包括两个对象，request对象和response对象。

request对象就是我们要请求的url，response对象是返回的内容，如图：

response对象比Request对象更复杂，response对象包括以下属性：

接下来我们测试response对象属性：

假设我们访问的是百度的首页，打开IDLE输入以下代码：

import requests

r=requests.get("http://baidu.com")

print(r.status_code)

print(r.encoding)

print(r.apparent_encoding)

print(r.text[:100])

得到的结果如下：

4.爬取网页的通用代码框架。

前面已经大致了解了Request库以及爬虫的工作原理，下面介绍的是爬取网页的通用代码框架，这在我们的对话机器人中也将用到，因为爬取网页具有不确定性(网页不响应，url错误等)，在代码中增加try，except语句检测错误。

import requests

def getHTMLText(url):

try:

r = requests.get(url, timeout=30) #获得url链接对应的response对象

r.raise_for_status() #检查状态码，如果状态码不是200则抛出异常。

r.encoding = r.apparent_encoding #用分析内容的编码作为整我对象的编码，视情况使用。

return r.text

except:

print("faile")

return ""

这个框架是今后都会用到的，需要理解和掌握。

在我们的实例中我们用到这个框架爬取段子，网址是我随便百度到的一个段子网，具体代码如下：

import requests

def getHTMLText(url):

try:

r = requests.get(url, timeout=30)

r.raise_for_status()

#r.encoding = r.apparent_encoding

return r.text

except:

print("faile")

return ""

def main():

url = 'http://duanziwang.com/category/%E4%B8%80%E5%8F%A5%E8%AF%9D%E6%AE%B5%E5%AD%90/1/'

html = getHTMLText(url)

print(html)

main()

运行截图如下：

这是我们得到的返回内容，在后面的文章中我们将从庞大的HTML文本中使用beautifulsoup库提取具体的我们想要的东西，即提取出段子(标红内容)。

更详细的介绍请参考文档：

链接：https://pan.baidu.com/s/1ciCFifH_MzGMdAvDZVX3-A 密码：2ovp