需求

在一个我做的项目里，业务流程有一环需要调用http的接口。

这个接口本身是同步处理的，返回响应的速度会根据要处理的数据量不同而不同。

为了不拖慢主业务流程，客户要求采用异步的方式来请求，即只要得到http状态码为200即认为请求成功，无须关心接口具体的返回结果。

分析

这个业务场景可以概括为，我这边处理了所有数据的流程之后，将结果通过这个接口告知服务方，只要对方收到通知即可。

这种场景一般有好几种处理方法，比如：

(1)将被请求的接口改为异步模式，即接口本身只将发来的数据放入队列这一件事情并返回ok即可。数据的处理由其他进程去完成，接口仅仅只扮演一个生产者的角色；

(2)调用方采用socket方式发送UDP请求；

(3)调用方发送一个异步的HTTP请求。

在这个项目里，接口是其他团队提供的，由于一些原因，不可能要求对方支持异步模式，所以采用我方发送异步请求的方式。

在python中，可以使用第三方库grequests来实现这一需求。

准备工作

代码示例

import grequests

def invoke_async(self, url, data):

# print("async ver")

headers = {

"Content-Type": "text/xml",

"User-Agent":"xxxx"

}

rs = [grequests.post(url, headers=headers, data=data)]

res = grequests.map(rs)

if len(res) > 0:

return res[0]

return None

if __name__ == "main":

req = self.invoke(url, data=params)

if req.status_code == 200:

print("ok")

else:

print req.content.text

讲解

在main里面，假设我们构建了一个用于发送post请求的url(接口地址)和data(参数)

grequests的使用方法和requests很像。也是直接使用get/post方法，比如：

# requests

requests.post(url, headers=headers, data=data)

# grequests

grequest.post(url, headers=headers, data=data)

不同的地方在于，grequest是异步的，所以他是通过grequests.map来驱动请求的。map方法需要接收一个数组作为参数。

所以上面我的代码里，grequest.post是被放到了一个数组里，即使我只发了一个请求。

grequests是使用gevent库，将每一个request使用协程的方式来实现的，由于存在循环导入类库的可能，如果你的代码也导入了gevent库的话。所以grequests会报一个警告：

MonkeyPatchWarning: Monkey-patching ssl after ssl has already been imported may lead to errors, including RecursionError on Python 3.6. It may also silently lead to incorrect behaviour on Python 3.7. Please monkey-patch earlier.

所以我们需要在import的代码之前，打一个猴子补丁，这样上面的代码可以改为：

from gevent import monkey

monkey.patch_all()

import grequests

# 此处省略其他代码，和上面是一样的......

小结

异步请求接口，可以在接口返回结果可预测或无须关心的情况下使用。

除了要求接口提供方提供异步方式外，也可以在调用方使用grequests来构造异步请求。

grequests基于协程gevent构建，除了本文的情况，还可以配合多线程以用于提高网络爬虫的效率。