如何大幅提高 Django 网站加载速度

来源：进击的coder

之前做了个爬虫案例平台，https://scrape.center/，具体文章在原创丨发布一个爬虫案例平台，帮助爬虫初学者进行练手。

平台内我设计了非常多的网站，有服务端渲染、客户端渲染等，其中服务端渲染的页面大家可能爬取的频率比较高，时不时就会遇到被爬挂的情况。

比如这个网站：https://ssr1.scrape.center/，当访问频率高的时候，甚至我后端开了 20 个 Pod 也承受不来，大家并发量有点猛啊。

这个后端是用 Django 写的，而且这个网站的数据不怎么更新，索性再加个 Cache 吧，在 Django 中最高效的 Cache 当属 Memcached 了，本篇文章就来简单记录下 Django 对接 Memcached 的过程。

官方资料

千说万说都不如官方文档来的直接，首推官方文档：https://docs.djangoproject.com/en/3.1/topics/cache/。

然后后面就是我简单的笔记了。

依赖库

首先需要安装个依赖库，这里用的是 python-memcached，可以使用 pip 来安装：

pip3 install python-memcached

由于我使用的是 Docker，所以就把它写到 requirements.txt 里面了。

配置

另外还需要在 settings.py 里面配置一下，内容如下：

CACHES = {'default': {'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache','LOCATION': 'cache:11211',}
}

这里 LOCATION 是需要一个 Memcached 服务，运行在 11211 上面。

另外还需要开启两个中间件：

MIDDLEWARE = ['django.middleware.cache.UpdateCacheMiddleware',...'django.middleware.cache.FetchFromCacheMiddleware',
]

这里要加两个中间件，一个在最前面，一个在最后面，顺序不能换，中间的是之前配置的其他中间件。

Docker-Compose

OK，接下来就是使用 Docker 启动了，这里 Docker-Compose 里面就需要增加一个 Memcache 服务，配置如下：

version: '3'
services:ssr1-backend:container_name: 'scrape-ssr1-backend'restart: alwaysbuild: ./backendimage: 'scrape-ssr1-backend'ports:- '8000:8000'environment:...cache:image: memcachedports:- '11211:11211'entrypoint:- memcached- -m 64

这里主要是 cache 的配置，需要加上端口映射和入口参数，这里内存大小设置为 64M。

Kubernetes

我的部署使用的是 Kubernetes，所以对应的 yaml 文件也需要更改了，配置更改如下：

apiVersion: v1
items:- apiVersion: v1kind: Servicemetadata:annotations:kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convertkompose.version: 1.20.0 ()creationTimestamp: nulllabels:io.kompose.service: ssr1-backendname: ssr1-backendnamespace: scrapespec:ports:- name: "8000"port: 8000targetPort: 8000selector:io.kompose.service: ssr1-backendstatus:loadBalancer: { }- apiVersion: apps/v1kind: Deploymentmetadata:annotations:kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convertkompose.version: 1.20.0 ()creationTimestamp: nulllabels:io.kompose.service: ssr1-backendname: ssr1-backendnamespace: scrapespec:replicas: 20revisionHistoryLimit: 1strategy: { }selector:matchLabels:io.kompose.service: ssr1-backendtemplate:metadata:annotations:kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convertkompose.version: 1.20.0 ()creationTimestamp: nulllabels:io.kompose.service: ssr1-backendspec:containers:- env:- name: APP_ENVvalue: production- name: MEMCACHED_HOSTvalue: ssr1-cacheimage: germey/scrape-ssr1-backend:${TAG}name: scrape-ssr1-backendports:- containerPort: 8000resources: { }restartPolicy: Alwaysstatus: { }- apiVersion: v1kind: Servicemetadata:annotations:kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convertkompose.version: 1.20.0 ()creationTimestamp: nulllabels:io.kompose.service: ssr1-cachename: ssr1-cachenamespace: scrapespec:ports:- name: "11211"port: 11211targetPort: 11211selector:io.kompose.service: ssr1-cachestatus:loadBalancer: { }- apiVersion: apps/v1kind: Deploymentmetadata:annotations:kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convertkompose.version: 1.20.0 ()creationTimestamp: nulllabels:io.kompose.service: ssr1-cachename: ssr1-cachenamespace: scrapespec:replicas: 1revisionHistoryLimit: 1strategy: { }selector:matchLabels:io.kompose.service: ssr1-cachetemplate:metadata:annotations:kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convertkompose.version: 1.20.0 ()creationTimestamp: nulllabels:io.kompose.service: ssr1-cachespec:containers:- image: memcachedname: scrape-ssr1-cacheports:- containerPort: 11211resources: { }restartPolicy: Alwaysstatus: { }
kind: List
metadata: { }
---
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:name: ingress-ssr1namespace: scrapeannotations:nginx.ingress.kubernetes.io/ssl-redirect: "true"nginx.ingress.kubernetes.io/rewrite-target: /
spec:tls:- hosts:- ssr1.scrape.centersecretName: tls-wildcard-scrape-centerrules:- host: ssr1.scrape.centerhttp:paths:- backend:serviceName: ssr1-backendservicePort: 8000path: /

注意这里我给 Django 后端增加了一个环境变量，叫做 MEMCACHED_HOST，所以在 Django 中，我们可以通过环境变量来读取 Memcached 的 Host，当然端口也可以类似设置，不过端口我就直接写死了，配置更改如下：

CACHES = {'default': {'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache','LOCATION': os.getenv('MEMCACHED_HOST') + ':11211',}
}

OK，这样改完之后重新部署就好了。

部署之后我直接将 Pod 降到了 2 个，第一次访问速度可能稍慢，但是一旦加载出来之后，该页面就会被缓存下来，后续访问速度就只有两三百毫秒了，测速如下：

简单测速结果

网址在这：https://ssr1.scrape.center/，大家可以来爬爬试试吧。

作者：崔庆才

排版：崔庆才

------- End -------

点右下角「在看」与转发

是对我们最大的支持

特别推荐下公众号「价值前瞻」，分享读书、成长和投资思考，欢迎来串门。

回复「书单」可获取精选书单一份，包括《如何阅读一本书》、《巴菲特之道》、《金字塔原理》、高瓴张磊的《价值》、《投资最重要的事》、《戴维斯王朝》等书籍的笔记内容或思维导图

价值前瞻

做一个有远见的人

扫码关注，查看更多内容