如果后端API一次返回10万条数据，前端应该如何处理？

英文 | https://medium.com/frontend-canteen/if-the-backend-api-returns-100-000-records-at-one-time-how-should-we-handle-it-in-the-frontend-fab21218fe2

最近，我的一位朋友在面试时被问到这个问题。这个问题其实是考察面试者对性能优化的理解，涉及的话题很多。下面我就和大家一起来分析一下这个问题。

创建服务器

为了方便后续测试，我们可以使用node创建一个简单的服务器。

服务器端代码：

const http = require('http')
const port = 8000;let list = []
let num = 0// create 100,000 records
for (let i = 0; i < 100_000; i++) {num++list.push({src: 'https://miro.medium.com/fit/c/64/64/1*XYGoKrb1w5zdWZLOIEevZg.png',text: `hello world ${num}`,tid: num})
}http.createServer(function (req, res) {// for Cross-Origin Resource Sharing (CORS)res.writeHead(200, {'Access-Control-Allow-Origin': '*',"Access-Control-Allow-Methods": "DELETE,PUT,POST,GET,OPTIONS",'Access-Control-Allow-Headers': 'Content-Type'})res.end(JSON.stringify(list));
}).listen(port, function () {console.log('server is listening on port ' + port);
})

我们可以使用 node 或 nodemon 启动服务器：

$ node server.js
# or
$ nodemon server.js

创建前端模板页面

然后我们的前端由一个 HTML 文件和一个 JS 文件组成。

Index.html：

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><meta http-equiv="X-UA-Compatible" content="IE=edge"><meta name="viewport" content="width=device-width, initial-scale=1.0"><title>Document</title><style>* {padding: 0;margin: 0;}#container {height: 100vh;overflow: auto;}.sunshine {display: flex;padding: 10px;}img {width: 150px;height: 150px;}
</style>
</head>
<body><div id="container"></div><script src="./index.js"></script>
</body>
</html>

Index.js:

// fetch data from the server
const getList = () => {return new Promise((resolve, reject) => {var ajax = new XMLHttpRequest();ajax.open('get', 'http://127.0.0.1:8000');ajax.send();ajax.onreadystatechange = function () {if (ajax.readyState == 4 && ajax.status == 200) {resolve(JSON.parse(ajax.responseText))}}})
}// get `container` element
const container = document.getElementById('container')// The rendering logic should be written here.

好的，这就是我们的前端页面模板代码，我们开始渲染数据。

直接渲染

最直接的方法是一次将所有数据渲染到页面。代码如下：

const renderList = async () => {const list = await getList()list.forEach(item => {const div = document.createElement('div')div.className = 'sunshine'div.innerHTML = `<img src="${item.src}" /><span>${item.text}</span>`container.appendChild(div)})
}
renderList()

一次渲染 100,000 条记录大约需要 12 秒，这显然是不可取的。

通过 setTimeout 进行分页渲染

一个简单的优化方法是对数据进行分页。假设每个页面都有limit记录，那么数据可以分为Math.ceil(total/limit)个页面。之后，我们可以使用 setTimeout 顺序渲染页面，一次只渲染一个页面。

const renderList = async () => {const list = await getList()const total = list.lengthconst page = 0const limit = 200const totalPage = Math.ceil(total / limit)const render = (page) => {if (page >= totalPage) returnsetTimeout(() => {for (let i = page * limit; i < page * limit + limit; i++) {const item = list[i]const div = document.createElement('div')div.className = 'sunshine'div.innerHTML = `<img src="${item.src}" /><span>${item.text}</span>`container.appendChild(div)}render(page + 1)}, 0)}render(page)
}

分页后，数据可以快速渲染到屏幕上，减少页面的空白时间。

requestAnimationFrame

在渲染页面的时候，我们可以使用requestAnimationFrame来代替setTimeout，这样可以减少reflow次数，提高性能。

const renderList = async () => {const list = await getList()const total = list.lengthconst page = 0const limit = 200const totalPage = Math.ceil(total / limit)const render = (page) => {if (page >= totalPage) returnrequestAnimationFrame(() => {for (let i = page * limit; i < page * limit + limit; i++) {const item = list[i]const div = document.createElement('div')div.className = 'sunshine'div.innerHTML = `<img src="${item.src}" /><span>${item.text}</span>`container.appendChild(div)}render(page + 1)})}render(page)
}

window.requestAnimationFrame() 方法告诉浏览器您希望执行动画，并请求浏览器调用指定函数在下一次重绘之前更新动画。该方法将回调作为要在重绘之前调用的参数。

文档片段

以前，每次创建 div 元素时，都会通过 appendChild 将元素直接插入到页面中。但是 appendChild 是一项昂贵的操作。

实际上，我们可以先创建一个文档片段，在创建了 div 元素之后，再将元素插入到文档片段中。创建完所有 div 元素后，将片段插入页面。这样做还可以提高页面性能。

const renderList = async () => {console.time('time')const list = await getList()console.log(list)const total = list.lengthconst page = 0const limit = 200const totalPage = Math.ceil(total / limit)const render = (page) => {if (page >= totalPage) returnrequestAnimationFrame(() => {const fragment = document.createDocumentFragment()for (let i = page * limit; i < page * limit + limit; i++) {const item = list[i]const div = document.createElement('div')div.className = 'sunshine'div.innerHTML = `<img src="${item.src}" /><span>${item.text}</span>`fragment.appendChild(div)}container.appendChild(fragment)render(page + 1)})}render(page)console.timeEnd('time')
}

延迟加载

虽然后端一次返回这么多数据，但用户的屏幕只能同时显示有限的数据。所以我们可以采用延迟加载的策略，根据用户的滚动位置动态渲染数据。

要获取用户的滚动位置，我们可以在列表末尾添加一个空节点空白。每当视口出现空白时，就意味着用户已经滚动到网页底部，这意味着我们需要继续渲染数据。

同时，我们可以使用getBoundingClientRect来判断空白是否在页面底部。

使用 Vue 的示例代码：

<script setup lang="ts">
import { onMounted, ref, computed } from 'vue'
const getList = () => {// code as before
}
const container = ref<HTMLElement>() // container element
const blank = ref<HTMLElement>() // blank element
const list = ref<any>([])
const page = ref(1)
const limit = 200
const maxPage = computed(() => Math.ceil(list.value.length / limit))
// List of real presentations
const showList = computed(() => list.value.slice(0, page.value * limit))
const handleScroll = () => {if (page.value > maxPage.value) returnconst clientHeight = container.value?.clientHeightconst blankTop = blank.value?.getBoundingClientRect().topif (clientHeight === blankTop) {// When the blank node appears in the viewport, the current page number is incremented by 1page.value++}
}
onMounted(async () => {const res = await getList()list.value = res
})
</script><template><div id="container" @scroll="handleScroll" ref="container"><div class="sunshine" v-for="(item) in showList" :key="item.tid"><img :src="item.src" /><span>{{ item.text }}</span></div><div ref="blank"></div></div>
</template>

最后

我们从一个面试问题开始，讨论了几种不同的性能优化技术。

如果你在面试中被问到这个问题，你可以用今天的内容回答这个问题，如果你在工作中遇到这个问题，你应该先揍那个写 API 的人。

学习更多技能

请点击下方公众号

如果后端API一次返回10万条数据，前端应该如何处理？相关推荐

8 种方案机智应对后端一次性返回 10万条数据
大厂技术高级前端 Node进阶点击上方程序员成长指北,关注公众号回复1,加入高级Node交流群问题描述面试官:后端一次性返回10万条数据给你,你如何处理? 我:歪嘴一笑,what the f ...
后端一次性返回10万条数据，使用vue，你该如何渲染？
vue 解决同时加载万条级数据,页面渲染卡顿问题 1. 问题描述 2. 常见的解决方案 3. 解决方案流程图 4. 代码 1. 问题描述由于业务需求,需要在一个页面中点击查询按钮时加载出所有的数据, ...
SQLSERVER储存过程批量添加10万条数据
SQLSERVER批量添加10万条数据 insert into PatInfo(PID,name,sex,birthday,createDate,updateDate,ownerID,permBits ...
快速订单号生成（两秒左右10万条数据无重复）
订单号生成在开发当中我想大部分程序员都会做商城类的项目,其中订单号是一个相对比较重要的数据,在用户下单是不允许有重复订单生成的. 我给大家提供了一个生成订单的方法,希望对您有所帮助!!!!!!!!! ...
【面试题记录】在mysql中查询10万条数据找到第50000到51000条数据，你会怎么做？
数据库表中准备了10万条数据,今天我们来做一下测试. 数据表:ticket_order_log 主键索引:id 先看一下数据,一共是101176条数据,耗时117s. select * from ti ...
redis存10万条数据_redis详细介绍
一介绍 1. redis介绍(redis安装在磁盘,redsi数据存储在内存) 服务器交互 2. Redis是一种基于键值对(key-value)数据库,其中value可以为string. hash ...
mysql插10万条数据_MySQL数据库插入100w条数据要花多久？
MySQL数据库插入100w条数据要花多久? 1.多线程插入(单表) 2.多线程插入(多表) 3.预处理SQL 4.多值插入SQL 5.事务(N条提交一次) # 多线程插入(单表) 问:为何对同一个表 ...
mysql插10万条数据_如何快速安全的插入千万条数据？
点击上方小伟后端笔记 ,选择星标公众号重磅资讯.干货,第一时间送达最近有个需求解析一个订单文件,并且说明文件可达到千万条数据,每条数据大概在20个字段左右,每个字段使用逗号分隔,需要尽量在半 ...
mysql每10万条数据分区_WebGIS项目中利用mysql控制点库进行千万条数据坐标转换时的分表分区优化方案...
1. 背景项目中有1000万条历史案卷,为某地方坐标系数据,我们的真实需求是将地方坐标系坐标反转成WGS84坐标,如果现在需要将其转换成百度坐标系数据.常规方案是先建立好整个该市的本地坐标和百度坐标 ...

如果后端API一次返回10万条数据，前端应该如何处理？

如果后端API一次返回10万条数据，前端应该如何处理？相关推荐

最新文章

热门文章