vue 大数据 渲染_技术专栏 | DMap——实战Vue百万条数据渲染表格组件开发
作者:TalkingData 李志刚
本文由TalkingData原创,转载请获取授权。
李志刚:近几个月在开发一个基于Vue的数据可视化分析辅助应用———DMap(谛听),一套为数据分析师和数据科学家提供的基于位置大数据分析的工具,旨在提高数据分析效率,降低获取多数据并行分析成本,简化大屏和数据报告开发制作流程。其UI组件使用的是iView,地图可视化库使用的是inMap,服务端使用Node.js搭建。
DMap的核心就是服务大数据分析,所以当面对几万几十万甚至百万级别的数据时,性能优化是一个具有挑战性的问题。今天我就拿项目中一个表格渲染的优化为例来展开介绍。
在前端开发中,用表格来展示数据是再平常不过的了,当数据量较多时,我们通常的做法是使用分页,如果数据量不算太多只有两三页,我们大可以把全量数据获取下来,在前端做简单的分页展示。当数据量再上一个等级时,我们就需要根据页数向服务端请求这一页需要的数据。但是DMap作为助力大数据可视化的分析工具,我们需要将全量的数据在前端做展示,而为了提升用户体验,我们在表格的展示上决定不做分页,也不做懒加载,而是像Excel那样可以无缝隙的滚动。
在Web中,长列表渲染的性能问题已经有一些成熟的方案,表格和长列表相似,当渲染的行数达到一定量时,滚动就会变得卡顿,所以我们使用了虚拟渲染的方案,就是只渲染用户所能看到的区域的一小部分数据,然后通过滚动来计算显示的数据,和上下占位元素的高度。
通过这个图可以对原理有个大概的了解,接下来说下计算上的细节。
首先我们需要监听表格外层容器(也就是显示滚动条的元素)的scroll事件,在scroll事件绑定的方法中我们只做一件事,那就是获取外层容器当前滚动了的高度scrollTop的值。我们的所有计算,包括三个表格位置的替换、表格数据的选取、上下占位元素的高度的计算都与scrollTop相关。
下面是scroll事件的绑定的方法:
handleScroll (e) {
constele = e.srcElement || e.target;
const{ scrollTop, scrollLeft } = ele;
this.scrollLeft = scrollLeft;
this.scrollTop = scrollTop;
}
我们只需要在这里把scrollTop和scrollLeft的值赋给vue实例对应的值,然后我们用watch监听scrollTop的改变,如果更新了,就来计算当前处于可视区域的表格索引号currentIndex:
(注:左右滑动即可查看完整代码,下同)
this.currentIndex = parseInt((top % (this.moduleHeight *3)) /this.moduleHeight);
这的top就是更新后的this.scrollTop的值,moduleHeight是单个表格的高度,我们称它为一个模块。
拿到currentIndex的值后,我们就可以计算三个表格的显示位置,和每个表格中填充的数据。三个表格我们是通过render函数渲染的,我们根据currentIndex的值来返回不同顺序的render函数:
getTables (h) {
let table1 =this.getItemTable(h,this.table1Data,1);
let table2 =this.getItemTable(h,this.table2Data,2);
let table3 =this.getItemTable(h,this.table3Data,3);
if(this.currentIndex ===0)return[table1, table2, table3];
elseif(this.currentIndex ===1)return[table2, table3, table1];
elsereturn[table3, table1, table2];
}
数组中表格顺序不同,反应在页面上的效果就是不同的先后顺序。最后我们通过这个方法得到完整的render:
renderTable (h) {
returnh('div', {
style:this.tableWidthStyles
},this.getTables(h));
}
然后使用封装的无状态的组件,来渲染我们得到的表格render。
renderDom组件的实现如下:
exportdefault{
name:'RenderCell',
functional:true,
props: {
render:Function,
backValue: [Number,Object]
},
render:(h, ctx) =>{
returnctx.props.render(h, ctx.props.backValue, ctx.parent);
}
};
接下来我们讲下三个表格中填充的数据的计算。
我们按照三个模块都在可视区域经过一次算是一轮,通过scrollTop来和currentIndex来计算每个模块当前是在第几轮展示,但因为我们是从第二个表格才开始做这个逻辑的处理(为了轮播效果更平滑),所以要先判断当前滚动的高度是否大于一个模块的高度,如果大于才做如下计算:
switch (this.currentIndex) {
case0: t0 = parseInt(scrollTop / (this.moduleHeight *3)); t1 = t2 = t0;break;
case1: t1 = parseInt((scrollTop -this.moduleHeight) / (this.moduleHeight *3)); t0 = t1 +1; t2 = t1;break;
case2: t2 = parseInt((scrollTop -this.moduleHeight *2) / (this.moduleHeight *3)); t0 = t1 = t2 +1;
}
计算出每个模块在第几轮展示后,就可以来取对应的表格数据了:
const count1 =this.times0 *this.itemNum *3;
this.table1Data =this.insideTableData.slice(count1, count1 +this.itemNum);
const count2 =this.times1 *this.itemNum *3;
this.table2Data =this.insideTableData.slice(count2 +this.itemNum, count2 +this.itemNum *2);
const count3 =this.times2 *this.itemNum *3;
this.table3Data =this.insideTableData.slice(count3 +this.itemNum *2, count3 +this.itemNum *3);
到这里虚拟渲染的重要内容都介绍完了。表格开发完成后,在项目中实际使用时,当加载二十多万条数据来测试时,整个页面卡的让人无法忍受,数据量越大页面卡顿越严重。我们的表格是没有问题的,问题出在Vue帮了我们“倒忙”。
在Vue实例中添加的对象,Vue会先遍历一遍对象的所有属性,用——
Object.defineProperty()为每个对象创建对应的getter和setter。
而在项目中,我们的insideTableData只是一个数据集对象中的一个属性,这个对象还包括很多与这一个数据集相关的信息,我们在使用this.insideTableData.slice获取数据的时候会触发this.insideTableData对应的getter,从而执行一些其他逻辑,而我们的滚动又会频繁的(仅当currentIndex变化的时候)需要重新填充表格数据,所以这会造成卡顿。
解决这个问题的办法就是阻止Vue给我们的数据集对象设置对应的setter和getter,
我了解的有两种方法,一是文档中提到的:
我们使用的时候就需要通过——
this.$data._dataSet.insideTableData(这里的_dataSet就是一个数据集对象)来获取。
另一种方法,就是使用ES5的Object.preventExtensions在将数据集对象交给Vue实例代理前将对象密封,这样数据集对象就变成了不可拓展的了,Vue就不会再添加新的属性了,也就无法设置setter和getter了。
做了这个处理后渲染几十万数据跟玩儿似的流畅。但是阻止Vue设置getter和setter也造成了一些问题,比如原来表格组件中的一些依赖于表格数据的计算属性,现在无法在表格数据变化时重新计算,当然了,影响不大,就一个表格行数的计算,所以改成了手动设置这个值。
到这里要讲的差不多了,这只是项目中的一点优化内容,我封装的vue-bigdata-table(没办法,好名字都被注册了)表格组件不仅仅这点功能,目前还包括拖动修改列宽、固定列不横向滚动,固定表头、内置排序、编辑单元格、粘贴、筛选、自定义表头和单元格等功能。现在也已经开源了,但是还有很多功能还在开发中。
vue 大数据 渲染_技术专栏 | DMap——实战Vue百万条数据渲染表格组件开发相关推荐
- 百万数据php7取出循环_Thinkphp5 分批批量导出百万条数据记录的Code,不用PHPEXCEL哦!...
通过phpexcel导出上万条数据,会延迟.内存溢出.程序报错,各种问题出现...届时作者放弃了phpexcel,导出小数据量还是很可行的.下面通过分批导出csv,并压缩至zip中提供下载...废话不 ...
- 大表与大表join数据倾斜_技术分享|大数据技术初探之Spark数据倾斜调优
侯亚南 数据技术处 支宸啸 数据技术处 在大数据计算中,我们可能会遇到一个很棘手的问题--数据倾斜,此时spark任务的性能会比预期要差很多:绝大多数task都很快执行完成,但个别task执行极慢或者 ...
- java读取百万条记录出错_如何实现导出百万条数据到EXCEL中不报OOM异常?
Java项目中使用POI导出百万条数据到Excel中,但是会出现内存溢出异常. 存在以下问题需要考虑POI导出条数限制6w+ 数据量大的话会导致内存溢出 现在的做法是每6w条数据做一次分割,创建一个新 ...
- mysql查询一百万_mysql procedure-MySQL超过一百万条数据查询要用到什么技术
mysql procedure求mysql高手phpmysql 中文 linux MySQL超过一百万条数据查询要用到什么技术能使搜索速度得到提升?而且内存消耗会减少? 回复内容: 优化查询最简单的办 ...
- 如何给mysql表添加百万条数据_给mysql一百万条数据的表添加索引
直接alter table add index 添加索引,执行一个小时没反应,并且会导致锁表:故放弃该办法,最终解决办法如下: 一.打开mysql 命令行客户端 这里我们那可以看到导出的数据文件所存放 ...
- ThinkPHP导出百万条数据量
项目中,需要将数据库中的百万条数据导出,用PHPExcel的话,PHP内存会各种溢出什么的,所以就用的CSV批量导出再打包下载,随后删除生成的数据. public function excelout( ...
- 分分钟百万条数据的微博爬虫分析
微博爬虫系列2-分析微博接口 大家好,我是W 经过上一篇的分析我们无意中发现了微博的接口,并且不做任何的账号.流量限制可以直接获取最完整的微博数据.接下来我们就通过分析微博粉丝接口查看其中的数据结构顺 ...
- JAVA导出exls时报oom_如何实现导出百万条数据到EXCEL中不报OOM异常?
Java项目中使用POI导出百万条数据到Excel中,但是会出现内存溢出异常. 存在以下问题需要考虑POI导出条数限制6w+ 数据量大的话会导致内存溢出 现在的做法是每6w条数据做一次分割,创建一个新 ...
- 【SpringBoot项目中使用Mybatis批量插入百万条数据】
SpringBoot项目中使用Mybatis批量插入百万条数据 话不多说,直接上代码,测试原生批处理的效率 开始测试 背景:因为一些业务问题,需要做多数据源,多库批量查询.插入操作,所以就研究了一下. ...
最新文章
- thttpd安装与调试
- 【STM32】标准外设库,系统架构,时钟系统
- BLE Mesh(2)—— 基本术语及含义
- 转载:c输入空格字符串
- Ajax 生成流文件下载 以及复选框的实现
- 服务容错保护断路器Hystrix之四:断路器监控(Hystrix Dashboard)-turbine集群监控
- Linux进程地址空间和虚拟内存
- PHP 统计一个字符串,在另一个字符串中出现次数
- 华为盒子 鸿蒙,华为盒子真不值得买,网友总结了3个原因
- android apr分析,APR分析-设计篇
- 位置不可用无法访问介质受写入保护怎样解决?
- VirtualBox下ubuntu和本机win7共享文件夹
- 爱穿白衣服的留下,好用
- 用 Linux 办公和开发到底靠谱吗?
- 51Nod基础组(Python)
- 决策树原理和案例应用-泰坦尼克号生存预测
- 【python】并发实现文件下载并计算md5
- 实现OPC UA publish/subscribe单次发送
- 批处理命令 删除文件,重命名文件
- QCI1建立不及时导致未接通