导入Excel数据过慢

一、现象：

最近项目遇到导入Excel数据，返回的相应很慢。再服务器上十几条的Excel数据，导入预览返回需要1分钟。这现象不正常吧？

二、分析

将后台读取的Excel数据并且在校验数据加上打印日志。通过分析发现，读取Excel的数据很快的，但是在校验的时候查询某一字段的时候，发现竟然要1-2秒。这不符合常规吧。通过查询该表的数据，发现数据量也不是特别多，该表的数据也才3、5w条。

三、解决

1、最后给该表加上索引，在涉及到校验查询的表都加上了索引。类似 ALTER TABLE `sku` ADD INDEX i_sku_code_userid (`Code`, `UserId`);

2、使用 Dictionary缓存已经查到的数据，避免二次查询数据库。

                var dictSku = new Dictionary<string,ConSku>();var skuInfo = new ConSku();if (!dictSku.ContainsKey(sku.SkuCode)){skuInfo = new client().GetSkuByCodeForExcel(SkuCode, userId);dictSku.Add(sku.SkuCode, skuInfo);}else{skuInfo = dictSku[SkuCode];}

导入Excel数据过慢相关推荐

python绘制动态图表怎么存下来_用python如何实现导入excel数据后自动生成图表？python如何实现交互式动态图表？...
这个需求涉及的环节太多了.导入excel文件,获取数据 -- 需要xlrd模块把数据导入python 2. 设定输出图表类型 -- 需要matplot模块.根据数据复杂度,可能需要ETL,那么需要pa ...
python导入excel数据-如何把python中的数据导入excel
python将数据导入excel的方法:1.在python官网下载xlrd第三方库:2.利用xlrd中的open_workbook函数读入excel文件,即可在python中导入excel数据. 一. ...
oracle 导入Excel数据
oracle 导入excel数据 CreateTime--2018年1月30日14:58:51 Author:Marydon 通过plsql实现 1.准备工作 Excel中的字段名称,必须和表结构字段 ...
php 导入表格数据,PHPExcel 导入Excel数据的方法
这篇文章主要介绍了关于PHPExcel 导入Excel数据的方法,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下一:使用composer下载 phpoffice/phpexcel 或者 ...
arcgis导入excel数据_导入Excel数据到ArcGIS属性表的两种实用方法
导入Excel数据到ArcGIS有两种方法,一种是用ArcMap的加载数据(黄色+号那个):另一种是用ArcCatalog直接转为shp文件,两种方法的原理是一样的. 第一种方法 1.Excel数据: ...
C# 导入excel数据，解决关闭excel后不能释放资源的问题
C# 导入excel数据,解决关闭excel后不能释放资源的问题参考文章: (1)C# 导入excel数据,解决关闭excel后不能释放资源的问题 (2)https://www.cnblogs.co ...
使用SQLyog导入EXCEL数据和合并数据表
使用SQLyog导入Excel数据选择 ``高级工具`` >``导入外部数据`` ,选择``开始新工作``,点击``下一步``,如下图所示. 选择数据源类型为excel,在File name中 ...
纯jquery 前端导入 Excel数据减少服务端压力
纯jquery 前端导入 Excel数据减少服务端压力前提是要导入jq库在这里就不再累述重要的是导入xlsx.core.min.js 我根据xlsx.core.min.js编写自己的工具类这里 ...
python导入excel数据到mysql
python导入excel数据到mysql 使用多线程,目前大概一分钟写入1w条环境介绍 windows10-x64 python3.6.5-x64 Excel2016 MySql5.7.18 需要 ...
PostgreSQL数据库导入EXCEL数据表
气象监测数据下载(可下载最新及每日气象数据) NOAA气象日监测数据均值计算python代码整理 PostgreSQL数据库导入EXCEL数据表 PG数据库版本为10.14.1. 首先,需要在PG数据 ...

导入Excel数据过慢

导入Excel数据过慢相关推荐

最新文章

热门文章