SqlBulkCopy批量数据导入(EF实现)
在做项目是,数据的导入是经常被客户提出的一个基础需求了,这也导致很多系统都需要使用导入功能。个人整理了做过项目,整理一份导入的代码实现方法(项目中做了封装,此文只介绍实现思路)。
项目使用的mvc模式,数据库访问使用的EF处理数据增删改查。
- 首先你要有一个最直接的封装有SqlBulkCopy的类,如下:
/// <summary>/// 大批量数据导入到数据库中/// </summary>/// <param name="dataTable">数据表</param>/// <param name="tableName">表名称</param>/// <returns>成功返回true,否则false</returns>public static bool BulkCopyTable(DataTable dataTable, string tableName){try{using (var sqlBulkCopy = new SqlBulkCopy(connectionString)){sqlBulkCopy.DestinationTableName = tableName;if (dataTable != null && dataTable.Rows.Count != 0){sqlBulkCopy.WriteToServer(dataTable);}sqlBulkCopy.Close();return true;}}catch (System.Exception ex){Console.WriteLine(ex.Message);return false;}}
- 其次,项目中使用到了一个DataTable的扩展类,具体如下:
/// <summary>/// DataTable扩展类/// </summary>public static class DataTableExtensions{/// <summary>/// Convert a List{T} to a DataTable./// </summary>public static DataTable ToDataTable<T>(List<T> items){var tb = new DataTable(typeof(T).Name);PropertyInfo[] props = typeof(T).GetProperties(BindingFlags.Public | BindingFlags.Instance);foreach (PropertyInfo prop in props){Type t = GetCoreType(prop.PropertyType);tb.Columns.Add(prop.Name, t);}foreach (T item in items){var values = new object[props.Length];for (int i = 0; i < props.Length; i++){values[i] = props[i].GetValue(item, null);}tb.Rows.Add(values);}return tb;}/// <summary>/// Return underlying type if type is Nullable otherwise return the type/// </summary>public static Type GetCoreType(Type t){if (t != null && IsNullable(t)){if (!t.IsValueType){return t;}return Nullable.GetUnderlyingType(t);}return t;}/// <summary>/// Determine of specified type is nullable/// </summary>public static bool IsNullable(Type t){return !t.IsValueType || (t.IsGenericType && t.GetGenericTypeDefinition() == typeof(Nullable<>));}}
注:这个类主要是将导入的数据集合转换为datatable以方便作为批量插入方法的参数。
- 具体的导入代码如下:
var data = ExcelOpr.ImportExcel(path);var lstA = new List<A>();for (int rowIndex = 1; rowIndex < data.GetLength(0); rowIndex++){var a = new A();//处理具体的字段赋值lstA.Add(a);}//导入到数据库中if (lstA != null && lstA.Count > 0){var dt = DataTableExtensions.ToDataTable<A>(lstA);tempService.ImportExecel(dt);}
注:1、此处A为具体需要导入的数据表在EF中对应的c#类名,请一定保证EF中对象字段的顺序和数据库中的列顺序一致,否则无法导入;
2、第一句代码
ExcelOpr.ImportExcel(path);
path为导入文件的绝对路径,使用的是封装的导入方法,代码如下:(需要使用Aspose.Cells,在vs中自行下载、添加)
/// <summary>/// 导入excel;返回是object的数组类型数据;/// 其中data.GetLength(0)表示数据的条数,包括标题栏;/// data.GetLength(1)表示数据的列数;/// data.GetValue(1, 1)表示拿到对应下表的数据;/// 使用形如:for (int i = 1; i 小于 data.GetLength(0); i++){}方式生成具体类型即可!/// </summary>/// <param name="strFileName">文件名(包含路径)</param>/// <returns>Object[,]数组类型</returns>public static Object[,] ImportExcel(String strFileName){Workbook book = new Workbook(strFileName);//book.Open(strFileName);Worksheet sheet = book.Worksheets[0];Cells cells = sheet.Cells;return cells.ExportArray(0, 0, cells.MaxDataRow + 1, cells.MaxDataColumn + 1);}
3、 最后一句
tempService.ImportExecel(dt);
tempService 为业务逻辑实现的对象,调用具体的导入方法:
/// <summary>/// excel数据导入,批量导入/// </summary>/// <param name="dt">datatable</param>/// <returns></returns>public bool ImportExecel(System.Data.DataTable dt){return SqlHelper.BulkCopyTable(dt, "数据库表名");}
零零散散记录下来,即算是一个知识的整理学习,也方便以后查询使用!!
SqlBulkCopy批量数据导入(EF实现)相关推荐
- linq 清除一条数据中的某个字段值_B端通用批量数据导入方案设计
点击上方蓝色字体,关注我 B端通用批量数据导入方案设计 文 | 3548字 估计阅读 | 9分钟 引题 B端产品经常遇到大量数据录入的需求.如春季招聘完成后,给新招的120个员工建立员工档案,并创建员 ...
- OracleBulkCopy的批量数据导入
OracleBulkCopy的批量数据导入 1 private void button1_Click(object sender, EventArgs e) 2 { 3 OpenFileDialog ...
- ABAP-1-会计凭证批量数据导入本地ACCESS
公司会计凭证导入ACCESS数据库,需要发送给审计,原先的方案是采用DEPHI开发的功能(调用函数获取会计凭证信息,然后INSERT到ACCESS数据表),运行速度非常慢,业务方要求对该功能进行优化, ...
- 使用xlsx.js完成Excel批量数据导入
使用xlsx.js完成Excel批量数据导入 直接上代码 需要引入的 xlsx.js 文件地址 https://gitcode.net/mirrors/SheetJS/sheetjs/-/blob/m ...
- [整理]MySql批量数据导入Load data infile解决方案
有时候我们需要将大量数据批量写入数据库,直接使用程序语言和Sql写入往往很耗时间,其中有一种方案就是使用MySql Load data infile导入文件的形式导入数据,这样可大大缩短数据导入时间. ...
- 一个批量数据导入的实现方案
数据导入作为系统常用的功能,几乎所有的系统都应该支持,主要用于系统初期,大批量初始化数据,或者需要输入的数据行比较多的情况(导入在建项目的交付清单,通常成百上千项). 数据导入的一般过 ...
- 浅谈使用SQLBulkCopy批量数据入库
随着网站浏览人数的增多,页面浏览日志的记录成了数据库TCP/IP连接数飙升的祸首,初步想法就是先把日志记录到内存,累计到一定数量时,一次性入库.故此,就想到了sqlbulkcopy,它可以使数据批量入 ...
- java es 数据批量导入_elasticsearch批量数据导入和导出
之前使用ES的时候建表Type时有个字段的类型搞错了.以至于用API查询时出错.所以就研究一下ES API做了一下ES批量导出和导入重构了Type 1:Java API批量导出 Settings se ...
- 使用CATT作批量数据导入
1.使用TC:SCAT创建一个CATT作业名. 2.使用TC:SCEM来录制这个CATT. 3.将CATT生成的文件格式导入,并填充数据. 4.使用SCAT来将相关上传文件数据上传到SAP
最新文章
- vscode设置eslint检验无效_大整理!JavaScript开发者的27个神奇VSCode工具
- 物理服务器转虚拟服务器,物理服务器转虚拟服务器
- python学习笔记(七)函数
- where is SAP CRM One Order event callback registered
- sqoop从HDFS导出数据到Mysql,卡在Running job: job_1571036741208_0010不动了,或者map 100% reduce 0%不动了
- 360、金山回应网页劫持 没守住商业底线
- Spring相关笔记整理
- 特殊人物请遵循公司工作的基本准则
- SQLSERVER是怎麽通过索引和统计信息来找到目标数据的(第二篇)
- 嵌入式系统——指令操作扩展
- pthread_mutex_init 互斥锁pthread_mutex_t的使用(转)
- java ejb开发_Java实践之路——EJB(一)
- ExtJs6学习(五)【Extjs MVC开发模式详解】
- win7设置护眼模式
- 戴个美瞳却患上了角膜炎和干眼症?
- unity shader 热扭曲 (屏幕后处理)
- Rust程序设计语言-使用包、Crate和模块管理不断增长的项目
- [Minitab]如何製作柏拉圖(Pareto chart)?
- GBase 8s分布式功能之异地容灾
- 第八篇 :微信公众平台开发实战Java版之如何网页授权获取用户基本信息
热门文章
- oracle12输出文件性能慢,输出选项 (Oracle Solaris Studio 12.2:性能分析器)
- mysql查询两个表中的不同数据_如何实现大数据在多工作表中精准查询
- 春节传统元素素材,帮助设计师完成中国风海报设计
- 优秀网页案例教你如何排好内容页
- 帮助您快速开始下一个移动APP应用模板、UI设计
- 秋季海报设计元素|水彩手绘纹理植物素材,从人群中脱颖而出。
- 阅读类app界面设计UI可临摹素材模板
- linux鼠标驱动程序,Linux usb子系统(一) _写一个usb鼠标驱动
- Windows核心编程学习笔记
- Windows错误代码转换成文字信息描述