SqlBulkCopy导入大数据

本次导入的为手机号码归属地数据：

建立一个数据库Area,表phone，表中三个字段startNo，endNo，cityName

string connStr = ConfigurationManager.ConnectionStrings["connStr"].ToString();

FolderBrowserDialog openfile = new FolderBrowserDialog();
if (openfile.ShowDialog() != DialogResult.OK)
{
return;
}

string path = openfile.SelectedPath;

List<string> list = Directory.GetFiles(path, "*.txt", SearchOption.AllDirectories).ToList();foreach (string file in list)

string name = Path.GetFileNameWithoutExtension(file);

string[] lines = File.ReadAllLines(file, Encoding.Default); //在内存中建立一个表

    DataTable table = new DataTable(); //创建一个表后要先创建列，再创建行

    table.Columns.Add("startTelNum"); table.Columns.Add("endTelNum");

    table.Columns.Add("cityName");

foreach (string line in lines)

string[] strs = line.Split('-');

string startTelNum = strs[0]; string endTelNum = strs[1];

string cityName = strs[2];

 DataRow row = table.NewRow();

 row["startTelNum"] = startTelNum; row["endTelNum"] = endTelNum;

row["cityName"] = cityName; table.Rows.Add(row); }

using (SqlBulkCopy bulkcopy = new SqlBulkCopy(connStr))

 bulkcopy.DestinationTableName = "phone";//服务器上表的名称

 bulkcopy.ColumnMappings.Add("startTelNum", "startNo");//前面参数是内存中表名称，后面是数据库字段名称

 bulkcopy.ColumnMappings.Add("endTelNum", "endNo");

 bulkcopy.ColumnMappings.Add("cityName", "cityName");

 bulkcopy.WriteToServer(table);//把数据写入到数据库 }

数据库下载：Download

转载于:https://www.cnblogs.com/automation/archive/2013/01/30/2882449.html

SqlBulkCopy导入大数据相关推荐

mysql source导入大数据量时效率提升的方法
在对mysql数据库进行大数据量导入时,我通常是选择source命令进行导入,这样能比较短的时间内导入.但是,如果数据量大到一定量级时,即使是用source命令,效率也并不高.比如此次要导入的数据库文 ...
线程导入大数据入库_大数据处理及分析该怎么做？用这款数据分析软件轻松搞定...
对大数据的重视让很多企业都在纷纷寻找更好的大数据处理及分析方法?这款数据分析软件轻松搞定! 一.数据采集虽然每天互联网都会产生大量的数据,对于企业来讲,要搜集对自己企业有用的数据才是真的大数据.首 ...
MYSQL数据库导入大数据量sql文件失败的解决方案
最快办法:执行下方语句,单次有效. SET GLOBAL max_allowed_packet=30*1024*1024 如果想彻底更改,在安装mysql的文件夹下找到my.ini 文件,在文件末尾添 ...
线程导入大数据入库_多线程批量插入数据小结
在测试的过程中,无法避免的需要做一些性能压测,造数据的时长在此时就会备受关注.比如,造数据的时候用多线程还是多进程,用直接插入DB方式还是用先写文件后导入mysql的方式,写文件是写批量sql后面so ...
Oracle导入大数据量（百万以上）dmp文件，报错ora-12592 :包错误
进行自动化测试过程中,发现需要重新搭建一套自动化测试库,然后利用pl/sql对数据库导出: 进行导入后发现报错ora-12592 :包错误原因分析,数据量过大,传输超时,需要在Oracle服务端以及 ...
sqlldr 导入大数据量数据
最近在处理一些数据,数据量比较大的数据,记录下使用方法和过程,以备日后查看如果使用insert插入超过1000条时间就有点长了(5.6分钟) 使用plsql的text import 导入8万条耐心等 ...
Navicat premium 导入大数据的Excel文件失败的方法
场景:有个Excel数据,有20W行数据,是xlsx格式的,想要使用 Navicat premium 直接导入到mysql中,但是,导入完成后只导入了3000多条,且没有提示导入错误. [解决方法] ...
matlab导入大数据时内存不足,MATLAB从Excel导入大量数据计算的时候出现错误
function y = landslidepj(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11) %UNTITLED 滑坡易发性评价 % 模糊综合评价对栅格单元进行评价,x ...
sqlsever 导入大数据sql文件
采用osql命令: osql -S "127.0.0.1" -U "sa" -P "123" -d "Futuress" ...

SqlBulkCopy导入大数据

SqlBulkCopy导入大数据相关推荐

最新文章

热门文章