读pcap文件，bcp入库，一个小项目的备忘录

数据量很大，每天几十G的pcap文件。思路是这样的：读出pcap文件中的数据，拼成字符串，写到文件里，用bcp方式入库。库是sql server。

遇到的问题：

1。读pcap文件。Pcap文件中包含客户端用udp方式发送出的数据。用到SharpPcap。代码不贴了，链接的地址上有很详细的例子。读出的每个包中，前42个字节不是数据，应该是地址等乱七八糟的东西，这之后才是用udp发出的数据。读出的字节需要转换成别的数据类型的时候，用BitConverter.ToUInt16之类的方式。如果是包含中文的字符串，可以用Encoding.UTF8.GetString得到字符串。注意算好各种数据类型的长度。

2. 写bcp方式入库的文件。开始的时候用StreamWriter直接写文件，导入到库里中文都是乱码。换成BinaryWriter w=new BinaryWriter(fs,Encoding.Default)，Encoding.Default.GetBytes(decodedStr)，问题解决。

3. Bcp的设置。数据库配置：

View Code

EXEC sp_configure 'show advanced options', 1
go
RECONFIGURE
go
sp_configure xp_cmdshell,1
go
RECONFIGURE
Go

导入的sql

--导出格式文件
EXEC master..xp_cmdshell
'BCP test..t format nul -f G:\t.fmt -c -T'
--导入数据
EXEC master..xp_cmdshell
'BCP test..tt in G:\test.dat -T -c -f G:\t.fmt -T'

-c表示用\t表示数据元素之间的分隔，\r\n表示一行的结束。

在本机（t510i）上测试，40秒可以导入2m条数据。

Bulk insert比bcp慢的多。

转载于:https://www.cnblogs.com/billowdragon/archive/2011/06/22/2086556.html

读pcap文件，bcp入库，一个小项目的备忘录相关推荐

python读取pcap获得端口_Python处理网络数据包示例（pcapy读pcap文件）
Python处理网络数据包示例(pcapy读pcap文件) 最近在围观python,找了个pcapy处理pcap数据的代码非常非常久以前的东西了,应该是在项目组做的半成品吧.今天重装机器,不经意翻出 ...
mfc如何判断读到文件尾_C++ 判断读取文件尾
主要在于eof()不只是读取文件的最后一个字符,它会接着往后读取,如果此函数返回ture时,则此时返回的文件结束符0xFF才是真正的结尾. 具体内容如下: 在使用C/C++读文件的时候,一定都使用过e ...
python读写文件详解，将数据写入一个文件或读一个文件写入另一个文件中。
目录实践一:读取文件并打印,read() 实践二:读取文件的一行并打印,readline() 实践三:读取文件的所有行存入到一个列表中并打印,readlines() 实践四:向文件中写入字符串,wr ...
C语言解析pcap文件得到HTTP信息实例（原创，附源码）
原文:http://xiexiaohui.com.host2.ugocn.com/index.php/archives/34 转载请注明出处.来自 hello xiexh (xiexiaohui092 ...
使用WinPcap和libpcap类库读写pcap文件（002）PCAP文件格式
本文基本翻译自https://wiki.wireshark.org/Development/LibpcapFileFormat,主要分析pcap文件的格式. 其中一些字段可能和现在的WinPcap类库 ...
【C/C++11】天气APP：txt/xml文件处理入库（psurfdata.cpp，_shqx.h），数据结构设计（PowerDesigner）
文章目录 1.txt/xml文件入表/自身调度:结构体内容 2.分区/表空间/网络/主键/错误优化:chown -R 用户 3.历史文件/表数据清理:生成测试数据后去采集,采集后未删除文件,因为数据不 ...
c语言编程题报文解析,C语言解析pcap文件得到HTTP信息实例
程序功能为解析由Wireshark生成的pcap文件. 实现步骤: 1)用Wireshark软件抓包得到test.pcap文件 2)程序:分析pcap文件头 -> 分析pcap_pkt头 -&g ...
解析pcap文件并提取其中五元组
解析pcap文件并提取其中五元组最近在学习分析pcap文件中的数据包,其中数据包的五元组(源IP,目的IP,源端口,目的端口,协议类型,共13个字节)可以用来作为数据流的标识.我们可以将五元组提取出 ...
使用WinPcap和libpcap类库读写pcap文件（001）开发环境配置
最近的项目要求写一个读写pcap文件的小程序,用来修改pcap中的部分信息,实现pcap的定制. 所以必须学会使用wireshark并能有利用WinPcap库和libpcap库进行开发. 虽然本文记录 ...

读pcap文件，bcp入库，一个小项目的备忘录

读pcap文件，bcp入库，一个小项目的备忘录相关推荐

最新文章

热门文章