sqlite 数据量_向SQLite批量导入csv,txt数据

将csv或者txt格式的文件导入SQLite一般有两种方式：

使用pandas.readcsv()读取后，用to_sql方法写入数据库
使用SQLiteStudio创建表格，再导入数据

但是这两种方法在数据量比较大的时候会非常慢，这里提供一种使用官网提供的SQLite.exe命令行的方式

下载SQLite.exe

SQLite Download Pagesqlite.org

下载解压即可

2. 把SQLite.exe和需要导入的csv,txt复制到数据库所在文件夹

3. 运行SQLite.exe

sqlite> .open database.db   #打开数据库
sqlite> .database    #用于验证：显示目前连接的数据库路径main: D:python testSQLiteDBdatabase.dbsqlite> .table    #用于验证：显示这个数据库有哪些表格tableAsqlite> .separator ","  #指定分隔符为","
sqlite> .import importdata.txt tableA   # .import FileName TableName

删除表：drop table tableName

Notice:

如果需要导入的表的单元格内容里面包含分隔符","或者"/t"，会导致导入失败，需要设置一个不常见的分隔符如";"

修改列表分隔符为你想要的符号之后(;), 选择excel的导出功能，导出为csv(逗号分隔), 此时导出的文件就是采用";"分隔符的了

再次使用上面的命令行，指定.separator ";"

sqlite 数据量_向SQLite批量导入csv,txt数据相关推荐

python 录入数据不重复_python Django批量导入不重复数据
本文为大家分享了python Django批量导入不重复数据的实现代码,供大家参考,具体内容如下程序如下: #coding:utf-8 import os os.environ.setdefault ...
oracle大数据量迁移，分批量导入样例（fetch...bulk collect）以及forall结合使用
//插入时不产生日志, alter table IALHospitalInfo nologging; //记录时间 set timing on; declareCURSOR cur is select ...
一招教你数据仓库如何高效批量导入与更新数据
摘要:GaussDB(DWS)支持的MERGE INTO功能,可以同时进行大数据量的更新与插入.对于数据仓库是一项非常重要的技术. 本文分享自华为云社区<一招教你如何高效批量导入与更新数据> ...
VBA批量导入CSV文件、批量改数据标题、批量做数据透视表
'本代码是利用VB批量导入CSV文件,并且每个文件存为一个Sheet '前提是所有CSV文件和运行宏的这个文件在同一个文件夹 '不智能的地方是我预先知道有多少个CSV文件,然后把文件名改为1.csv, ...
一招教你如何高效批量导入与更新数据
一招教你如何高效批量导入与更新数据前言如果有一张表,我们既想对它更新,又想对它插入应该如何操作? 可以使用 UPDATE 和 INSERT 完成你的目标. 如果你的数据量很大,想尽快完成任务执行, ...
EasyExcel 批量导入并校验数据
文章目录前言一.pom 二.使用步骤 1.导入对象 2.读入数据并保存前言 EasyExcel 批量导入并校验数据一.pom <dependency><groupId> ...
solr使用网页浏览器批量导入数据库中数据（本案例是mysql）
如果想要知道如何安装solr,集成IKAnalyzer中文分词器,批量导入数据库数据,java使用参照以下本博主博文: 安装solr https://blog.csdn.net/u013294097/ ...
java操作mysql导表_Java实现批量导入excel表格数据到数据库中的方法
本文实例讲述了Java实现批量导入excel表格数据到数据库中的方法.分享给大家供大家参考,具体如下: 1.创建导入抽象类 package com.gcloud.common.excel; impor ...
R—读取数据（导入csv,txt,excel文件）
R-读取数据(导入csv,txt,excel文件) 转自:http://www.cnblogs.com/zhangduo/p/4440314.html 导入CSV.TXT文件 read.table函数 ...

sqlite 数据量_向SQLite批量导入csv,txt数据

sqlite 数据量_向SQLite批量导入csv,txt数据相关推荐

最新文章

热门文章