Python实现LOAD DATA INFILE

python实现LOAD DATA INFILE

实现代码如下，注释详解
里面的sql语句是通用的

class Infile():def __init__(self):self.flag = 1def do_load_data_infile(self, filepath=None, filename=None):# 命令传参try:csv_filepath = filepath  # csv文件路径 其实可以和文件名写在一起，看你传参需求csv_filename = filename  # csv格式的文件database = "dbname"  # mysql数据库名dbnametable_name = csv_filename  # mysql表名，假设无表用来建表的名称#打开csv文件file = open(csv_filepath + '/' + csv_filename , 'r',encoding='utf-8')#读取csv文件第一行字段名，创建表reader = file.readline()b = reader.split(',')colum = ''for a in b:colum = colum + a + ' varchar(255),'colum = colum[:-1]#编写sql，create_sql负责创建表，data_sql负责导入数据table = 'create table if not exists ' + table_name + ' ' + '(' + colum + ')' + ' DEFAULT CHARSET=utf8'# print(table_name)data = " load data local infile '" \+ csv_filepath + "/" \+ csv_filename + "'" + \" replace into table "+ database +"." \+ table_name + \" FIELDS TERMINATED BY ','" \" LINES TERMINATED BY '\\r\\n' " \" IGNORE 1 LINES; "  # " LINES TERMINATED BY '\\r\\n' " \# 连接到mysql，主要一定要加上local_infile=1参数，否则会报错的# print('load data local infile ', data)    #load data infile语句，从本地上传所以加local# load data infile 测试代码段conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123456', db=database, local_infile=1) #本地测试用cursor = conn.cursor()cursor.execute('set names utf8')cursor.execute('set character_set_connection=utf8')cursor.execute(table)  #执行建表语句cursor.execute(data)  #执行数据上传语句conn.commit()cursor.close()conn.close()except Exception as e:print(e.args)traceback.print_exc()if __name__ == '__main__':parent_dir = 'C:/Users/Administrator/Desktop/csvfile' #注意'/'df = Infile() # 实例化filelist = os.listdir(parent_dir)   #csv文件所在文件夹所有文件列表# print(filelist)for i in filelist:  # 遍历所有后缀名为csv的文件执行load data infileprint(i)if i.split('.')[-1] == 'csv':# df.Thread_csv(i)df.do_load_data_infile(parent_dir,i)

Python实现LOAD DATA INFILE相关推荐

Python MySQL利用load data infile加载大文件入表
有时候我们需要将大量数据批量写入数据库,直接使用程序语言和Sql写入往往很耗时间,其中有一种方案就是使用MySql Load data infile导入文件的形式导入数据,这样可大大缩短数据导入时间. ...
mysql load data on duplicate_带有ON DUPLICATE KEY UPDATE的MySQL LOAD DATA INFILE
慕勒3428872 这些步骤可用于模拟此功能:1)创建一个新的临时表.CREATE TEMPORARY TABLE temporary_table LIKE target_table;2)(可选)从临 ...
tp5大数据批量导入mysql_TP5框架下MySQL通过LOAD DATA INFILE批量导入数据详细操作
LOAD DATA INFILE 语句用法参考手册本文语句参数使用默认值 PHP: TP框架环境// 定义文件路径 $file_path = 'LOAD_DATA_LOCAL_INFILE.txt ...
tp5 excel 导入 mysql_TP5框架下MySQL通过LOAD DATA INFILE批量导入数据详细操作
LOAD DATA INFILE 语句用法参考手册本文语句参数使用默认值 PHP: TP框架环境// 定义文件路径 $file_path = 'LOAD_DATA_LOCAL_INFILE.txt ...
MySQL: load data infile 需要注意的点
load data infile 批量将文本导入到mysql的表中.主要是为了加快导入记录的速度. ---给个例子: 1.文本如下 t0.txt: "我爱你","20&q ...
[整理]MySql批量数据导入Load data infile解决方案
有时候我们需要将大量数据批量写入数据库,直接使用程序语言和Sql写入往往很耗时间,其中有一种方案就是使用MySql Load data infile导入文件的形式导入数据,这样可大大缩短数据导入时间. ...
为啥mysql的load这么快_mysql – 为什么’LOAD DATA INFILE’比普通的INSERT语句更快？...
LOAD DATA INFILE和扩展INSERT各有其独特的优势. LOAD DATA INFILE设计用于在单个操作中大量加载表格数据以及铃声和口哨声,以执行以下操作: >跳过初始线 > ...
mysql load data into_MySQL 之 LOAD DATA INFILE 快速导入数据
SELECT INTO OUTFILE > help select; Name:'SELECT'Description: Syntax:SELECT [ALL | DISTINCT | DIST ...
mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式)
mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式) 首先将要导入的数据文件top5000W.txt放入到数据库数据目录/var/local/mysql/data/${d ...

Python实现LOAD DATA INFILE

python实现LOAD DATA INFILE

Python实现LOAD DATA INFILE相关推荐

最新文章

热门文章