大文件CSV导入MYSQL_将大csv文件导入cp网站出租搭建mysql数据库

我这边是利用pandas和pymysql来实现将csv文件导入到MySQL数据库的

cp网站出租搭建170--618--63521 (vx同tel)QQ;1152--880099

首先说一下实现逻辑，就是将csv读取到dataframe中，然后把按行读取数据，将每行的数据添加到列表中，在利用pymysql这个包将数据添加到数据库。

代码如下：

import pandas as pd

import pymysql

#读取数据

test = pd.read_csv(r'Antai_AE_round1_item_attr_20190626/Antai_AE_round1_item_attr_20190626.csv')

test.head()

#连接数据库

db = pymysql.connect(host="IP地址",user="数据库用户名", passwd="密码",db="要连接的数据库",charset='utf8')

#定义操作函数

def insert_deta():

list1 = []

num = 0

cursor = db.cursor()

for i in range(0,test.shape[0]): # 利用shape的第一个元素来获取数据的数量

row_data = test.iloc[i] # 获取第每行数据

value = (str(row_data[0]),str(row_data[1]),str(row_data[2]),str(row_data[3])) #读取第每行中每列数据，由于数据库添加使用的都是字符串形式添加故都取str

list1.append(value)

num +=1

if num==10000:

sql = "INSERT INTO item(item_id,cate_id,store_id,item_price)VALUES(%s,%s,%s,%s)"

cursor.executemany(sql, list1) # 执行sql语句

db.commit()

num = 0 # 计数归零

list1.clear() # 清空list

cursor.close() # 关闭连接

db.close()

#执行函数

insert_deta()

其中需要说明的是，要实现上述操作，需要先在数据库建好你要导入的那张表。其次我对代码进行了一定的优化，因为添加到数据库是一个耗时操作，所以我利用executemany方法将数据以每10000条来添加到数据库，提高效率。

大文件CSV导入MYSQL_将大csv文件导入cp网站出租搭建mysql数据库相关推荐

excel数据怎么导入mysql_如何将Excel文件导入MySQL数据库
如何将Excel文件导入MySQL数据库本文实例为大家分享了Excel文件导入MySQL数据库的方法,供大家参考,具体内容如下 1.简介本博客给大家分享一个实用的小技能,我们在使用数据库时常常需要 ...
excel 导入mysql_如何将Excel文件导入MySQL数据库
本文实例为大家分享了Excel文件导入MySQL数据库的方法,供大家参考,具体内容如下 1.简介本博客给大家分享一个实用的小技能,我们在使用数据库时常常需要将所需的Excel数据添加进去,如果按照传 ...
js 读取excel 导入mysql_可以读取EXCEL文件的js代码
首页给个有中文说明的例子,下面的例子很多大家可以多测试. function readExcel() { var excelApp; var excelWorkBook; var excelSheet; ...
百万excel导入mysql_百万级xlsx表格导入数据库的实现方案
需求是这样的,供应商给到一份 xlsx 表格(144MB),里面刚好有 100w 行数据(11列).我需要把它们稍作处理后写入到 mysql 数据库项目基于 Laravel,既然需要稍作处理,那我首 ...
oracle 数据导入 mysql_将oracle的数据导入到mysql的三种方法
为了生产库释放部分资源,需要将API模块迁移到MysqL中,及需要导数据. 尝试了oracle to MysqL工具,迁移时报错不说,这么大的数据量,用这种简陋的工具不大可靠. 意外发现平时用的数据库 ...
将txt导入mysql_将Excel或txt导入Mysql(转载)
1.将选中的数据快儿拷贝到一个TXT文本文件中(记得把后面的空格消掉..),假如存到"D:\data.txt"这个位置里. 2.根据要导入的数据快儿建立MySql数据库和表,然后进 ...
阿里云导入 mysql_阿里云服务器怎么导入mysql数据库
阿里云服务器怎么导入mysql数据库,用阿里云上传数据库. 阿里云ECS云服务器2折起,优惠配置多选1,用户实名认证后可购买,每人限1单,第2单起恢复原价:活动配置升级为第四代云服务器,其中入门级配置 ...
从sql抽到mysql_找到一种不错的从SQLServer转成Mysql数据库的方法
找到一种不错的从SQLServer转成Mysql数据库的方法 2021-01-23 12:34:084 年初的时候一直在做一个网站MSSQL2000->MySQL5的迁移工作,因为采用了不同的程 ...
大商创常见问题 mysql_【大商创常见问题】大商创v2.4及以上版本运费设置教程说明...
大商创2.4版本更新了运费模块,特此整理2.4新的运费设置说明以供参考.1.v2.4版本抛弃了以往的在配送方式设置配送地区,如图: 修改后(v2.4及以上版本): 2.添加商品运费模板: 1)入口一, ...
织梦excel导入mysql_织梦dedecms excel导入mysql数据库方法
网上的方法不少,能用的不多,相信以下方法是最靠谱的,值得记录. 一,先进phpmyadmin数据库管理,导出空表,表的格式为csv,然后用记事本打开,注意要统一编码,数据库是utf-8,就把csv转为 ...

大文件CSV导入MYSQL_将大csv文件导入cp网站出租搭建mysql数据库

大文件CSV导入MYSQL_将大csv文件导入cp网站出租搭建mysql数据库相关推荐

最新文章

热门文章