python操作mysql批量插入

一、大量信息插入

通过python向mysql插入大量数据时，可以有两种方法：

1、for + cursor.execute(sql)，最后集中提交（commit()）

2、cursor.executemany(sql,list)

两种方法效率上和功能上有一定差异。26万条数据，使用第一种方法需要约1.5小时，使用第二种方法只需要10几秒。

executemany的用法：

import pymysql
list_1 = [('a',1),('b',2),(None,3)]  # 必须是元组列表的格式
sql_1 = 'insert into 表明(字段1,字段2) values(%s,%s)' # 注意，这里的%s不需要加引号，使用execute需要加引号。另外，executemany 在执行过程中能够将python的None转为sql的null，这一点挺方便的db = pymysql.connect(host= ....)
cursor = db.cursor()
cursor.executemany(sql_1,list_1)
db.commit()
cursor.close()
db.close()
print('完成')

二、自动提交

在创建连接的时候，增加参数 autocommit = 1 ，当发生update等操作时，会实时更新到数据库内。否则要通过 conn.commit() 来提交到数据库进行具体操作。

如果没有设置自动提交，也没有手动提交，当进行插入或更新等操作时，只在本地客户端能看到更新，在其他客户端或数据库内，数据无变化。

# 实时操作，适合随时少量、频繁的更新import pymysql
conn = pymysql.connect(host='XXX.XXX.XXX.XXX', user='XXXXX', password='XXXXX', db='XXXXX', port=3306, charset='utf8',autocommit = 1 ,)# 集中大批量操作数据import pymysql
conn = pymysql.connect(host='XXX.XXX.XXX.XXX', user='XXXXX', password='XXXXX', db='XXXXX', port=3306, charset='utf8',)SQl相关操作略conn.commit()  # 提交

python操作mysql批量插入相关推荐

MySQL(一) Python操控mysql批量插入数据
在Python中,通过pymysql模块,编写简短的脚本,即方便快捷地控制MySQL数据库一.连接数据库使用的函数:pymysql.connect 语法:db=pymysql.connect(ho ...
python mysql批量insert数据_使用python往mysql批量插入数据时，报错not all arguments converted...
我用这段命令可以往mysql数据库插入数据 insert into moderation_task(id, media_id, user_id, media_url_or_path, media_ti ...
python往mysql存入数据_Python操作mysql之插入数据
之前有写过一篇python查询mysql数据的文章,今天写通过python插入数据到mysql数据库. 相关mysql视频教程推荐:<mysql教程> 先建库,建表,建用户mysql> ...
python操作mysql插入数据
python操作mysql插入数据首先安装pymysql这个库 pycharm连接数据库操作mysql语句连接数据库插入数据由于有时候,数据存在excel表格中,需要借助python去读取数 ...
python操作mysql数据库的常用方法使用详解
python操作mysql数据库 1.环境准备: Linux 安装mysql: apt-get install mysql-server 安装python-mysql模块:apt-get instal ...
python socket mysql_5.Python操作MySQL,三层架构,Socket网络编程
Python操作MySQL - MySQL之查询操作 - MySQL之插入数据 - MySQL之批量插入数据 - MySQL之删除数据 - MySQL之更新数据库 - MySQL之事务 - MySQL ...
Python操作MySQL数据库实现数据导入
主要参考了博文python3基础:操作mysql数据库这篇文章写的很详细,基本上把用Python操作MySQL的各种操作都详细解释了,也有配图. 注:在使用Python进行操作之前,首先需要在本地的 ...
Python操作MySQL之SQLAlchemy
Python操作MySQL之SQLAlchemy 原文:https://www.cnblogs.com/ccorz/p/5711955.html SQLAlchemy是Python编程语言下的一款OR ...
python向数据库写入数据_如何用Python向Mysql中插入数据
我们使用Python经常会和Postgresql进行搭配,很少将python和mysql进行搭配.下面小编给大家分享如何用Python向Mysql中插入数据. 工具/原料 Pycharm 方法/步骤 ...
python操作mysql操作步骤
1.安装mysql pip install pymysql 2.导入pymysql from pymysql import * 3.创建数据库连接 conn = connect(host='local ...

python操作mysql批量插入

python操作mysql批量插入相关推荐

最新文章

热门文章