用python批量向数据库(MySQL)中导入数据

现有数十万条数据,如下的经过打乱处理过的数据进行导入

数据库内部的表格的数据格式如下与下面的表格结构相同

Current database: python_test_1

+-------+-------------+------+-----+---------+----------------+

| Field | Type | Null | Key | Default | Extra |

+-------+-------------+------+-----+---------+----------------+

| id | int(11) | NO | PRI | NULL | auto_increment |

| name | varchar(20) | YES | | NULL | |

| maile | varchar(50) | YES | | NULL | |

| wchat | varchar(50) | YES | | NULL | |

| phone | varchar(50) | YES | | NULL | |

| brith | varchar(50) | YES | | NULL | |

+-------+-------------+------+-----+---------+----------------+

6 rows in set (0.18 sec)

实现方法

import re

from pymysql import connect

# 建立链接

conn = connect(host='localhost', port=3306, db='python_test_1', user='root', password='mysql', charset='utf8')

# 获取游标

cur = conn.cursor()

# 打开文件，读取所有文件存成列表

with open("/home/python/Desktop/code/data01.txt", "r") as file:

# 可以选择readline或者read的方式,但下面的代码要有所变化

data_list = file.readlines()

# 遍历列表

for t in data_list:

# 正则方式匹配处理字符串

text_list = re.split(r"\n", t)

text = re.split(r"\t", text_list[0])

# print(text)

# sql语句

sql = "insert into test_db values (0,%s,%s,%s,%s,%s)"

print(sql)

# 参数化方式传参

row_count = cur.execute(sql,[text[0],text[1],text[2],text[3],text[4]])

# 显示操作结果

print("SQL语句影响的行数为%d" % row_count)

# 统一提交

conn.commit()

# 关闭游标

cur.close()

# 关闭连接

conn.close()

搜索引擎Solr系列(二)： Solr6.2.1 从MySql中导入数据

一:建立MySql测试表,如下图: 二:solr导入配置: 1.新建demo core文件夹,并修改managed-schema里面的配置文件建立索引字段: 2.把mysql-connector-j ...

python从Microsoft Excel文件中导入数据

excel中后缀为csv和xls,二者区别如下:1.xls 文件就是Microsoft excel电子表格的文件格式.2.csv是最通用的一种文件格式,它可以非常容易地被导入各种PC表格及数据库中. ...

从MySQL中导入数据到MongoDB中

从sql中导出需要的数据为csv格式的数据 select field1,field2,...,fieldn from TABLE into outfile '/test.csv' fields ter ...

PHP如何批量更新MYSQL中的数据

最近项目需要用到批量更新数据库里的数据,在网上找了一下这方面的例子,觉得这个还不错,分享给大家. 在这个业务里里面涉及到了更新两张数据表,那么大家是不是会想到非常简单,马上上代码 $sql ,type ...

PHP批量更新MYSQL中的数据

原文链接:https://blog.csdn.net/wuming19900801/article/details/62893429 $sql = "update newhouse_clic ...

学习 MySQL中导入 导出CSV

学习 MySQL中导入 导出CSV http://blog.csdn.net/sara_yhl/article/details/6850107    速度是很快的 导出 select * from t ...

ArcCatalog中通过ArcSDE向Oracle数据库中导入数据

将数据导入到Oracle指定的表空间的具体内容如下: 首先,在ArcCatalog中建立指定表空间的数据库连接(要以指定表空间的用户登录): 然后,在ArcCatlog中定位到数据源,选中并拷贝图层; ...

MySQL 两个数据库表中合并数据

两个数据库表中合并数据 如果有  t1  和 t2 两个数据库表格,它们两个对应的字段是相同的.如何将 t2 的数据插入到t1中去呢? insert into t1 select * from t2 ...

随机推荐

ashx文件不能使用DAL和Model的解决办法

好久没有写web程序了,今天在写web程序时,发现一个问题,在ashx文件中,已经using了DAL和Model命名空间,而且引用中也引用了程序集,可是还报错:未能找到类型或命名空间"Mod ...

【题解】【链表】【Leetcode】Add Two Numbers

You are given two linked lists representing two non-negative numbers. The digits are stored in rever ...

table自适应大小，以及内容换行

在table的样式中加入以下两个样式: table-layout: fixed; word-wrap:break-word;

ES6 系列之 Babel 是如何编译 Class 的(下)

前言 ES5 寄生组合式继承 function Parent (name) { this.name = name; } Parent.prototype.getName = function () { ...

使用Apache JMeter对SQL Server、Mysql、Oracle压力测试(四)

这篇文章是对前面三篇的一个总结: 1.从测试结果来看,原生的数据库性能分别是:SQL Server(4587)>Oracle(271)>Mysql(145),测试数据量分别为5W.50W. ...

Winform下判断文件和文件夹是否存在

//选择文件夹 FolderBrowserDialog dia = new FolderBrowserDialog(); if (dia.ShowDialog() == System.Windows. ...

.NET-分页处理方式

分页方案一: 现在常见的前端框架datatable,easyui等的分页插件,都是采用的前端分页,原理:先将符合条件的数据全部加载到页面上,然后计算分页,进行分页处理.(装载全部数据) 优点: --在 ...

Java基础-DButils工具类(QueryRunner)详解

Java基础-DButils工具类(QueryRunner)详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 如果只使用JDBC进行开发,我们会发现冗余代码过多,为了简化JDBC ...

【WPF】给下拉列表ComboBox绑定数据

思路:给ComboBox控件设置它的ItemSource绑定到ViewModel中的某个列表上,该列表是某个实体类的集合(如List< Person >),而ComboBox列表要显示的是 ...

iOS的AssetsLibrary框架访问所有相片

该框架下有几个类,ALAssetsLibrary,ALAssetsGroup,ALAsset,ALAssetsFilter,ALAssetRepresentation. ALAssetsLibrary ...