Linux下和MySQL下利用python插入亿万级数据

##下载mysqldb
首先必须下载mysqldb，下载语句是

yum install MySQL-python

安装之后，在命令行输入

#>>>python
#接下来是python代码
>>>import MySQLdb
>>>#显示出了命令行即为安装成功
>>>exit()#退出python

##插入亿万级数据
作者在写SQL时就知道2种写法（大牛另说），（1）一次插入一条，（2）一次插入多条。
之前在书上看到，一次插入多条会提高sql语句的速度，所以接下来就以（2）为例进行实验插入1000万条的数据。
首先随便建张表

CREATE TABLE `good` (`id` int(10) NOT NULL AUTO_INCREMENT,`name` varchar(255) DEFAULT NULL,`price` double DEFAULT NULL,`color` varchar(255) DEFAULT NULL,`goodNum` int(11) DEFAULT NULL,`brandName` varchar(255) DEFAULT NULL,PRIMARY KEY (`id`)）

Linux下代码如下

import sys
import os
import time
import random as rd
import MySQLdb as mddef test():con=md.connect(host="localhost",user="root",passwd="admin123",db="test")cursor=con.cursor()#sql1="truncate table product"#n=cursor.execute(sql1)tm1=time.time()oriName="sujaloiushtegsk"oriPrice=5000oriPid=1831098for i in range(10000):sql="insert into good(name,price,color,goodNum,brandName) values"#sql="select * from product"tm=time.time()for j in range(10000):#print sqlN1=rd.randint(1,14)N2=rd.randint(1,14)N3=rd.randint(1,14)PP=rd.randint(200,1500)ppid=rd.randint(1,10000)name=oriName[N1]+oriName[N2]+oriName[N3]brandName=oriName[N3]+oriName[N1]color=oriName[N1]+oriName[N3]goodNum=oriPid+ppidprice=oriPrice+PPif j<=9998:sql=sql+"("+"'"+str(name)+"'"+","+str(price)+","+"'"+str(color)+"'"+","+str(goodNum)+","+"'"+str(brandName)+"'"+")"+","#sql=sql+"('123','apple7','6000','aaa','china')"+","else:sql=sql+"("+"'"+str(name)+"'"+","+str(price)+","+"'"+str(color)+"'"+","+str(goodNum)+","+"'"+str(brandName)+"'"+")"+";"#sql=sql+"("+str(pid)+","+"'"+str(pname)+"'"+","+str(price)+","+"'"+str(buyer)+"'"+","+"'"+str(city)+"'"+")"+';'#sql=sql+"('123','apple7','6000','aaa','china')"+";"#print j #print sqln=cursor.execute(sql)con.commit()a=time.time()print "the"+str(i+1)+"'s time is :"+str(a-tm)tm2=time.time()print str(tm2-tm1)con.close()if __name__=="__main__":test()

表名一类的那些大家根据自己的情况修改。作者代码水平欠缺，希望大家别嫌弃~~~
根据我的检测，2000万的数据集大概跑了400s，1亿条的数据跑了1860s=31分钟。因为插入的数据相对简单，并且数据维度比较小，所以还是很快的。
若有其他的改进建议，希望大家不吝赐教。

Linux下和MySQL下利用python插入亿万级数据相关推荐

linux 创建线程函数吗,[笔记]linux下和windows下的创建线程函数
linux下和windows下的创建线程函数 #ifdef __GNUC__ //Linux #include #define CreateThreadEx(tid,threadFun,args) ...
windows环境下利用python进行CGI配置
windows环境下利用python进行CGI配置(win10,visual stdio 2017中的python3.6) 写在前面,初学python,看到python的CGI编程这一章的时候尝试在教 ...
利用Python批量识别电子账单数据
文章目录一.前言二.调用Baidu aip识别三.批量识别电子账单一.前言有一定数量类似如下截图所示的账单,利用 Python 批量识别电子账单数据,并将数据保存到Excel. 百度智能云接 ...
利用Python进行数据分析：数据规整（基于DataFrame）
利用Python进行数据分析:数据规整在许多应用中,数据可能分散在许多文件或数据库中,存储的形式也不利于分析.本部分关注可以聚合.合并.重塑数据的方法. 文章目录利用Python进行数据分析:数据 ...
利用Python对NBA SportUV数据进行可视化及分析
利用Python对NBA SportUV数据进行可视化及分析 SportUV是2005年,由以色列计算机科学家Gal Oz和Miky Tamir 创立的,其实,最早这两位大牛是搞导弹跟踪和高级光学识别 ...
如何利用python处理原始音频数据
特别鸣谢以下更多python教程请到友情连接: 菜鸟教程https://www.piaodoo.com 初中毕业读什么技校 http://cntkd.net 茂名一技http://www.enechn ...
python账单查询软件_利用Python批量识别电子账单数据的方法
这篇文章主要介绍了利用Python批量识别电子账单数据的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下一.前言有一定数量类似如下截图所示的账单,利用 ...
python录入数据至ppt_利用Python进行数据分析之数据加载.ppt
利用Python进行数据分析之数据加载 " " " " 数据加载,存储与文件格式 1,读写文本格式数据: (read_csv,read_table,read_ ...
python插入excel文件数据（递增+随机）
学以致用,在工作中,我们会遇到需要大批量数据来展开工作的情况,但苦于人工造数据费时费力,所以需要使用代码来快速解决这个问题,根据自己的需求进行修改调整,生成适用的excel文件以供测试需要. 思路: ...

Linux下和MySQL下利用python插入亿万级数据

Linux下和MySQL下利用python插入亿万级数据相关推荐

最新文章

热门文章