python批量导入MySQL的表头、扩展插入（datetime）类型主键

目标：1.在EXCEL中编辑table name、数据格式、数据类型和备注等信息，把excel中col_1列的值作为表头，col_2列的值作为数据类型,col_3列的值作为约束类型，在mysql中创建table。2.以datetime类型为主键，先按一定顺序扩展主键列，然后更新数据。
目的（起因）：1.需要在创建一个table来存储数据，大约300列。通过敲create、alter来创建表，太累，容易出错，日后维护修改麻烦。2.更新时间序列数据，虽然有某些行无数据的情况，但想在tables中保留改行，以便分析数据缺失情况。在网上找了很多，各种出bug。下面分享下自己的解决办法。
配置及工具：win10(LTSC）、python3.7.5、mysql(8.0)、pycharm、jupyter notebook、mysql.connector（我是初学者，随机选的这个）、其它库（pandas,datetime,numpy）
方法：
一、表头问题
字符串拼接的方法拼接出sql，通过cursor.execute(sql)，create、alter实现目标
二、扩展datetime主键列
pandas.date_range生成时间序列，用numpy.array().reshape(len(),1)把一维转置成二维，最后格式换成tuple组成的list，最后用cursor.executemany(sql)，inset into命令扩展数据列。
目标格式：[('2020-01-02 00:00:06',), ('2020-01-02 00:10:06',), ('2020-01-02 00:20:06',)]，
错误格式(['2020-01-02 00:00:06'], ['2020-01-02 00:10:06'], ['2020-01-02 00:20:06'])
、[['2020-01-02 00:00:06'], ['2020-01-02 00:10:06'], ['2020-01-02 00:20:06']]
、[('2020-01-02 00:00:06'), ('2020-01-02 00:10:06'), ('2020-01-02 00:20:06')]，。为什么时候元组，我也不懂，别人的测试中，其它格式都行，我这里只有这个格式可以。视乎元组中那个逗号（","）很重要。
很多东西还不懂，望指教。

import mysql.connector
import pandas
import datetime
import numpy
config={'user':'root','password':'~~','database':'~~'}
con=mysql.connector.connect(**config)#可变长变量**config
cursor=con.cursor()
#问题一解决办法
path=r'~~'
df_bi = pandas.read_excel(path)
#
sqa = 'CREATE TABLE test('
sqb = 'date_time DateTime PRIMARY KEY'
sqc = df_bi.loc[1]['col_1'] + ' ' + df_bi.loc[1]['col_2'] + ' ' + df_bi.loc[1]['col_3'] + ' '
sqn = ');'
#col_1:表头，col_2:数据类型,col_3:约束类型
cursor.execute(sql)
con.commit()
#问题二解决办法
#创建时间序列
ds = pandas.date_range(start='2020-01-02 0:0:6',periods =3,freq ='10T')
#转换时间序列
str=pandas.to_datetime(ds).strftime("%Y-%m-%d %H:%M:%S")
#print(str)
#Index(['2020-01-02 00:00:06', '2020-01-02 00:10:06', '2020-01-02 00:20:06'], dtype='object')
val =numpy.array(str).reshape(len(str),1)
val=val.tolist()
for i in range(len(val)):val[i]=tuple(val[i])
#print(val)
#[('2020-01-02 00:00:06',), ('2020-01-02 00:10:06',), ('2020-01-02 00:20:06',)]
sql= "INSERT INTO test(date_time) VALUES(%s);"
cursor.executemany(sql,val)
con.commit()
cursor.close()
con.close()

python批量导入MySQL的表头、扩展插入（datetime）类型主键相关推荐

Python批量导入图片生成能治疗颈椎病的HTML5版课件
本文要点:Python文件操作,HTML5的figure元素和CSS3属性的用法. 说明:1):本文图片来自于相关阅读中Python批量导出多个PPT/PPTX文件中每个幻灯片为独立JPG图片或Pyt ...
python批量导入图片_Python批量导入图片生成PowerPoint 2007+文件
原标题:Python批量导入图片生成PowerPoint 2007+文件说明:本文是"Python批量爬取微信公众号文章中的图片"的后续文章,用来把从公众号批量抓取的图片还原为P ...
python批量导入网页信息_python批量导入数据进Elasticsearch的实例
ES在之前的博客已有介绍,提供很多接口,本文介绍如何使用python批量导入.ES官网上有较多说明文档,仔细研究并结合搜索引擎应该不难使用. 先给代码 #coding=utf-8 from datet ...
Houdini python批量导入abc
Houdini python批量导入abc 在项目中经常与遇到有大量的abc文件需要导入的问题,这个时候就需要批量导入abc来完成后面的工作第一次写小工具,离高手还很远,继续学习中直接上代码去博 ...
mysql java datetime_Java向mysql数据库插入datetime类型数据实例（精）
在Mysql数据库中日期跟时间有两种: 1.date类型,date类型也就是我们常见的储存yyyy-MM-dd类型的日期,它不能储存时间,也就是只能储存日期, 2.dateitme就是可以储存日期同时 ...
MyBatis框架——mybatis插入数据返回主键（mysql、oracle）
向数据库中插入数据时,大多数情况都会使用自增列或者UUID做为主键.主键的值都是插入之前无法知道的,但很多情况下我们在插入数据后需要使用刚刚插入数据的主键,比如向两张关联表A.B中插入数据(A的主键是 ...
oracle 导入数据时主键丢失,Oracle 插入数据返回主键
场景:解决getJdbcTemplate往oracle数据库中插入数据返回主键出错有关问题解决getJdbcTemplate往oracle数据库中插入数据返回主键出错问题我们使用Spring中的J ...
Mybatis批量插入，返回主键ID不成功，巨坑
一.场景说明批量插入,返回主键ID报错 org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibati ...
MySql基础篇---003 SQL之DDL、DML、DCL使用篇：创建和管理表，数据处理之增删改，MySQL数据类型精讲，约束:联合主键
第10章_创建和管理表讲师:尚硅谷-宋红康(江湖人称:康师傅) 官网:http://www.atguigu.com 1. 基础知识 1.1 一条数据存储的过程存储数据是处理数据的第一步.只有正确地 ...

python批量导入MySQL的表头、扩展插入（datetime）类型主键

python批量导入MySQL的表头、扩展插入（datetime）类型主键

python批量导入MySQL的表头、扩展插入（datetime）类型主键相关推荐

最新文章

热门文章

python批量导入MySQL的表头、扩展插入（datetime）类型主键

python批量导入MySQL的表头 、扩展插入（datetime）类型主键

python批量导入MySQL的表头、扩展插入（datetime）类型主键相关推荐

最新文章

热门文章

python批量导入MySQL的表头、扩展插入（datetime）类型主键