sql server 多条记录数据合并为一条_如何利用Python实现SQL自动化?
全文共5520字,预计学习时长16分钟
来源:Pexels
笔者在工作中经常要使用SQL,其不乏存在恼人的细微差异和种种限制,但说到底,它是数据行业的基石。因此,对于每一位数据领域的工作者,SQL都是不可或缺的。精通SQL意义非凡。
SQL是很不错,但怎么能仅满足于“不错”呢?为什么不进一步操作SQL呢?
陈述性语句会诱发SQL限制的发生,就是说,向SQL寻求数据,SQL会在特定数据库找寻并反馈。对于许多数据提取或简单的数据操作任务来说,这已经足够了。
但如果有更多需求怎么办?
本文将为你展示如何操作。
从基础开始
import pyodbcfrom datetime import datetimeclassSql: def__init__(self, database, server="XXVIR00012,55000"): # here we are telling python what to connect to (our SQL Server) self.cnxn = pyodbc.connect("Driver={SQL Server Native Client 11.0};" "Server="+server+";" "Database="+database+";" "Trusted_Connection=yes;") # initialise query attribute self.query ="-- {}-- Made in Python".format(datetime.now() .strftime("%d/%m/%Y"))
这个代码就是操作MS SQL服务器的基础。只要编写好这个代码,通过Python 连接到SQL 仅需:
sql = Sql('database123')
很简单对么?同时发生了几件事,下面将对此代码进行剖析。class Sql:
首先要注意,这个代码包含在一个类中。笔者发现这是合乎逻辑的,因为在此格式中,已经对此特定数据库进行了增添或移除进程。若见其工作过程,思路便能更加清晰。
初始化类:
def __init__(self, database,server="XXVIR00012,55000"):
因为笔者和同事几乎总是连接到相同的服务器,所以笔者将这个通用浏览器的名称设为默认参数server。
在“Connect to Server”对话框或者MS SQL Server Management Studio的视窗顶端可以找到服务器的名称:
下一步,连接SQL:
self.cnxn =pyodbc.connect("Driver={SQL Server Native Client 11.0};" "Server="+self.server+";" "Database="+self.database+";" "Trusted_Connection=yes;")
pyodbc 模块,使得这一步骤异常简单。只需将连接字符串过渡到 pyodbc.connect(...) 函数即可,点击以了解详情here。
最后,笔者通常会在 Sql 类中编写一个查询字符串,sql类会随每个传递给类的查询而更新:
self.query = "-- {}--Made in Python".format(datetime.now() .strftime("%d/%m/%Y"))
这样便于记录代码,同时也使输出更为可读,让他人读起来更舒服。
请注意在下列的代码片段中,笔者将不再更新代码中的self.query 部分。
组块
一些重要函数非常有用,笔者几乎每天都会使用。这些函数都侧重于将数据从数据库中传入或传出。
以下图文件目录为始:
对于当前此项目,需要:
· 将文件导入SQL
· 将其合并到单一表格内
· 根据列中类别灵活创建多个表格
SQL类不断被充实后,后续会容易很多:
import syssys.path.insert(0, r'C:Usermediumpysqlpluslib')import osfrom data importSqlsql =Sql('database123') # initialise the Sql objectdirectory =r'C:Usermediumdata' # this is where our generic data is storedfile_list = os.listdir(directory) # get a list of all filesfor file in file_list: # loop to import files to sql df = pd.read_csv(directory+file) # read file to dataframe sql.push_dataframe(df, file[:-4])# now we convert our file_list names into the table names we have imported to SQLtable_names = [x[:-4] for x in file_list]sql.union(table_names, 'generic_jan') # union our files into one new table called 'generic_jan'sql.drop(table_names) # drop our original tables as we now have full table# get list of categories in colX, eg ['hr', 'finance', 'tech', 'c_suite']sets =list(sql.manual("SELECT colX AS 'category' FROM generic_jan GROUP BY colX", response=True)['category'])for category in sets: sql.manual("SELECT * INTO generic_jan_"+category+" FROM generic_jan WHERE colX = '"+category+"'")
从头开始。
入栈数据结构
defpush_dataframe(self, data, table="raw_data", batchsize=500): # create execution cursor cursor = self.cnxn.cursor() # activate fast execute cursor.fast_executemany =True # create create table statement query ="CREATE TABLE ["+ table +"] (" # iterate through each column to be included in create table statement for i inrange(len(list(data))): query +="[{}] varchar(255)".format(list(data)[i]) # add column (everything is varchar for now) # append correct connection/end statement code if i !=len(list(data))-1: query +="," else: query +=");" cursor.execute(query) # execute the create table statement self.cnxn.commit() # commit changes # append query to our SQL code logger self.query += ("-- create table"+ query) # insert the data in batches query = ("INSERT INTO [{}] ({})".format(table, '['+'], [' # get columns .join(list(data)) +']') + "VALUES(?{})".format(", ?"*(len(list(data))-1))) # insert data into target table in batches of 'batchsize' for i inrange(0, len(data), batchsize): if i+batchsize >len(data): batch = data[i: len(data)].values.tolist() else: batch = data[i: i+batchsize].values.tolist() # execute batch insert cursor.executemany(query, batch) # commit insert to SQL Server self.cnxn.commit()
此函数包含在SQL类中,能轻松将Pandas dataframe插入SQL数据库。
其在需要上传大量文件时非常有用。然而,Python能将数据插入到SQL的真正原因在于其灵活性。
要横跨一打Excel工作簿才能在SQL中插入特定标签真的很糟心。但有Python在,小菜一碟。如今已经构建起了一个可以使用Python读取标签的函数,还能将标签插入到SQL中。
Manual(函数)
defmanual(self, query, response=False): cursor = self.cnxn.cursor() # create execution cursor if response: returnread_sql(query, self.cnxn) # get sql query output to dataframe try: cursor.execute(query) # execute except pyodbc.ProgrammingErroras error: print("Warning:{}".format(error)) # print error as a warning self.cnxn.commit() # commit query to SQL Server return"Query complete."
此函数实际上应用在union 和 drop 函数中。仅能使处理SQL代码变得尽可能简单。
response参数能将查询输出解压到DataFrame。generic_jan 表中的colX ,可供摘录所有独特值,操作如下:
sets =list(sql.manual("SELECT colX AS 'category' FROM generic_jan GROUP BYcolX", response=True)['category'])
Union(函数)
构建 了manual 函数,创建 union 函数就简单了:
defunion(self, table_list, name="union", join="UNION"): # initialise the query query ="SELECT * INTO ["+name+"] FROM (" # build the SQL query query +=f'{join}'.join( [f'SELECT [{x}].* FROM [{x}]'for x in table_list] ) query +=") x" # add end of query self.manual(query, fast=True) # fast execute
创建 union 函数只不过是在循环参考 table_list提出的表名,从而为给定的表名构建 UNION函数查询。然后用self.manual(query)处理。
Drop(函数)
上传大量表到SQL服务器是可行的。虽然可行,但会使数据库迅速过载。 为解决这一问题,需要创建一个drop函数:
defdrop(self, tables): # check if single or list ifisinstance(tables, str): # if single string, convert to single item in list for for-loop tables = [tables] for table in tables: # check for pre-existing table and delete if present query = ("IF OBJECT_ID ('["+table+"]', 'U') IS NOT NULL " "DROP TABLE ["+table+"]") self.manual(query) # execute
view rawpysqlplus_drop_short.py hosted with ❤ by GitHub
点击
https://gist.github.com/jamescalam/b316c1714c30986fff58c22b00395cc0
得全图
同样,此函数也由于 manual 函数极为简单。操作者可选择输入字符到tables ,删除单个表,或者向tables提供一列表名,删除多个表。
来源:Pexels
当这些非常简单的函数结合在一起时,便可以利用Python的优势极大丰富SQL的功能。
笔者本人几乎天天使用此法,其简单且十分有效。
希望能够帮助其他用户找到将Python并入其SQL路径的方法,感谢阅读!
留言点赞关注
我们一起分享AI学习与发展的干货
如转载,请后台留言,遵守转载规范
sql server 多条记录数据合并为一条_如何利用Python实现SQL自动化?相关推荐
- sql server 多条记录数据合并为一条_面试必备sql知识点——MySQL基础
在刷了上百道sql题后,发现所有的题目都是基于某一个或几个知识点来做考察的,所以理清基础的知识细节,才能在题目考察到任意知识点时,找到解决线索. 温故而知新,学习在于总结,于是我再次对已经学习过的my ...
- Java实现多条相同数据合并为一条数据
标题 前言 方法一: List 不建议使用 方法二: Map 不建议使用 方法三: sql实现 ==最简单 不用动脑.推荐使用== 方法四,推荐使用 一条数据拆分多条数据 前言 首先说明一下场景啊,今 ...
- mysql 合并两个update_如何将多条update语句合并为一条
需求: 如何将多条update语句合并为一条update语句: 如,update table1 set col='2012' where id='2014001' update table1 set ...
- SQL SERVER将多行数据合并成一行(转载)
昨天遇到一个SQL Server的问题:需要写一个储存过程来处理几个表中的数据,最后问题出在我想将一个表的一个列的多行内容拼接成一行 比如表中有两列数据 : ep_classes ep_name A ...
- react + ant design 实现动态合并Table表格(相同数据合并为一条)
一.首先来看看需求,主要就是一个表格的合并 这里是官方文档给出的关于合并的方法 表头只支持列合并,使用 column 里的 colSpan 进行设置. 表格支持行/列合并,使用 render 里的单元 ...
- SQL SERVER将多行数据合并成一行
1)比如表中有三列数据: 2)执行如下查询: SELECT [USERNAME], [USERACCOUNT], [ROLENAME] = stuff((SELECT ',' + [ROLENAME] ...
- python从数据库取数据 显示字段名_如何在python中将SQL数据库中的字段名放入列表中...
以下是我目前掌握的代码:from ConfigParser import * import MySQLdb configuration = ConfigParser() configuration.r ...
- server多笔记录拼接字符串 sql_sqlserver 将多行数据查询合并为一条数据
有这样一个需求:表T_FUN_TASK为任务表,有字段(TASKID,TASKNAME),表T_FUN_LOGBOOK为日志表,有字段(LOGID,TASKID,LOGDATE),一个任务可持续多天, ...
- SQL Server 2008 R2导出数据脚本和导入数据库脚本的方法(原创+转载)
以前看到有些朋友说必须SQL Server 2008才能导出包含数据的脚本,后来仔细研究发现其实SQL Server 2008 R2也是可以的,只需在导出的时候在高级中设置一下即可. 1.首先在数据库 ...
最新文章
- java runnable 启动_Java开发笔记(九十七)利用Runnable启动线程
- 突然吐字不清_突然口齿不清是什么病
- 12、Kubernetes核心技术Ingress
- Linux内核出错的栈打印详解,linux内核中打印栈回溯信息 - dump_stack()函数分析
- 数据结构:用栈实现中缀表达式的求值(文字描述+详细步骤示例)
- web3@0.20.1 在依据abi创建智能合约的时候报错 TypeError: web3.eth.contract is not a function
- 企业微信怎么删除好友 企业微信如何删除成员
- Eclipse properties.config.yml 配置文件中文编码问题。Eclipse 配置文件插件解决方案
- Silverlight 5 强袭 !! 圣临王者之三端大一统
- 在.NET 对XML的一些基本操作
- php 接口类,抽象类 的实际作用
- 计算机的运算符号,运算符号包括哪些
- C++输出平行四边形和菱形
- 20 个有用的 Go 语言微服务开发框架吐血总结!!!
- 中文写代码?开始不信后来用中文写了剧情小游戏!嗯,真香~
- c /c++语法之extern关键字
- java输入一个整数对应英文星期_C语言实验——输入数字星期,输出英文(switch语句)...
- 2022 IDEA大会引领科技创新趋势 沈向洋团队重磅发布低空经济白皮书
- 微信中无法直接下载秒借类金融贷款APP的解决方案
- 小马哥---山寨仿苹果6s 低配主板T618 9900 915D4Q-F 拆机主板多图