利用Python实现SQL自动化
笔者在工作中经常要使用SQL,其不乏存在恼人的细微差异和种种限制,但说到底,它是数据行业的基石。因此,对于每一位数据领域的工作者,SQL都是不可或缺的。精通SQL意义非凡。
SQL是很不错,但怎么能仅满足于“不错”呢?为什么不进一步操作SQL呢?
陈述性语句会诱发SQL限制的发生,就是说,向SQL寻求数据,SQL会在特定数据库找寻并反馈。对于许多数据提取或简单的数据操作任务来说,这已经足够了。
但如果有更多需求怎么办?
本文将为你展示如何操作。
从基础开始
import pyodbc
from datetime import datetime
classSql:def__init__(self, database, server="XXVIR00012,55000"):# here we are telling python what to connect to (our SQL Server)self.cnxn = pyodbc.connect("Driver={SQL Server Native Client 11.0};""Server="+server+";""Database="+database+";""Trusted_Connection=yes;")# initialise query attributeself.query ="-- {}\n\n-- Made in Python".format(datetime.now().strftime("%d/%m/%Y"))
这个代码就是操作MS SQL服务器的基础。只要编写好这个代码,通过Python 连接到SQL 仅需:
sql = Sql('database123')
很简单对么?同时发生了几件事,下面将对此代码进行剖析。class Sql:
首先要注意,这个代码包含在一个类中。笔者发现这是合乎逻辑的,因为在此格式中,已经对此特定数据库进行了增添或移除进程。若见其工作过程,思路便能更加清晰。
初始化类:
def __init__(self, database,server="XXVIR00012,55000"):
因为笔者和同事几乎总是连接到相同的服务器,所以笔者将这个通用浏览器的名称设为默认参数server。
在“Connect to Server”对话框或者MS SQL Server Management Studio的视窗顶端可以找到服务器的名称:
下一步,连接SQL:
self.cnxn =pyodbc.connect("Driver={SQL Server Native Client 11.0};""Server="+self.server+";""Database="+self.database+";""Trusted_Connection=yes;")
pyodbc 模块,使得这一步骤异常简单。只需将连接字符串过渡到 pyodbc.connect(...) 函数即可,点击以了解详情here。
最后,笔者通常会在 Sql 类中编写一个查询字符串,sql类会随每个传递给类的查询而更新:
self.query = "-- {}\n\n--Made in Python".format(datetime.now().strftime("%d/%m/%Y"))
这样便于记录代码,同时也使输出更为可读,让他人读起来更舒服。
请注意在下列的代码片段中,笔者将不再更新代码中的self.query 部分。
组块
一些重要函数非常有用,笔者几乎每天都会使用。这些函数都侧重于将数据从数据库中传入或传出。
以下图文件目录为始:
对于当前此项目,需要:
- 将文件导入SQL
- 将其合并到单一表格内
- 根据列中类别灵活创建多个表格
SQL类不断被充实后,后续会容易很多:
import sys
sys.path.insert(0, r'C:\\User\medium\pysqlplus\lib')
import os
from data importSql
sql =Sql('database123') # initialise the Sql object
directory =r'C:\\User\medium\data\\' # this is where our generic data is stored
file_list = os.listdir(directory) # get a list of all files
for file in file_list: # loop to import files to sqldf = pd.read_csv(directory+file) # read file to dataframesql.push_dataframe(df, file[:-4])
# now we convert our file_list names into the table names we have imported to SQL
table_names = [x[:-4] for x in file_list]
sql.union(table_names, 'generic_jan') # union our files into one new table called 'generic_jan'
sql.drop(table_names) # drop our original tables as we now have full table
# get list of categories in colX, eg ['hr', 'finance', 'tech', 'c_suite']
sets =list(sql.manual("SELECT colX AS 'category' FROM generic_jan GROUP BY colX", response=True)['category'])
for category in sets:sql.manual("SELECT * INTO generic_jan_"+category+" FROM generic_jan WHERE colX = '"+category+"'")
从头开始。
入栈数据结构
defpush_dataframe(self, data, table="raw_data", batchsize=500):# create execution cursorcursor = self.cnxn.cursor()# activate fast executecursor.fast_executemany =True# create create table statementquery ="CREATE TABLE ["+ table +"] (\n"# iterate through each column to be included in create table statementfor i inrange(len(list(data))):query +="\t[{}] varchar(255)".format(list(data)[i]) # add column (everything is varchar for now)# append correct connection/end statement codeif i !=len(list(data))-1:query +=",\n"else:query +="\n);"cursor.execute(query) # execute the create table statementself.cnxn.commit() # commit changes# append query to our SQL code loggerself.query += ("\n\n-- create table\n"+ query)# insert the data in batchesquery = ("INSERT INTO [{}] ({})\n".format(table,'['+'], [' # get columns.join(list(data)) +']') +"VALUES\n(?{})".format(", ?"*(len(list(data))-1)))# insert data into target table in batches of 'batchsize'for i inrange(0, len(data), batchsize):if i+batchsize >len(data):batch = data[i: len(data)].values.tolist()else:batch = data[i: i+batchsize].values.tolist()# execute batch insertcursor.executemany(query, batch)# commit insert to SQL Serverself.cnxn.commit()
此函数包含在SQL类中,能轻松将Pandas dataframe插入SQL数据库。
其在需要上传大量文件时非常有用。然而,Python能将数据插入到SQL的真正原因在于其灵活性。
要横跨一打Excel工作簿才能在SQL中插入特定标签真的很糟心。但有Python在,小菜一碟。如今已经构建起了一个可以使用Python读取标签的函数,还能将标签插入到SQL中。
Manual(函数)
defmanual(self, query, response=False):cursor = self.cnxn.cursor() # create execution cursorif response:returnread_sql(query, self.cnxn) # get sql query output to dataframetry:cursor.execute(query) # executeexcept pyodbc.ProgrammingErroras error:print("Warning:\n{}".format(error)) # print error as a warningself.cnxn.commit() # commit query to SQL Serverreturn"Query complete."
此函数实际上应用在union 和 drop 函数中。仅能使处理SQL代码变得尽可能简单。
response参数能将查询输出解压到DataFrame。generic_jan 表中的colX ,可供摘录所有独特值,操作如下:
sets =list(sql.manual("SELECT colX AS 'category' FROM generic_jan GROUP BYcolX", response=True)['category'])
Union(函数)
构建 了manual 函数,创建 union 函数就简单了:
defunion(self, table_list, name="union", join="UNION"):# initialise the queryquery ="SELECT * INTO ["+name+"] FROM (\n"# build the SQL queryquery +=f'\n{join}\n'.join([f'SELECT [{x}].* FROM [{x}]'for x in table_list])query +=") x" # add end of queryself.manual(query, fast=True) # fast execute
创建 union 函数只不过是在循环参考 table_list提出的表名,从而为给定的表名构建 UNION函数查询。然后用self.manual(query)处理。
Drop(函数)
上传大量表到SQL服务器是可行的。虽然可行,但会使数据库迅速过载。为解决这一问题,需要创建一个drop函数:
defdrop(self, tables):# check if single or listifisinstance(tables, str):# if single string, convert to single item in list for for-looptables = [tables]for table in tables:# check for pre-existing table and delete if presentquery = ("IF OBJECT_ID ('["+table+"]', 'U') IS NOT NULL ""DROP TABLE ["+table+"]")self.manual(query) # execute
同样,此函数也由于 manual 函数极为简单。操作者可选择输入字符到tables ,删除单个表,或者向tables提供一列表名,删除多个表。
当这些非常简单的函数结合在一起时,便可以利用Python的优势极大丰富SQL的功能。
笔者本人几乎天天使用此法,其简单且十分有效。
希望能够帮助其他用户找到将Python并入其SQL路径的方法,感谢阅读!
文源网络,仅供学习之用,如有侵权,联系删除。
我将优质的技术文章和经验总结都汇集在了我的公众号【Python圈子】里。
在学习Python的道路上肯定会遇见困难,别慌,我这里有一套学习资料,包含40+本电子书,600+个教学视频,涉及Python基础、爬虫、框架、数据分析、机器学习等,不怕你学不会!还有学习交流群,一起学习进步~
利用Python实现SQL自动化相关推荐
- sql server 多条记录数据合并为一条_如何利用Python实现SQL自动化?
全文共5520字,预计学习时长16分钟 来源:Pexels 笔者在工作中经常要使用SQL,其不乏存在恼人的细微差异和种种限制,但说到底,它是数据行业的基石.因此,对于每一位数据领域的工作者,SQL都是 ...
- python实现sql_如何利用Python实现SQL自动化?
笔者在工作中经常要使用SQL,其不乏存在恼人的细微差异和种种限制,但说到底,它是数据行业的基石.因此,对于每一位数据领域的工作者,SQL都是不可或缺的.精通SQL意义非凡. SQL是很不错,但怎么能仅 ...
- python编写sql注入工具-利用Python实现SQL注入 - Python黑客编程入门系列 - 8
{getUnitName} {getLessonName} 敬请期待 免费 {getTaskName} 剩余观看时长:{watchLimitRemaining} 回放 {activityStartTi ...
- python代码优化无限营销软件工作室_这个教程价值有点高,利用Python制作全自动化营销软件!...
前言 利用Python去控制咱们的手机,这样的话全天24小时你可以解放你自己的双手,功能的话可以根据自己的需求多样化. 既然要控制手机,那么咱们需要利用到一个工具 ADB ,这个东西叫做安卓控制桥梁, ...
- 这个教程价值有点高,利用Python制作全自动化营销软件!
前言 我看到有很多人在卖一款软件,价格还有点小贵.我就想着能不能自己做一款分享给你们,现在我来讲一讲我这个demo的思路. 利用Python去控制咱们的手机,这样的话全天24小时你可以解放你自己的双手 ...
- python对excel增删改查语句_利用python模拟sql语句对员工表格进行增删改查
本文主要给大家介绍了关于python模拟sql语句对员工表格进行增删改查的相关内容,分享出来供大家参考学习,下面来一起看看详细的介绍: 具体需求: 员工信息表程序,实现增删改查操作: 可进行模糊查询, ...
- python对excel增删改查_利用python模拟sql语句对员工表格进行增删改查
本文主要给大家介绍了关于python模拟sql语句对员工表格进行增删改查的相关内容,分享出来供大家参考学习,下面来一起看看详细的介绍: 具体需求: 员工信息表程序,实现增删改查操作: 可进行模糊查询, ...
- python自动化办公 51cto_利用python实现批量自动化运维脚本案例
本文为通过密码或密钥实现python批量自动化运维脚本案例分享,是老男孩linux培训 python课程教学案例内容,后续会分享多线程并发执行这个脚本的更高级的功能(http://oldboy.blo ...
- Spring Boot 实体类 Entity的自动生成,利用Python实现 sql 语句快速转换成 Java 代码(一)
引言 最近,自己开始学习Java后端开发,作为小白,在导师的指导下,一步步开始学习,从如何搭建springboot项目开始,连接上 MySQL 数据库之后,再创建和编写Entity.Controlle ...
最新文章
- termux python 打开摄像头_【图片】将termux打造成合格的python环境(假装是教程贴)_termux吧_百度贴吧...
- flutter 人脸检测_【转载】opencv实现人脸检测
- 【Groovy】闭包 Closure ( 闭包的 delegate 代理策略 | OWNER_FIRST | DELEGATE_FIRST | OWNER_ONLY | DELEGATE_ONLY )
- 图像传感器与信号处理——详解图像传感器噪声
- Eclipse使用时的一些小积累
- 腾讯郑兴:原生安全+协同防御是政企云安全治理的基石
- ddr5内存上市时间_DDR5内存明年才能上市,SK Hynix已预研DDR6:12Gbps
- python中again函数怎么用_《“笨方法”学python 》 once again 20170729
- oracle12c用户名c##_Oracle数据库之oracle12c创建用户提示ORA-65096:公用用户名或角色无效...
- Linux 在 soft lockup 时,可以远程调试吗?
- LaTex中“图片引用失败,显示(??)”的解决办法
- 【离散数学】图论 第七章(6) 图的结点着色和Welch Powell法、平面图着色、希伍德五色定理、四色定理
- 基于ESP32CAM实现WebSocket服务器实时点灯
- 一个程序员的时间管理“辛”路历程
- mysql中tab键作用_MySQL小技巧-mysql命令 tab键数据表名、字段名补全功能
- 如何用cocos2d-x来开发简单的Uphone游戏:(四) 音乐音效 最后的润色
- 爬虫初识(爬取dytt电影列表及下载地址)
- mysql数据库日志操作
- 申请GitHub学生包,0成本搭建WordPress教程
- 对AutoResetEvent和ManualResetEvent的理解
热门文章
- 屌丝男关于游戏市场的一些想法
- latex写姓名_LaTeX 简介
- 隐马尔可夫模型(HHM)学习笔记1
- 个人微信公众号搭建Python实现 -个人公众号搭建-构想(14.3.1)
- nginx 卸载SSL证书
- 【计算机网络】—— 概念、组成、功能和分类
- ubuntu系统下怎么对任意区域的截图
- python web flask开发框架_超好用的Python web开发框架-Flask
- Altium Designer 出现Comma expected at Line...Continue execution
- JavaWeb:网上书店的案例