python执行sql 语句

数据etl 过程中会涉及到调度，也就是每天要定时执行的任务，这些任务执行过程中其实是通过底层的脚本代码来进行数据的清洗转换等处理的。而脚本代码中肯定会涉及到调用sql 语句的情况，最近项目正好用到python 脚本调用sql 进行数据处理的需求。

直接上代码

import configparser
import pymysql# 读取配置文件
conf = configparser.RawConfigParser()
conf.read("D:\PycharmProjects\economic_relation\\venv\Include\control\conf.ini")
# 获取源数据库参数
sourceDBUrl  = str(conf.get('soureDB', 'sourcedburl'))
sourceDBUser = str(conf.get('soureDB', 'sourcedbuser'))
sourceDBKey =  str(conf.get('soureDB', 'sourcedbkey'))
sourceDataBse = str(conf.get('soureDB', 'sourcedatabse'))#链接源数据库
conn = pymysql.connect(host=sourceDBUrl, user=sourceDBUser, passwd=sourceDBKey, db=sourceDataBse, charset='utf8')
cur = conn.cursor(cursor=pymysql.cursors.DictCursor)#读取sql文件
# file=open("D:\PycharmProjects\economic_relation\\venv\Include\sql\\test_create",mode='r',encoding='utf-8')
sql_path="D:\PycharmProjects\economic_relation\\venv\Include\sql\\create_table"def execute_sql_file(sql_path):with open(sql_path,'r+',encoding='utf8') as f:# 将sql 用; 分割 并多行合并成一行sql_list = f.read().split(';')[:-1]sql_list = [x.replace('\n', ' ') if '\n' in x else x for x in sql_list]#执行每一条sqlfor sql_item  in sql_list:print ("sql语句:",sql_item)try:effect_row = cur.execute(sql_item)conn.commit()print('effect rows is {}'.format(effect_row))except Exception as e:print("error:",e)
#执行
execute_sql_file(sql_path)
#关闭资源
cur.close()
conn.close()

配置文件

python执行sql 语句相关推荐

SQL（八）- python执行SQL语句
PyMySQL python 3.x版本中连接MySQL数据库使用第三方库pysqhl: python 2.x版本中连接MySQL数据库使用第三方库mysqldb: 连接PyMySQL 安装: pip ...
python 执行sql语句_python中脚本怎么执行sql语句？
python连接mysql并执行SQL语句的方法步骤: 1.创建与数据库连接对象 2.建立游标对象 3.利用游标对象执行SQL语句命令 4.#提交到数据库 5.关闭游标对象 6.关闭数据库连接 7. ...
Python 技术篇-连接oracle数据库并执行sql语句实例演示，python连接oracle数据库oci详细配置方法
Python 连接 Oracle 数据库第一章:连接 oracle 数据与环境配置 ① 连接 oracle 数据库效果演示 ② oci 下载 ③ oci 配置 ④ 环境变量配置 ⑤ 检测是否有 or ...
python中执行sql语句_python中执行sql语句
来源:疯狂的蚂蚁的博客总结和整理本文介绍了 Python 操作 MYSQL.执行 SQL 语句.获取结果集.遍历结果集.取得某个字段.获取表字段名....... (游标对象)用于执行查询和获取 ...
python传递参数给sql_Python MySQLdb 执行sql语句时的参数传递方式
使用MySQLdb连接数据库执行sql语句时,有以下几种传递参数的方法. 1.不传递参数 conn = MySQLdb.connect(user="root",passwd=&qu ...
Python 技术篇-操作oracle数据库执行SQL语句报错，提示ORA-00911: 无效字符解决方法
cursor.execute("select name from v$datafile;") 执行 sql 语句提示无效字符. 原因就是我加入了 ; 号. 改成 cursor.ex ...
【Python】Pandas在数据库中执行SQL语句并加载结果
提示建议采用 try-except-finally- 或者 try-finally- ,保证与数据库的连接被关闭. SQL语句入门很简单 (精深很难) ,不会的自己去简单学学. 建库建表注意con ...
Python mysql操作执行sql语句插入\查询等
啊直接上代码了. 这个代码我用来做jenkins的构建记录的查询和写入的(在成功构建后,命令行执行的形式,执行该代码) (需要项目源码加v:ct-xiaozhou;非机构,行业变迁,多个好友多点可能性 ...
python写sql语句_Python操作文件模拟SQL语句功能
一.需求当然此表你在文件存储时可以这样表示 1,Alex Li,22,13651054608,IT,2013-04-01 现需要对这个员工信息文件,实现增删改查操作 1. 可进行模糊查询,语法至少支 ...

python执行sql 语句

python执行sql 语句

直接上代码

配置文件

python执行sql 语句相关推荐

最新文章

热门文章