量化交易系统之python+mysql（二）

在上一篇文章中《量化交易系统之python+mysql(一)》，实现了插入一条数据的效果。

现在，开始分析真实数据了，以及在开发过程中，进行优化。

问题描述

在mysql方面，遇到如下问题：

1.一支股票，所具有的历史数据，从上市开始到今天，称为纵向数据；现在，A股中有3500+只股票，称为横向数据；也就是说，一张表需要存储纵向数据个数*横向数据个数（3500+），可能需要分表。不过我这里只取最近两年的历史数据，先存储看看吧~

2.新增一张“交易日”的表，即表示那些日期是开市的，因为周末和节假日是休市的，以后会以此来取数据进行回测。

解决方案

问题2的引入，引发了新的需求：根据面向对象原则，一个类做一件事。显然，需要重构代码了。

此次应该有张图~，时间有限，随意一点：

首先，重新建立表结构：


CREATE TABLE t_kdata (id INT auto_increment  PRIMARY KEY,code CHAR(10) NOT NULL COMMENT '股票代码',trade_day CHAR(10) NOT NULL COMMENT '交易日期',open DECIMAL(10,2) NOT NULL COMMENT '开盘价',close DECIMAL(10,2) NOT NULL COMMENT '收盘价',high DECIMAL(10,2) NOT NULL COMMENT '最高价',low DECIMAL(10,2) NOT NULL COMMENT '最低价',amount DECIMAL(25,2) COMMENT '成交额(千元)',vol DECIMAL(25,2) COMMENT '成交量(手)',ma5vol DECIMAL(25,2)  COMMENT '5日平均成交量',ma10vol DECIMAL(25,2) COMMENT '10日平均成交量',ma20vol DECIMAL(25,2) COMMENT '20日平均成交量',ma30vol DECIMAL(25,2) COMMENT '30日平均成交量',ma5 DECIMAL(10,2) COMMENT '5日平均收盘价',ma10 DECIMAL(10,2) COMMENT '10日平均收盘价',ma20 DECIMAL(10,2) COMMENT '20日平均收盘价',ma30 DECIMAL(10,2) COMMENT '30日平均收盘价',ma60 DECIMAL(10,2) COMMENT '60日平均收盘价',pct_chg DECIMAL(10,2) COMMENT '涨跌幅',UNIQUE KEY `UK_code`(`code`,`trade_day`)
)ENGINE=innodb DEFAULT CHARSET=utf8;CREATE TABLE t_trade_day (id INT auto_increment  PRIMARY KEY,trade_day CHAR(10) NOT NULL UNIQUE COMMENT '交易日期'
)ENGINE=innodb DEFAULT CHARSET=utf8;

注：t_trade_day存储交易日；

t_kdata存储K线数据以及对应的技术指标；

然后，重构代码。将每个表的操作，封装于独立的类，通过一个统一dbmgr作为管理者，对外开放，代码清晰。

dbmgr.py

#coding=utf-8
import pymysql
import src.datamgr.t_trade_day as t_trade_day
import src.datamgr.t_kdata as t_kdataclass CDBMgr:def __init__(self, host, user, password, database):self.host = hostself.user = userself.password = passwordself.database = databaseself.connect = Noneself.trade_day = Noneself.kdata = Noneself.connect_db()#connect databasedef connect_db(self):self.connect = pymysql.connect(self.host, self.user, self.password, self.database, charset = "utf8")self.trade_day = t_trade_day.CT_Tradeday(self.connect)self.kdata = t_kdata.CT_Kdata(self.connect)#增加k线数据def add_kdata(self, code, trade_day, open, close, high, low, vol):if self.connect is None:return -1self.kdata.add_kdata(code,trade_day, open, close, high, low, vol)#根据股票代码，删除表中的数据def del_kdata(self,code):if self.connect is None:return -1self.kdata.del_kdata(code)def modify_kdata(self, code, open, close, high, low, vol):if self.connect is None:return -1self.kdata.modify_kdata(code, open, close, high, low, vol)#判断某个股票代码是否存在def exist_kdata(self, code):if self.connect is None:return -1return self.kdata.exist_kdata(code)def query_kdata(self, code):if self.connect is None:return -1return self.kdata.query_kdata(code)######################################################################### 判断某个交易日期是否存在def exist_trade_day(self, trade_day):if self.connect is None:return -1return self.trade_day.exist_trade_day(trade_day)def add_trade_day(self, trade_day):if self.connect is None:return -1return self.trade_day.add_tradeday(trade_day)

t_kdata.py

#coding=utf-8
import pymysqlclass CT_Kdata:def __init__(self, connect):self.connect = connect#增加k线数据def add_kdata(self, code, trade_day, open, close, high, low, vol):if self.connect is None:return -1ret = self.exist_kdata_day(code, trade_day)if ret > 0:return 0# 得到一个可以执行SQL语句的光标对象cursor = self.connect.cursor()# sql语句sql = "insert into t_kdata (code,trade_day, open, close, high, low, vol) VALUE (%s,%s,%s,%s,%s,%s,%s);"print(sql)try:# 执行SQL语句cursor.execute(sql, (code, trade_day, open, close, high, low, vol))#cursor.execute(sql)# 把修改的数据提交到数据库self.connect.commit()except Exception as e:# 捕捉到错误就回滚self.connect.rollback()print(e)# 关闭光标对象cursor.close()#根据股票代码，删除表中的数据def del_kdata(self, code):if self.connect is None:return -1# 得到一个可以执行SQL语句的光标对象cursor = self.connect.cursor()# sql语句sql = "delete from t_kdata where code=%s;"print(sql)try:# 执行SQL语句cursor.execute(sql, (code,))# 把修改的数据提交到数据库self.connect.commit()except Exception as e:# 捕捉到错误就回滚self.connect.rollback()print(e)# 关闭光标对象cursor.close()def modify_kdata(self, code, trade_day, ma5, ma10, ma20):if self.connect is None:return -1# 得到一个可以执行SQL语句的光标对象cursor = self.connect.cursor()# sql语句sql = "update t_kdata set ma5='"+ma5 +\"' ,ma10='" + ma10 +\"' ,ma20='" + ma20 +\"' where code='" + code +"' and trade_day='" + trade_day + "';"print(sql)try:# 执行SQL语句cursor.execute(sql)# 把修改的数据提交到数据库self.connect.commit()except Exception as e:# 捕捉到错误就回滚self.connect.rollback()print(e)# 关闭光标对象cursor.close()#判断某个股票代码是否存在def exist_kdata(self, code):if self.connect is None:return -1# 得到一个可以执行SQL语句的光标对象cursor = self.connect.cursor()# sql语句sql = "select 1 from t_kdata where code = '"+code+"' limit 1;"print(sql)try:# 执行SQL语句cursor.execute(sql)# 把修改的数据提交到数据库self.connect.commit()result = cursor.fetchone()# 关闭光标对象cursor.close()if result is None:return 0for i in result:print(i)if i == 1:return 1except Exception as e:# 捕捉到错误就回滚self.connect.rollback()print(e)return 0# 判断某个股票代码,在具体日期的k线数据是否存在def exist_kdata_day(self, code, trade_day):if self.connect is None:return -1# 得到一个可以执行SQL语句的光标对象cursor = self.connect.cursor()# sql语句sql = "select 1 from t_kdata where code = '" + code + "'and trade_day='" + trade_day + "' limit 1;"print(sql)try:# 执行SQL语句cursor.execute(sql)# 把修改的数据提交到数据库self.connect.commit()result = cursor.fetchone()# 关闭光标对象cursor.close()if result is None:return 0for i in result:print(i)if i == 1:return 1except Exception as e:# 捕捉到错误就回滚self.connect.rollback()print(e)return 0def query_kdata(self,code):if self.connect is None:return -1# 得到一个可以执行SQL语句的光标对象cursor = self.connect.cursor()# sql语句sql = "select * from t_kdata where code = '%s';"print(sql)try:# 执行SQL语句cursor.execute(sql, (code,))# 把修改的数据提交到数据库self.connect.commit()result = cursor.fetchone()for i in result:print(i)except Exception as e:# 捕捉到错误就回滚self.connect.rollback()print(e)# 关闭光标对象cursor.close()return 0

t_trade_day.py

#coding=utf-8
import pymysqlclass CT_Tradeday:def __init__(self, connect):self.connect = connect#增加交易时间def add_tradeday(self, trade_day):if self.connect is None:return -1# 得到一个可以执行SQL语句的光标对象cursor = self.connect.cursor()# sql语句sql = "insert into t_trade_day (trade_day) VALUE (%s);"print(sql)try:# 执行SQL语句cursor.execute(sql, (trade_day,))# 把修改的数据提交到数据库self.connect.commit()except Exception as e:# 捕捉到错误就回滚self.connect.rollback()print(e)# 关闭光标对象cursor.close()#判断某个股票代码是否存在def exist_trade_day(self, trade_day):if self.connect is None:return -1# 得到一个可以执行SQL语句的光标对象cursor = self.connect.cursor()# sql语句sql = "select 1 from t_trade_day where trade_day = '"+trade_day+"' limit 1;"print(sql)try:# 执行SQL语句cursor.execute(sql)# 把修改的数据提交到数据库self.connect.commit()result = cursor.fetchone()# 关闭光标对象cursor.close()if result is None:return 0for i in result:print(i)if i == 1:return 1except Exception as e:# 捕捉到错误就回滚self.connect.rollback()print(e)return 0#查询所有的交易日期,返回查询出来的结果def query_tradeday(self):if self.connect is None:return None# 得到一个可以执行SQL语句的光标对象cursor = self.connect.cursor()# sql语句sql = "select * from t_trade_day;"print(sql)try:# 执行SQL语句cursor.execute(sql)# 把修改的数据提交到数据库self.connect.commit()result = cursor.fetchall()cursor.close()return resultexcept Exception as e:# 捕捉到错误就回滚self.connect.rollback()print(e)# 关闭光标对象cursor.close()return None

调用方法

调用方法与上一篇描述类似

self.db = dbmgr.CDBMgr('localhost', 'root', '123', 'kdata')

               # 列： code trade_day open high low close 昨收价 涨跌幅 涨跌额 总手 成交额（千元）# 索引：0    1         2    3    4    5    6      7      8      9    10self.db.add_kdata(arrayOne[0],arrayOne[1], arrayOne[2], arrayOne[5], arrayOne[3], arrayOne[4], arrayOne[9])

效果

3500只股票，从2017年12月1日到2019年7月19日之间的K线数据，总条目为128万：

mysql> select count(*) from t_kdata;
+----------+
| count(*) |
+----------+
|  1279769 |
+----------+
1 row in set (0.27 sec)