下载上市公司信息及公告原文到数据库

Tushare 下载股票数据时，往往数据下载量都很大，刚学的时候，往往都会将数据以.xlsx，或.csv的格式存储。
如：
data.to_excel(’’)
data.to_csv(’’)
这是最直接简单存储数据的方法，但是同样也有很多弊端
如：
1 数据容易被覆盖
2 数据读取复杂
3 数据格式
当然，以上问题都可以解决，但我还是想介绍一种很专业存储数据的方法：数据库。
数据库有很多种，anaconda3中支持的各种主流数据库都有，如MySQL、Postgresql、Oracle、MS SQLServer、SQLite。
试用一下sqlite.
#下载上市公司信息及公告原文到数据库里
import pandas as pd
import sqlite3
import numpy as np
import time
import tushare as ts
ts.set_token(’***************************************’)
pro = ts.pro_api()
conn=sqlite3.connect(“Stocklist.db”)
df=pd.read_csv(‘E:/python_data/company.csv’)
df.to_sql(‘Stocklist’,conn,if_exists=‘append’)
query1=“select name from sqlite_master where type=‘table’ order by name”#获取所有的表名
alreadylist=pd.read_sql(query1,conn)
df1 = np.array(df)
df2 = df1.tolist()#把array数组转换成list
stockcode=[x[1] for x in df2]
#print(stockcode)
for i in stockcode:
today = time.strftime(’%Y%m%d’,time.localtime(time.time()))
before = ‘20190101’
stockpro=pro.anns(ts_code=i, start_date=before, end_date=today, year=‘2019’)
stockpro.to_sql(‘Stockpro’,conn,if_exists=‘append’)
query2=“select name from sqlite_master where type=‘table’ order by name”#获取所有的表名
alreadylist=pd.read_sql(query2,conn)
query3= “SELECT * FROM table”
df = pd.read_sql(query3, conn)
print(‘OK’)

下载上市公司信息及公告原文到数据库相关推荐

怎么将excel中的url批量转化为图片_Python+Wind 批量下载上市公司年报 - Part 1/2
Python+Wind 批量下载上市公司年报 - Part 1/2 作者:张捷目录 1.背景介绍 2.安装Python 3.爬取万得上市公司年报 3.1Wind下载公告信息 3.2获得年报地址 4. ...
python怎么批量下载年报_Python+Wind 批量下载上市公司年报 - Part 1/2
Python+Wind 批量下载上市公司年报 - Part 1/2作者:张捷目录1.背景介绍 2.安装Python 3.爬取万得上市公司年报3.1Wind下载公告信息 3.2获得年报地址 4.使用P ...
python 批量下载财务数据_Python+Wind 批量下载上市公司年报 - Part 1/2
Python+Wind 批量下载上市公司年报 - Part 1/2作者:张捷目录1.背景介绍 2.安装Python 3.爬取万得上市公司年报3.1Wind下载公告信息 3.2获得年报地址 4.使用P ...
10行代码爬取全国所有A股/港股/新三板上市公司信息
参加 2018 AI开发者大会,请点击 ↑↑↑ 作者 | 高级农民工本文已获原作者授权,如需转载,请联系原作者. 摘要: 我们平常在浏览网页中会遇到一些表格型的数据信息,除了表格本身体现的内容以外, ...
asp.net医院信息管理系统VS开发sqlserver数据库web结构c#编程计算机网页源码项目
一.源码特点 asp.net 医院信息管理系统是一套完善的web设计管理系统,系统具有完整的源代码和数据库,系统主要采用B/S模式开发,开发环境为vs2010,数据库为sqlserve ...
biomaRt包下载转录本信息
biomaRt:Interface to BioMart databases (i.e. Ensembl) 该包支持以统一的方式检索大量数据,而无需了解底层数据库模式或编写复杂的SQL查询.生物分子标 ...
python爬上市公司信息_实战项目 1：5 行代码爬取国内所有上市公司信息
实战项目 1:5 行代码爬取国内所有上市公司信息 Python入门爬虫与数据分析在正式开始这门专栏课的学习之前,我们先来看一个简单的爬虫案例.兴趣是最好的老师,当你对爬虫产生兴趣的时候,才会更有动力 ...
asp.net毕业生信息管理系统VS开发sqlserver数据库web结构c#编程计算机网页源码项目
一.源码特点 asp.net 毕业生信息管理系统是一套完善的web设计管理系统,系统具有完整的源代码和数据库,系统主要采用B/S模式开发.开发环境为vs2010,数据库为sqlse ...
JSP高校信息管理系统myeclipse开发sql数据库web结构计算机java编程
一.源码特点 JSP 高校信息管理系统是一套完善的web设计系统,对理解JSP java编程开发语言有帮助,系统具有完整的源代码和数据库,,系统主要采用B/S模式开发. JSP高校信息管理系统my ...

下载上市公司信息及公告原文到数据库

下载上市公司信息及公告原文到数据库相关推荐

最新文章

热门文章