Python股票历史数据下载

股票历史数据下载和处理：下载--->hdfs--->hive--->oracle

----import_stock_d.py

#!/usr/bin/python
import tushare as ts
import os
import re
stocklistpath = '/home/cloudera/data/list/stocklist.txt'
savepath='/home/cloudera/data/data/'
openstock = open(stocklistpath,'r+')
for i in openstock:
r = r"S[ZH]\d\d\d\d\d\d"
stocklist = re.findall(r,i)

openstock.close()
for i in stocklist:
stocknum = i[2:8]
df = ts.get_hist_data(stocknum)
if(i!=''):
df.to_csv(savepath + i +'.txt')
print i

问题：当股票数量太多时，运行时间超过一个小时后，会报错。但是不影响数据的下载，只是退出。我分别写了两个py来进行处理
-----import_stock_two.py-------------
#!/usr/bin/python
import os

for path,d,filelist in os.walk('/home/cloudera/data/data/'):
for filename in filelist:
filepath = os.path.join(path,filename)
print filepath
file = open(filepath,'r+')
file.seek(0,0)
filename1 = filename[0:8]+','
print filename1
for line in file.readlines():

print file.writelines(filename1 + line)
file.close()
-------------StockRun.sh--------------------------------------
#!/bin/sh
#python /home/cloudera/python/import_stock_d.py

python /home/cloudera/python/import_stock_two.py

hadoop fs -put /home/cloudera/data/data /stock

hive -e "LOAD DATA INPATH '/stock/data/*' OVERWRITE INTO TABLE import_stock_d"

hive -e "insert overwrite table import_stock_d select * from import_stock_d where length(code)=8"

sqoop export --table import_stock_d -connect jdbc:oracle:thin:@192.168.1.10:1521:orcl --username stock --password stock --export-dir '/user/hive/warehouse/import_stock_d/*' --input-fields-terminated-by ',' --input-lines-terminated-by '\n' --columns 'code,T_DATE,OPEN,HIGH,CLOSE,LOW,VOLUME,PRICE_CHANGE,P_CHANGE,MA5,MA10,MA20,V_MA5,V_MA10,V_MA20,TURNOVER'
---------------------------------------------------------------------------

Python股票历史数据下载相关推荐

python 股票历史数据_python股票历史数据
python股票历史数据以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧! 如何选取过去每个月股票的市值 python 类似 ...
python 股票数据下载_如何下载股票历史数据？
1.准备开始之前,你要确保Python和pip已经成功安装在电脑上噢,如果没有,请访问这篇文章:超详细Python安装指南进行安装.如果你用Python的目的是数据分析,可以直接安装Anacond ...
股票历史数据下载接口踩坑记录
这里分享些下载财经数据下载接口的一些经验,大家可以参考下 1.如何提升接口下载速度实际上歪枣网后台查库速度是非常快的,查库时间是有监控的,如果是查库变慢了,歪哥会进行优化.但是很多时间接口数据下载的 ...
如何把股票数据导出excel？导出股票历史数据到Excel的方法
共享一个可以把股票数据导出Excel的方法,是一个在线下载股票历史数据,目前可以下载A股.港股.美股所有个股的历史数据,数据是Excel的方便分析查看.做表,最主要是免费... 只要两步就能下载: 填 ...
python 股票数据_从互联网获取股票数据（历史数据，Python + MySQL）
目标从互联网(网易数据接口)获取股票历史数据,包括开盘价.最高价.最低价.收盘价等等环境 Python 3.6 MySQL 5.6.34 table: stock_list 记录数:3592 条, ...
python股票数据分析_Python股票分析（一）获取历史数据
股票分析最重要的是获取历史数据,现在网上各种数据接口层出不穷,最近发现一个免费好用的接口,和大家分享一下. 证券宝(网址www.baostock.com)是一个免费.开源的证券数据平台,最重要的是:无 ...
上证指数(000001)股票历史数据，下载上证指数(000001历史数据
共享一个可以下载上证指数(000001)股票历史数据的工具,亲测可以下载500+个主流指数的历史数据,历史数据是从指数建立那天一直到今天的所有历史交易数据,还是很全的最主要是免费-在线即可查询.下载 ...
通过VBA在excel中实现股票历史数据查询和K线趋势图绘制（完整的excel原件可以在我的资源中下载）
原始文件下载地址:股票历史数据和K线图趋势线的绘制-VB文档类资源-CSDN下载文章目录前言一.目标二.方法三.界面和使用说明四.代码说明 1.查询历史数据 2.绘制K线图和趋势线 3.清 ...
Python股票量化学习（2）——股票历史日线数据下载
利用baostock下在股票历史数据 bs.query_history_k_data_plus(code, fields, start_date, end_date, frequency, adjus ...
python获取股票历史数据
各种股票软件,例如通达信.同花顺.大智慧,都可以实时查看股票价格和走势,做一些简单的选股和定量分析,但是如果你想做更复杂的分析,例如回归分析.关联分析等就有点捉襟见肘,所以最好能够获取股票历史及实时数 ...

Python股票历史数据下载

Python股票历史数据下载相关推荐

最新文章

热门文章