python读取大智慧数据_用Python抓取大智慧除权数据

继续做的数据分析，由于新浪获取的是未复权数据，所以在分析的时候出了些小问题，结果变得扑所迷离。于是又用了几天Tushare的获取复权数据功能，本来是写了个循环，每天自动获取，可是几乎每次下载都卡死了，这真是坑爹的网络。翻了翻Tushare的这段代码，Tushare的这个数据倒也是新浪的，但是是从网页上扒下来的，过程好像获取了两个地址的数据，貌似一个复权因子一个后复权数据，没细看了。反正我也不认为这是合理的获取方式，理想的当然是JSON或者XML之类的格式最好了。百度了一圈，没有发现哪里有免费的前复权数据，更找不到除权数据，心想找到除权数据也好啊，自己来复权。这过程中，得到了几个新浪地址，好像和复权有关，但是也没琢磨出怎么用。在这里先把地址贴下来，有时间再研究。

http://vip.stock.finance.sina.com.cn/api/json.php/BasicStockSrv.getStockFuQuanData?symbol=sz000001&type=hfq，和惯例一样，symbol指得是股票代码，而type按拼音来说应该是后复权，但我输入qfq之后得到并非前复权。

http://biz.finance.sina.com.cn/stock/flash_hq/kline_data.php?symbol=sz000001&begin_date=20100101&end_date=20161206，同上，只是有开始和结束时间。

新浪没办法了，看到很多网友都是从大智慧获取，毕竟资料还多，于是下载安装了个大智慧365。装好后在安装目录下有个Download文件夹，而除权数据就在PWR文件夹里，FIN文件夹里放的是财务数据，而ABK里则是大智慧的板块数据。

这里之所以写个日志是因为，365里的数据结构并非网络上写的四字节方式，四字节转赠股，四字节红利，四字节的配股，四字节配股价。我所看到的是120字节分段的形式，任一只股票先120字节的4-12字节为代码，接来下的120字节里前四个字节为除权日期，接着4-20字节为空，剩下的就是除权数据了，而这个数据并非分段的数值形式，而是一句话，比如10股送5股之类的，就是说得到这句话后还要进行分割。一只票除权了多少次就有多少个这样的120字节了，整理之后把代码贴上：

path = '/home/jeff/Share/DZH/Download/PWR/'

name = ['full_sh.PWR','full_sz.PWR']

data = []

for i in name:

exFile = open(path+i,'rb')

exFile.seek(8)

while True:

exContent = exFile.read(120)

if not exContent:

break

if exContent[:4] == b'\xff\xff\xff\xff':

code = exContent[4:12].decode('gbk')

elif len(exContent) > 0:

date= struct.unpack("I", exContent[:4])[0]

date= time.localtime(date)

exlist = exContent[20:].decode('gbk').split('\x00')[0][2:].split()

present = 0

bonus = 0

rationed = 0

price = 0

for i in exlist:

if '送' in i:

present += float(re.findall(r"\d+\.?\d*",i)[0])

if '增' in i:

present += float(re.findall(r"\d+\.?\d*",i)[0])

if '派' in i:

bonus += float(re.findall(r"\d+\.?\d*",i)[0])

if '价' in i:

price += float(re.findall(r"\d+\.?\d*",i)[0])

if '配' in i:

rationed += float(re.findall(r"\d+\.?\d*",i)[0]) - price

data.append({'code':code[2:],'date':date,'present':present,'bonus':bonus,'price':price,'rationed':rationed})

return data

python读取大智慧数据_用Python抓取大智慧除权数据相关推荐

java 省市县数据_使用Jsoup抓取全国地区数据（省市县镇村）
最近手头在做一些东西,需要一个全国各地的地域数据,从省市区到县镇乡街道的.各种度娘,各种谷歌,都没找到一个完整的数据.最后功夫不负有心人,总算找到一份相对来说比较完整的数据,但是这里的数据也只是精确到 ...
Python，网络爬虫selenium与pyautogui抓取新浪微博用户数据
Python,网络爬虫selenium与pyautogui抓取新浪微博用户数据不需要登陆新浪微博账户,直接运行就可以通过python爬虫爬取新浪微博用户数据.本例selenium与pyautogui ...
wireshark怎么抓apk 包_图解如何抓取手机的数据封包「手机抓包技术详解」
通常我们主要抓取手机等移动设备的三种数据封包:TCP.HTTP.HTTPS.本文我们主要通过图文详细讲解使用wireshark抓取手机的tcp数据包,使用Fiddler抓取手机的HTTP.HTTPS数 ...
python读取第二行_使用Python操作Excel（二）：读取数据表
上一节我们提到,使用openpyxl可以方便的对数据表进行操作,例如:抽象Excel数据并存入数据库将数据库数据导出到Excel 给一个已存在的数据表追加信息我们还介绍了一些Excel的基本术语, ...
python读取sas数据集_利用Python获取SAS和R自带数据集
图:北京-奥森公园-2018年4月无论是SAS.R还是Python,本身都自带一些数据集,对于初学者来说,可以通过这些自带的小数据集进行编程练习,无疑是非常方便的.SAS.R作为统计分析软件,本身自 ...
python读取xls文件_从python中的xls读取unicode
我正在尝试使用 Python读取.xls文件.该文件包含多个非ascii字符(即äöü).我已经尝试过使用openpyxls和xlrd(我对xlrd寄予厚望,因为它无论如何都会读取unicode中的所 ...
python 爬虫课程推荐_关于递归抓取的课程推荐
Python爬虫包 BeautifulSoup 递归抓取实例详解概要:爬虫的主要目的就是为了沿着网络抓取需要的内容.它们的本质是一种递归的过程.它们首先需要获得网页的内容,然后分析页面内容并找到另一个 ...
python读取cad表格_使用Python读取AutoCAD DXF文档
作为<使用Python创建AutoCAD DXF文档>的姊妹篇,本文介绍用Python读取DXF ============================================= ...
python爬取京东手机数据_用scrapy爬取京东的数据
本文目的是使用scrapy爬取京东上所有的手机数据,并将数据保存到MongoDB中. 一.项目介绍主要目标 1.使用scrapy爬取京东上所有的手机数据 2.将爬取的数据存储到MongoDB 环境 ...
python淘宝爬虫_简单的抓取淘宝图片的Python爬虫
写了一个抓taobao图片的爬虫,全是用if,for,while写的,比较简陋,入门作品. 从网页http://mm.taobao.com/json/request_top_list.htm?type ...

python读取大智慧数据_用Python抓取大智慧除权数据

python读取大智慧数据_用Python抓取大智慧除权数据相关推荐

最新文章

热门文章