python金融数据爬虫与数据分析学习（一）

本文针对以下链接进行学习
链接: 爬取东方财富网上的股票信息.
由于后来发现爬的都是指数基金的股票，便转向观看其它文章

目前发现一个比较好的python开源的财经数据包接口，Tushare

Tushare简介

Tushare是一个免费、开源的python财经数据接口包。拥有丰富的数据内容，如股票、基金、期货、数字货币等行情数据，公司财务、基金经理等基本面数据，后续开通债券、外汇、行业、大数据、区块链。Tushare返回的绝大部分的数据格式都是pandas DataFrame类型，非常便于用pandas/NumPy/Matplotlib进行数据分析和可视化。

官网：https://tushare.pro/register?reg=361791

金融数据爬虫实现过程

Tushare简介
了解各个模块
- pandas简介
- JSON简介
- - JSON的由来
添加写excel功能
疑问

了解各个模块

pandas简介

Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。

链接: pandas 简单使用与语法.

JSON简介

JSON定义：JSON是轻量级的数据交换格式，全称JavaScript 对象表示法
（JavaScript Object Notation）

JSON 数据的书写格式是：名称/值对

"firstName" : "John"

{"employees": [`在这里插入代码片`
{ "firstName":"John" , "lastName":"Doe" },
{ "firstName":"Anna" , "lastName":"Smith" },
{ "firstName":"Peter" , "lastName":"Jones" }
]
}

JSON的由来

将JAVA对象存储到硬盘或将其进行网络传输，首先需要将其序列化为二进制的字节流，在使用时又要将其反序列化，把字节流变成JAVA对象。
为避免在网络传输过程中双方必须均使用JAVA，且序列化与反序列化的类必须一致的问题，产生了JSON。JSON语言中立，无论客户端使用什么语言，都支持解析。且，相比XML数据精简，传输效率更高。

JSON入门教程: JSON入门看这一篇就够了.

添加写excel功能

一篇比较好的pandas.dataFrame对excel的操作文章
Pandas.DataFrame对Excel操作笔记.
由于pandas在写入excel时，会把原来sheet中的内容擦除，且只保留一个sheet，为了解决这个问题，有以下这种的解决办法。需要使用到xlrd,xlwt,pandas和openpyxl四个模块。需要使用到writer。

import pandas
from openpyxl import load_workbookdf = pandas.read_excel('test.xlsx')
print df
book = load_workbook('test2.xlsx')
writer = pandas.ExcelWriter('test2.xlsx', engine='openpyxl')
writer.book = book
writer.sheets = dict((ws.title, ws) for ws in book.worksheets)
df.to_excel(writer, "Main",index=0,startrow=0,startcol=0)
writer.save()

有时需要对dataframe进行合并其方法在下面链接中有描述
将pandas.dataframe进行合并、连接的方法.

除此之外python写入excel还有以下链接
链接: python 写入Excel文件.

疑问

1.为什么PYPI（The Python package index）里面的安装包，whl文件会比tar.gz压缩包小