通过网易财经爬取股票数据

之前在回测的时候遇到数据质量太低，不得不用第三方平台去解决这个问题，最近看了一个视频，讲解通过网易财经爬取股票数据，重新把代码打了一遍，发现的确可行。

网址：http://quotes.money.163.com/trade/lsjysj_601899.html#01b07

（个股——资金流向——历史交易数据）

虽然网易财经在金融方面做的真心谈不上数一数二，但是数据方面还真挺人性，可以直接下载，而且质量也挺高。

配合上海证券交易所公布的所有股票代码和上市日期，就可以轻松爬取全部上海股票数据了。

最有意思的是同样的代码，换成深圳的股票，就不能爬取，爬取的文件全部是空白文件，不知道是什么原因。

注意事项：

1.函数使用urllib.request.urlretrieve(),这个函数是中python3之后对python2进行了一下修改，所以版本不一样的话，代码不同。

2.交易所给的日期是yyyy-mm-dd,要改成yyyymmdd，用df.iloc[].str.replace()，这个地方是一个难点，不知道这个函数的话，可以用循环去做，但是浪费时间

3.上海交易所的数据之中，有一个是空，代码600996,需要自己补全，上市日期是2016-12-26,这个股票应该是重组过，不然这个代码不可能上市时间这么晚。

4.pandas 官网给出的数据清洗的方法还是挺不错的。

https://pandas.pydata.org/pandas-docs/stable/text.html?spm=a2c4e.11153940.blogcont620162.11.30174b10exPiQS

5.在爬取深圳股票的时候，因为需要修改代码，比如000001，正常print的话，就是1，因为默认是int，这个时候可以用df.列名.astype(str)，强制转换为str,要注意的是df中object代表str，因为字符串格式不固定，所以用object.

别以为转换过去之后就可以使用了，这个时候需要把那些缺0的数据进行补全，很明显需要用for循环遍历，但是for循环不能修改数据，所以，修改的时候要变通一下，用enumerate来做。

6.其实自己爬数据还是挺折腾的，数据也不值钱，还浪费时间学爬虫，还得进行数据清洗和规整，这些数据就算爬下来，还得进行复权处理，还是第三方平台快一点，处理数据绝对是脏活累活。

通过网易财经爬取股票数据相关推荐

使用R语言从网易财经批量获取股票数据并进行整合的方法
最近因为投资分析需要接触R语言,需要获取A股上市公司数据.从同花顺下载效率太低,就到处找途径.分享下方法,共其他小白参考,请大神指正. R语言自带的quantmod数据不错,不过国内A股数据不全,而且 ...
用python爬取股票数据的一点小结
一.背景网上对于爬取股票数据有相对完善的教程.不过大部分教程都是只能够爬取一段时间的股票数据,针对某一只股票的历史数据爬取,目前还没有看到比较好的教程.下面对近期学的东西进行一点点小结. 二.股票数 ...
知识星球《玩转股票量化交易》之爬虫爬取股票数据
量化交易是一个多技术综合的项目,学习完书籍<Python股票量化交易从入门到实践>我们再次升级学习的内容--知识星球<玩转股票量化交易> 在星球中我们会深入分享包括Python ...
MATLAB爬虫爬取股票数据
近年来,大数据盛行,有关爬虫的教程层次不穷.那么,爬虫到底是什么呢? 什么是爬虫? 百度百科是这样定义的: 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种 ...
python爬取股票数据,以上证指数为例,可以爬取任何股票,保存为temp.csv文件
python爬取股票数据,以上证指数为例,可以爬取任何股票,保存为temp.csv文件 import requests import pandas as pd# market: 0:沪市 1:深市 # ...
用Python爬取股票数据，绘制K线和均线并用机器学习预测股价（来自我出的书）
最近我出了一本书,<基于股票大数据分析的Python入门实战视频教学版>,京东链接:https://item.jd.com/69241653952.html,在其中用股票范例讲述Pyth ...
爬虫练习--爬取股票数据
爬取股票数据步骤从东方财富网找到上市公司的股票代码并保存根据股票代码去百度股市通去查找相关股票的具体信息并保存代码 #-*- coding:utf-8 -*- import requests ...
Python爬虫教程-Python爬取股票数据过程详解
这篇文章主要介绍了基于Python爬取股票数据过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下基本环境配置 python 3.6 pycha ...
用Python爬取股票数据，绘制K线和均线并用机器学习预测股价
最近我出了一本书,<基于股票大数据分析的Python入门实战视频教学版>,在其中用股票范例讲述Python爬虫.数据分析和机器学习的技术,大家看了我的书,不仅能很快用比较热门的案例学好P ...
金融数据分析（四）爬取股票数据——方法一：requestsbs4re
案例(二)爬虫预热项目二:用两种不同的方法爬取股票数据方法一:requests&bs4&re import requests from bs4 import BeautifulSo ...

通过网易财经爬取股票数据

通过网易财经爬取股票数据相关推荐

最新文章

热门文章