java 股票_java抓取东方财富股票数据

背景

前段时间给朋友写了一个自动抓取同花顺股票数据的程序，不少人觉得不错。

这几天后台有粉丝给我留言让我也抓一下东方财富的数据，说东方财富的数据特别难抓，我还真不一定能搞得定。

本来我是一个德艺双磬且与世无争的佛系程序员，小小的激将法怎么会激到我，但在京隔离期间实在太闲，就看了下东方财富的网站。真是不看不知道，一看吓一跳，这网站做的我口吐芬芳。

抓取思路

我们先看下这个网站的资金流向排行榜，里面有各大股市的股票资金数据

东方财富的资金流向图表

炒股(韭菜)的都知道，如果一个股票的净流入大单很多，那说明股票涨，流入越大，涨的越多。所以关注一只股票的资金流向很重要，而东方财富专门有个资金流向的板块给我们提供数据。于是抓取这个页面的资金流向数据就很关键，根据页面源码和抓包分析，进入这个网站时，会分配一个token。而表格中的数据是异步加载的，获取数据的请求中会带着这个token，所以我们第一步要搞定这个token。根据页面中的表格我们可以看到这个页面的数据进行了分页，每页50个，所以在抓取时需要根据分页循环抓取数据，直至尾页。

总结步骤：

获取token

分页抓取

清洗数据

数据入库

给大家看看我最近爬下来的数据：

入库数据

抓取的代码我直接写成了一个定时任务DFCFFundFlowCrawlerJob.java，大家可以直接复制到任何springboot工程中，直接运行就行，太长了，这里就不展示了。

github地址：https://github.com/chinashuai/crawler-stock-data-all

java 股票_java抓取东方财富股票数据相关推荐

java股票数据_java抓取东方财富股票数据（附源码）
背景前段时间给朋友写了一个自动抓取同花顺股票数据的程序,不少人觉得不错. 这几天后台有粉丝给我留言让我也抓一下东方财富的数据,说东方财富的数据特别难抓,我还真不一定能搞得定. 本来我是一个德艺双磬且 ...
java古诗_java抓取古诗文的单线程爬虫
准备知识 1.HTML, CSS, HTML DOM树参考http://www.w3school.com.cn/htmldom/ 2.Jsoup的使用,使用DOM方法遍历一个document对象,使 ...
网页java代码_java抓取网页代码
导读热词代码以下 import java.io.BufferedReader; import java.io.InputStreamReader; import java.net.HttpURLCo ...
python 爬取财经新闻股票_python 抓取新浪财经股票数据
新浪并未提供API,但我们可以通过抓包来获取实时或历史行情数据. 实时行情比如我们可以通过浏览器访问: ?== 来获取证券代码为的实时行情数据,可以看到内容为: ="华泰证券,,,,20. ...
python爬取同花顺_Java爬取同花顺股票数据（附源码）
最近有小伙伴问我能不能抓取同花顺的数据,最近股票行情还不错,想把数据抓下来自己分析分析.我大A股,大家都知道的,一个概念火了,相应的股票就都大涨. 如果能及时获取股票涨跌信息,那就能在刚开始火起来的时 ...
vba 提取 json某个值_VBA利用IE，抓取解禁股票数据
大家好,我们今日讲解"VBA信息获取与处理"教程中第九个专题"利用IE抓取网络数据"的第三节"利用IE,抓取解禁股票数据",这个专题是非常有 ...
java取网页数据_Java抓取网页数据（原来的页面+Javascript返回数据）
转载请注明出处. 有时候因为种种原因.我们须要採集某个站点的数据.但因为不同站点对数据的显示方式略有不同! 本文就用Java给大家演示怎样抓取站点的数据:(1)抓取原网页数据.(2)抓取网页Javas ...
Java版 QQ空间自动登录无需拷贝cookie一天抓取30WQQ说说数据流程分析【转】
Java版 QQ空间自动登录无需拷贝cookie一天抓取30WQQ说说数据&流程分析 QQ空间说说抓取难度比较大,花了一个星期才研究清楚! 代码请移步到GitHub GitHub地址:http ...
java+selenium自动化抓取51la数据
java+selenium自动化抓取51la数据初衷环境依赖 demo上代码效果来个马赛克如果觉得写的不错或者想了解更多,欢迎收藏和关注~~ 初衷前端埋点51la,进行网站统计.51la没有 ...

java 股票_java抓取东方财富股票数据

java 股票_java抓取东方财富股票数据相关推荐

最新文章

热门文章