java 股票数据抓取_java抓取东方财富股票数据(附源码)
背景
前段时间给朋友写了一个自动抓取同花顺股票数据的程序,不少人觉得不错。
这几天后台有粉丝给我留言让我也抓一下东方财富的数据,说东方财富的数据特别难抓,我还真不一定能搞得定。
本来我是一个德艺双磬且与世无争的佛系程序员,小小的激将法怎么会激到我,但在京隔离期间实在太闲,就看了下东方财富的网站。真是不看不知道,一看吓一跳,这网站做的我口吐芬芳。
抓取思路
我们先看下这个网站的资金流向排行榜,里面有各大股市的股票资金数据
炒股(韭菜)的都知道,如果一个股票的净流入大单很多,那说明股票涨,流入越大,涨的越多。所以关注一只股票的资金流向很重要,而东方财富专门有个资金流向的板块给我们提供数据。于是抓取这个页面的资金流向数据就很关键,根据页面源码和抓包分析,进入这个网站时,会分配一个token。而表格中的数据是异步加载的,获取数据的请求中会带着这个token,所以我们第一步要搞定这个token。根据页面中的表格我们可以看到这个页面的数据进行了分页,每页50个,所以在抓取时需要根据分页循环抓取数据,直至尾页。
总结步骤:
获取token
分页抓取
清洗数据
数据入库
数据入库
给大家看看我最近爬下来的数据:
抓取的代码我直接写成了一个定时任务DFCFFundFlowCrawlerJob.java,大家可以直接复制到任何springboot工程中,直接运行就行,太长了,这里就不展示了。
作者:chinaxieshuai
java 股票数据抓取_java抓取东方财富股票数据(附源码)相关推荐
- java计算机毕业设计ssm兴发农家乐服务管理系统n159q(附源码、数据库)
java计算机毕业设计ssm兴发农家乐服务管理系统n159q(附源码.数据库) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行 ...
- JAVA计算机毕业设计腾讯网游辅助小助手(附源码、数据库)
JAVA计算机毕业设计腾讯网游辅助小助手(附源码.数据库) 目运行 环境项配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ Eclispe ...
- java计算机毕业设计vue开发一个简单音乐播放器(附源码、数据库)
java计算机毕业设计vue开发一个简单音乐播放器(附源码.数据库) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ Ec ...
- java计算机毕业设计ssm基于SSM学生信息管理系统37myx(附源码、数据库)
java计算机毕业设计ssm基于SSM学生信息管理系统37myx(附源码.数据库) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm ...
- JAVA计算机毕业设计林家餐厅自助点餐管理系统(附源码、数据库)
JAVA计算机毕业设计林家餐厅自助点餐管理系统(附源码.数据库) 目运行 环境项配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ Ecli ...
- Java毕设项目电力公司员工安全培训系统计算机(附源码+系统+数据库+LW)
Java毕设项目电力公司员工安全培训系统计算机(附源码+系统+数据库+LW) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行) ...
- JAVA计算机毕业设计甜趣网上蛋糕店订购系统(附源码、数据库)
JAVA计算机毕业设计甜趣网上蛋糕店订购系统(附源码.数据库) 目运行 环境项配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ Eclis ...
- java计算机毕业设计ssm智慧小区团购系统4x45g(附源码、数据库)
java计算机毕业设计ssm智慧小区团购系统4x45g(附源码.数据库) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ ...
- java计算机毕业设计BS景区票务管理系统设计与实现(附源码、数据库)
java计算机毕业设计BS景区票务管理系统设计与实现(附源码.数据库) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ E ...
- java计算机毕业设计高校多媒体设备运维管理系统服务端(附源码、数据库)
java计算机毕业设计高校多媒体设备运维管理系统服务端(附源码.数据库) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ ...
最新文章
- oracle密码错误延迟验证,oracle密码错误验证延迟
- 英特尔分拆McAfee:31亿美元将多数股权卖给投资公司TPG
- WPF/Silverlight深度解决方案:(十六)传值实现
- hamcrest详细介绍
- python判断素数程序_使用面向对象方法检查素数的Python程序
- 使用匿名内部类排序对象
- Unable to load class 'org.gradle.api.internal.component.Usage
- 服装erp系统的设计方案
- JAVA文件上传大小限制问题
- Leetcode第904题
- 锐捷交换机密码恢复操作
- Gmail中基本html
- MATLAB2018
- fastadmin框架里基于x-editable实现的表格无刷新行内编辑功能的插件的‘datetime‘时间类型无法使用的解决方法
- ObjectPostProcessor使用与多种用户定义方式(9)
- Excel三维地图打不开
- 【Android】【打开方式】Android11用其它应用打开微信文件
- android 设置视频大小,android – 调整视频大小
- (ACWing yxc算法基础课笔记)差分
- oracle的substr函数的用法