背景

前段时间给朋友写了一个自动抓取同花顺股票数据的程序,不少人觉得不错。

这几天后台有粉丝给我留言让我也抓一下东方财富的数据,说东方财富的数据特别难抓,我还真不一定能搞得定。

本来我是一个德艺双磬且与世无争的佛系程序员,小小的激将法怎么会激到我,但在京隔离期间实在太闲,就看了下东方财富的网站。真是不看不知道,一看吓一跳,这网站做的我口吐芬芳。

抓取思路

我们先看下这个网站的资金流向排行榜,里面有各大股市的股票资金数据

炒股(韭菜)的都知道,如果一个股票的净流入大单很多,那说明股票涨,流入越大,涨的越多。所以关注一只股票的资金流向很重要,而东方财富专门有个资金流向的板块给我们提供数据。于是抓取这个页面的资金流向数据就很关键,根据页面源码和抓包分析,进入这个网站时,会分配一个token。而表格中的数据是异步加载的,获取数据的请求中会带着这个token,所以我们第一步要搞定这个token。根据页面中的表格我们可以看到这个页面的数据进行了分页,每页50个,所以在抓取时需要根据分页循环抓取数据,直至尾页。

总结步骤:

获取token

分页抓取

清洗数据

数据入库

数据入库

给大家看看我最近爬下来的数据:

抓取的代码我直接写成了一个定时任务DFCFFundFlowCrawlerJob.java,大家可以直接复制到任何springboot工程中,直接运行就行,太长了,这里就不展示了。

作者:chinaxieshuai

java 股票数据抓取_java抓取东方财富股票数据(附源码)相关推荐

  1. java计算机毕业设计ssm兴发农家乐服务管理系统n159q(附源码、数据库)

    java计算机毕业设计ssm兴发农家乐服务管理系统n159q(附源码.数据库) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行 ...

  2. JAVA计算机毕业设计腾讯网游辅助小助手(附源码、数据库)

    JAVA计算机毕业设计腾讯网游辅助小助手(附源码.数据库) 目运行 环境项配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ Eclispe ...

  3. java计算机毕业设计vue开发一个简单音乐播放器(附源码、数据库)

    java计算机毕业设计vue开发一个简单音乐播放器(附源码.数据库) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ Ec ...

  4. java计算机毕业设计ssm基于SSM学生信息管理系统37myx(附源码、数据库)

    java计算机毕业设计ssm基于SSM学生信息管理系统37myx(附源码.数据库) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm ...

  5. JAVA计算机毕业设计林家餐厅自助点餐管理系统(附源码、数据库)

    JAVA计算机毕业设计林家餐厅自助点餐管理系统(附源码.数据库) 目运行 环境项配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ Ecli ...

  6. Java毕设项目电力公司员工安全培训系统计算机(附源码+系统+数据库+LW)

    Java毕设项目电力公司员工安全培训系统计算机(附源码+系统+数据库+LW) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行) ...

  7. JAVA计算机毕业设计甜趣网上蛋糕店订购系统(附源码、数据库)

    JAVA计算机毕业设计甜趣网上蛋糕店订购系统(附源码.数据库) 目运行 环境项配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ Eclis ...

  8. java计算机毕业设计ssm智慧小区团购系统4x45g(附源码、数据库)

    java计算机毕业设计ssm智慧小区团购系统4x45g(附源码.数据库) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ ...

  9. java计算机毕业设计BS景区票务管理系统设计与实现(附源码、数据库)

    java计算机毕业设计BS景区票务管理系统设计与实现(附源码.数据库) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ E ...

  10. java计算机毕业设计高校多媒体设备运维管理系统服务端(附源码、数据库)

    java计算机毕业设计高校多媒体设备运维管理系统服务端(附源码.数据库) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ ...

最新文章

  1. oracle密码错误延迟验证,oracle密码错误验证延迟
  2. 英特尔分拆McAfee:31亿美元将多数股权卖给投资公司TPG
  3. WPF/Silverlight深度解决方案:(十六)传值实现
  4. hamcrest详细介绍
  5. python判断素数程序_使用面向对象方法检查素数的Python程序
  6. 使用匿名内部类排序对象
  7. Unable to load class 'org.gradle.api.internal.component.Usage
  8. 服装erp系统的设计方案
  9. JAVA文件上传大小限制问题
  10. Leetcode第904题
  11. 锐捷交换机密码恢复操作
  12. Gmail中基本html
  13. MATLAB2018
  14. fastadmin框架里基于x-editable实现的表格无刷新行内编辑功能的插件的‘datetime‘时间类型无法使用的解决方法
  15. ObjectPostProcessor使用与多种用户定义方式(9)
  16. Excel三维地图打不开
  17. 【Android】【打开方式】Android11用其它应用打开微信文件
  18. android 设置视频大小,android – 调整视频大小
  19. (ACWing yxc算法基础课笔记)差分
  20. oracle的substr函数的用法

热门文章

  1. C语言总谐波失真(THD)实现,从理论到应用分析改进详解
  2. php源雄武,8个新鲜的PHP常用代码
  3. html输入后面消失,excel输入减号为什么会消失
  4. 全国大学计算机硕士专业排名,计算机考研院校排名:中国大学计算机学科排行榜...
  5. Splunk CIM
  6. 伪随机数的爆破--2
  7. 求无序数组的中位数(c语言版本)
  8. word文档单独删除或修改首页或某一页的页眉页脚及其下划线
  9. 海贼王里面路飞的一些台词翻译
  10. 一键获取喜马拉雅音频文件(Python3爬虫)