背景

前段时间给朋友写了一个自动抓取同花顺股票数据的程序,不少人觉得不错。

这几天后台有粉丝给我留言让我也抓一下东方财富的数据,说东方财富的数据特别难抓,我还真不一定能搞得定。

本来我是一个德艺双磬且与世无争的佛系程序员,小小的激将法怎么会激到我,但在京隔离期间实在太闲,就看了下东方财富的网站。真是不看不知道,一看吓一跳,这网站做的我口吐芬芳。

抓取思路

我们先看下这个网站的资金流向排行榜,里面有各大股市的股票资金数据

炒股(韭菜)的都知道,如果一个股票的净流入大单很多,那说明股票涨,流入越大,涨的越多。所以关注一只股票的资金流向很重要,而东方财富专门有个资金流向的板块给我们提供数据。于是抓取这个页面的资金流向数据就很关键,根据页面源码和抓包分析,进入这个网站时,会分配一个token。而表格中的数据是异步加载的,获取数据的请求中会带着这个token,所以我们第一步要搞定这个token。根据页面中的表格我们可以看到这个页面的数据进行了分页,每页50个,所以在抓取时需要根据分页循环抓取数据,直至尾页。

总结步骤:

获取token

分页抓取

清洗数据

数据入库

数据入库

给大家看看我最近爬下来的数据:

抓取的代码我直接写成了一个定时任务DFCFFundFlowCrawlerJob.java,大家可以直接复制到任何springboot工程中,直接运行就行,太长了,这里就不展示了。

java股票数据_java抓取东方财富股票数据(附源码)相关推荐

  1. java 股票_java抓取东方财富股票数据

    背景 前段时间给朋友写了一个自动抓取同花顺股票数据的程序,不少人觉得不错. 这几天后台有粉丝给我留言让我也抓一下东方财富的数据,说东方财富的数据特别难抓,我还真不一定能搞得定. 本来我是一个德艺双磬且 ...

  2. java幻灯片效果_Java实现多种幻灯片切换特效(附源码)

    Java实现多种幻灯片切换特效(附源码)以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧! 功能说明 代码实现了多种幻灯片变 ...

  3. java毕业设计“小蜜蜂”校园代取快递系统(附源码、数据库)

    项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ Eclispe(IntelliJ IDEA,Eclispe,MyEclis ...

  4. java计算机毕业设计ssm基于大数据的汽车流量监控cvej1(附源码、数据库)

    java计算机毕业设计ssm基于大数据的汽车流量监控cvej1(附源码.数据库) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也 ...

  5. vc++6.0:MFC写的一个汉字取模软件(附源码)

    vc++6.0:MFC写的一个汉字取模软件(附源码) 一.毕业有九年了,突然想起以前在大学时候用MFC写的一个汉字取模软件.主要的功能是在PC上获取汉字16X16点阵数据然后通过串口把点阵数据发送给A ...

  6. Java毕设项目大学生校园兼职系统计算机(附源码+系统+数据库+LW)

    Java毕设项目大学生校园兼职系统计算机(附源码+系统+数据库+LW) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ E ...

  7. JAVA计算机毕业设计社区生鲜电商平台(附源码、数据库)

    JAVA计算机毕业设计社区生鲜电商平台(附源码.数据库) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ Eclispe( ...

  8. java计算机毕业设计Web网上购书后台管理系统(附源码、数据库)

    java计算机毕业设计Web网上购书后台管理系统(附源码.数据库) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ Ecl ...

  9. java计算机毕业设计飞机航班信息查询系统(附源码、数据库)

    java计算机毕业设计飞机航班信息查询系统(附源码.数据库) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ Eclisp ...

最新文章

  1. linux 编译器错误,linux – GHCi – Haskell编译器错误 – /home/user/.ghci归其他人所有,IGNORING...
  2. matlab 林智仁,机器学习:林智仁libsvm 工具箱 在matlab下的应用总结
  3. 移动端实现复制到剪贴板
  4. POJ1178枚举三个地方(所有点都去同一个点)
  5. PHP之composer切换国内源
  6. sqlplus连接不上oracle,环境变量设置错误导致sqlplus 连接不上oracle
  7. 【OS学习笔记】三 计算机的启动过程
  8. 在golang中defer、panic与recover的作用
  9. gdal1.6linux编译,VS2015下编译64位GDAL总结
  10. 95-874-040-源码-批处理-Flink批处理优化器值成本估算
  11. JavaScript中的两个等号(==)和三个等号(===)
  12. SparkSQL统一数据的加载与落地
  13. Ajax请求URL后加随机数原理
  14. php解析html类库simple_html_dom(2)
  15. 冒险岛单机版mysql_冒险岛单机版
  16. 巧用.bat批处理文件
  17. 【eoeAndroid社区索引】Android二维码知识汇总
  18. ASP.NET 学习路线图
  19. 《正确写作美国大学生数学竞赛论文》摘录笔记
  20. java程序员工资调查_程序员真实调查,工资真的高吗?

热门文章

  1. 频率响应范围测试软件,关于示波器频率响应分析仪选件和伯德图测试的区别和发展分析...
  2. jquery.fireworks.js表白页面放烟花js特效
  3. Eclipse(CCES)bug “Some projects cannot be imported because they already exist in the workspace”
  4. 关于进程的终止和暂停
  5. python 常用os操作
  6. 为什么对1e9+7取模
  7. 【算法复习】寻路算法1 - A星 A star
  8. DD云服务器系统,ION云服务器 – 一键dd 安装Win7系统且设置网络连接
  9. ZOJ1311(Network)
  10. 现代计算机系统的层次结构