java股票数据_java抓取东方财富股票数据(附源码)
背景
前段时间给朋友写了一个自动抓取同花顺股票数据的程序,不少人觉得不错。
这几天后台有粉丝给我留言让我也抓一下东方财富的数据,说东方财富的数据特别难抓,我还真不一定能搞得定。
本来我是一个德艺双磬且与世无争的佛系程序员,小小的激将法怎么会激到我,但在京隔离期间实在太闲,就看了下东方财富的网站。真是不看不知道,一看吓一跳,这网站做的我口吐芬芳。
抓取思路
我们先看下这个网站的资金流向排行榜,里面有各大股市的股票资金数据
炒股(韭菜)的都知道,如果一个股票的净流入大单很多,那说明股票涨,流入越大,涨的越多。所以关注一只股票的资金流向很重要,而东方财富专门有个资金流向的板块给我们提供数据。于是抓取这个页面的资金流向数据就很关键,根据页面源码和抓包分析,进入这个网站时,会分配一个token。而表格中的数据是异步加载的,获取数据的请求中会带着这个token,所以我们第一步要搞定这个token。根据页面中的表格我们可以看到这个页面的数据进行了分页,每页50个,所以在抓取时需要根据分页循环抓取数据,直至尾页。
总结步骤:
获取token
分页抓取
清洗数据
数据入库
数据入库
给大家看看我最近爬下来的数据:
抓取的代码我直接写成了一个定时任务DFCFFundFlowCrawlerJob.java,大家可以直接复制到任何springboot工程中,直接运行就行,太长了,这里就不展示了。
java股票数据_java抓取东方财富股票数据(附源码)相关推荐
- java 股票_java抓取东方财富股票数据
背景 前段时间给朋友写了一个自动抓取同花顺股票数据的程序,不少人觉得不错. 这几天后台有粉丝给我留言让我也抓一下东方财富的数据,说东方财富的数据特别难抓,我还真不一定能搞得定. 本来我是一个德艺双磬且 ...
- java幻灯片效果_Java实现多种幻灯片切换特效(附源码)
Java实现多种幻灯片切换特效(附源码)以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧! 功能说明 代码实现了多种幻灯片变 ...
- java毕业设计“小蜜蜂”校园代取快递系统(附源码、数据库)
项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ Eclispe(IntelliJ IDEA,Eclispe,MyEclis ...
- java计算机毕业设计ssm基于大数据的汽车流量监控cvej1(附源码、数据库)
java计算机毕业设计ssm基于大数据的汽车流量监控cvej1(附源码.数据库) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也 ...
- vc++6.0:MFC写的一个汉字取模软件(附源码)
vc++6.0:MFC写的一个汉字取模软件(附源码) 一.毕业有九年了,突然想起以前在大学时候用MFC写的一个汉字取模软件.主要的功能是在PC上获取汉字16X16点阵数据然后通过串口把点阵数据发送给A ...
- Java毕设项目大学生校园兼职系统计算机(附源码+系统+数据库+LW)
Java毕设项目大学生校园兼职系统计算机(附源码+系统+数据库+LW) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ E ...
- JAVA计算机毕业设计社区生鲜电商平台(附源码、数据库)
JAVA计算机毕业设计社区生鲜电商平台(附源码.数据库) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ Eclispe( ...
- java计算机毕业设计Web网上购书后台管理系统(附源码、数据库)
java计算机毕业设计Web网上购书后台管理系统(附源码.数据库) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ Ecl ...
- java计算机毕业设计飞机航班信息查询系统(附源码、数据库)
java计算机毕业设计飞机航班信息查询系统(附源码.数据库) 项目运行 环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ Eclisp ...
最新文章
- linux 编译器错误,linux – GHCi – Haskell编译器错误 – /home/user/.ghci归其他人所有,IGNORING...
- matlab 林智仁,机器学习:林智仁libsvm 工具箱 在matlab下的应用总结
- 移动端实现复制到剪贴板
- POJ1178枚举三个地方(所有点都去同一个点)
- PHP之composer切换国内源
- sqlplus连接不上oracle,环境变量设置错误导致sqlplus 连接不上oracle
- 【OS学习笔记】三 计算机的启动过程
- 在golang中defer、panic与recover的作用
- gdal1.6linux编译,VS2015下编译64位GDAL总结
- 95-874-040-源码-批处理-Flink批处理优化器值成本估算
- JavaScript中的两个等号(==)和三个等号(===)
- SparkSQL统一数据的加载与落地
- Ajax请求URL后加随机数原理
- php解析html类库simple_html_dom(2)
- 冒险岛单机版mysql_冒险岛单机版
- 巧用.bat批处理文件
- 【eoeAndroid社区索引】Android二维码知识汇总
- ASP.NET 学习路线图
- 《正确写作美国大学生数学竞赛论文》摘录笔记
- java程序员工资调查_程序员真实调查,工资真的高吗?
热门文章
- 频率响应范围测试软件,关于示波器频率响应分析仪选件和伯德图测试的区别和发展分析...
- jquery.fireworks.js表白页面放烟花js特效
- Eclipse(CCES)bug “Some projects cannot be imported because they already exist in the workspace”
- 关于进程的终止和暂停
- python 常用os操作
- 为什么对1e9+7取模
- 【算法复习】寻路算法1 - A星 A star
- DD云服务器系统,ION云服务器 – 一键dd 安装Win7系统且设置网络连接
- ZOJ1311(Network)
- 现代计算机系统的层次结构