用python爬虫爬取东方财富网信息网页信息_爬取东方财富网数据的网页分析

自学Python已有3个月之多，浏览无数大神的佳作，收获颇丰。当初自学python就是为了学习爬虫，爬取网站上好看妹子的图片……[流口水][流口水]

言归正传，近期学习量化交易知识，发现东方财富网(eastmoney.com)提供的特色数据相当不错，在投资组合页面，看看周冠军，月冠军等排行榜上那诱人的红色数字，那要是我的操作该有多好啊。

东方财富网投资组合首页

后来一想，我可以把每周的排行榜爬取下来，选出比较厉害的人，跟踪学习别人的操作，那我是不是也可以在A股中分一杯羹呢？想想就诱人……

月度高手排行榜

说干就干，先分析下网页，点开月度高手页面，来到投资组合排行榜。在chorme浏览器中打开网页调试工具(按F12即可)，重新加载页面，看到如下图所示

月度高手排行榜分析页面

在调试工具中，选择JS，可以看到网页加载过程中的各种数据。每个页面点开，也没发现什么有价值的信息。最后在Private_Rank_Sort.js的页面中发现url信息的蛛丝马迹，如上图红方框和红色箭头所指部分。这个url是不是我要找的排行榜的页面呢？于是保存Private_Rank_Sort.js页面，查看JS代码。

URL信息的组合

查看js代码，发现GetDat函数中的这个URL是由几部分组成，中间有两个变量type和callbackName。分析上下文可以看出callbackName是由字符串“CallBack”+type+8位随机数组成。那type变量的结构就是关键了，找到了type，整个URL的信息就能拼凑出来。继续在该文件中查找，在尾部发现这么一句：

var type=$(this).attr("sortvalue")

再后面是调用GetDat(type)函数

JS代码分析type

总算是找到type的出处了，那他的具体赋值呢。于是又开始搜索网页，最后再网页源码中找到了“sortvalue”属性的数据。如下图

网页源码

原来type=8101、8102、8104、8105、8106、8107分别代表不同的意思(怎么没有8103呢，我也不知道，不管它了，继续正题……)

取type一个值 8102 日收益吧，把URL拼凑出来

URL完整信息

把拼凑号的url地址复制到浏览器地址栏，回车。见证奇迹的时刻到了……

网站返回结果

一个Json结构的数据，拿来和网页对比一下，很容易猜出字典中Key的含义。

至此万里长征的第一步总算走完了，后面就可以用python中requests模块Get数据了。

总结：

1、分析网页最重要的是要先找到url地址。之后再去弄懂各个参数的具体含义，扩展获取更多的数据。

2、分析过程中要细心，有耐心，多用查找功能。找不到了再到网页源码中看看，说不定会有意想不到的收获。

3、异步加载数据的网页，一般在JS或XHR中取找url

4、善用web浏览器中的工具插件，我用的chrome浏览器，它的网页调试工具很好用，还有很多扩展插件，比如JSON-handle把json数据理清层次结构，CrapApi方便GET、POST各种带参数的url地址，即时查看返回数据，分析参数的作用

最后再说一下，我把爬取下来的排行榜数据进行筛选，选出几个活跃度高，周月年收益较高的，实时跟踪其调仓动作，跟买跟卖，收益还可以的，不得不佩服高手就是高手。哈哈

上张运行界面图

跟踪程序运行界面

用python爬虫爬取东方财富网信息网页信息_爬取东方财富网数据的网页分析相关推荐

python爬虫实践——零基础快速入门（四）爬取小猪租房信息
上篇文章我们讲到python爬虫实践--零基础快速入门(三)爬取豆瓣电影接下来我们爬取小猪短租租房信息.进入主页后选择深圳地区的位置.地址如下: http://sz.xiaozhu.com/ 一,标 ...
Python爬虫新手入门教学（十八）：爬取yy全站小视频
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
Python爬虫新手入门教学（十六）：爬取好看视频小视频
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
Python爬虫新手入门教学（十五）：爬取网站音乐素材
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
Python爬虫新手入门教学（二十）：爬取A站m3u8视频格式视频
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 前文内容 Python爬虫新手入门教学(一):爬取豆瓣电影排行信息 Python爬虫新手入门 ...
python爬虫电影资源_【Python爬虫】第十六次 xpath整站抓取阳光电影网电影资源
[Python爬虫]第十六次 xpath整站抓取阳光电影网电影资源# 一.解析电影url # 请求15题构造出的每个电影菜单的分页url,解析出每个电影url # 二.xpath解析电影资源 # 对第 ...
python–爬虫–模拟登录全面介绍和简例–以抓取雅卓app为例
转载请注明出处:python–爬虫–模拟登录全面介绍和简例–以抓取雅卓app为例我们在前面的文章中已经学习了如果使用python进行数据抓取. 但我们常常会遇到一种场景,就是想要获取的页面内容或者接 ...
python爬虫(14)获取淘宝MM个人信息及照片（中）
python爬虫(14)获取淘宝MM个人信息及照片(中) python爬虫(14)获取淘宝MM个人信息及照片(上) python爬虫(14)获取淘宝MM个人信息及照片(下)(windows版本) 在上 ...
python爬虫(14)获取淘宝MM个人信息及照片（上）
python爬虫(14)获取淘宝MM个人信息及照片(上) python爬虫(14)获取淘宝MM个人信息及照片(中) python爬虫(14)获取淘宝MM个人信息及照片(下)(windows版本) 网上 ...
python画哪吒_用Python爬取暑期档大火的《哪吒》，20W+评论数据，我们分析一波...
原标题:用Python爬取暑期档大火的<哪吒>,20W+评论数据,我们分析一波说起这个暑期档的动画片,非<哪吒之魔童降世>莫属了! 上映第 1 天:89分钟,中国动画最快破 ...

用python爬虫爬取东方财富网信息网页信息_爬取东方财富网数据的网页分析

用python爬虫爬取东方财富网信息网页信息_爬取东方财富网数据的网页分析相关推荐

最新文章

热门文章