Flash数据的采集方法-搜房房价走势采集
一般来说flash中的数据是不能被现有技术很容易采集到的,但是也不能谈flash色变,要具体问题具体分析,有些flash是可以通过一些分析发现背后的数据。然后采集就变得很容易了。
具体案例:搜房房价走势采集。
先看看房价走势页面:
http://baolishangcheng.soufun.com/house/2810932360/fangjia.htm
可以看出,这是个flash的,还有很多鼠标移动上去显示的数据。
右键点击,发现确实是flash,然后查看源码,发现如下信息:
<iframe src="http://pinggus.soufun.com/Estimate/process/makeflashchart.aspx?dis=3&city=%C9%EE%DB%DA&height=218" width="680" height="218" marginwidth="0" marginheight="0" frameborder="0" scrolling="no"></iframe>
原来flash是放在iframe中的,好的,打开改iframe对应的网页
http://pinggus.soufun.com/Estimate/process/makeflashchart.aspx?dis=3&city=%C9%EE%DB%DA&height=218
别激动,没看到数据,还是flash,再查看源码,发现一堆脚本:
swfobject.embedSWF("http://img.soufun.com/secondhouse/image/pinggu/js/open-flash-chart.swf", "mychart", "100%", "218", "9.0.0", "expressInstall.swf", {"data-file":"makechartdata.aspx%3fdis%3d3%26newcode%3d1010035274%26city%3d%25c9%25ee%25db%25da%26district%3d%26commerce%3d%26isprojname%3d"},{allowScriptAccess:'always',wmode:'transparent'} | |
); |
玄机就在这里,仔细观察该脚本,发现其使用了一个叫做open-flash-chart的flash,经过google,是个开源的,打开其官网,发现关于它如何使用的文档:
http://teethgrinder.co.uk/open-flash-chart/
再结合上面的源码,发现最关键的地方,数据是由:data-file指定的:
"data-file":"makechartdata.aspx%3fdis%3d3%26newcode%3d1010035274%26city%3d%25c9%25ee%25db%25da%26district%3d%26commerce%3d%26isprojname%3d"
在经过一些基本常识即可发现这是一个url,手工对其解码,得到如下url:
makechartdata.aspx?dis=3&newcode=1010035274&city=%25c9%25ee%25db%25da&district=&commerce=&isprojname=
加上url前半部分,得到完整url:
http://pinggus.soufun.com/Estimate/process/makechartdata.aspx?dis=3&newcode=1010035274&city=%25c9%25ee%25db%25da&district=&commerce=&isprojname=
打开,看到什么了,是不是眼睛被亮瞎了:
这就是你要的数据,好了,今天就到这里,谢谢大家关注。
Flash数据的采集方法-搜房房价走势采集相关推荐
- (80)ADC采集方法(基于LVDS采集方法)
1.1 ADC采集方法(基于LVDS采集方法) 1.1.1 本节目录 1)本节目录: 2)本节引言: 3)FPGA简介: 4)ADC采集方法(基于LVDS采集方法): 5)结束语. 1.1.2 本节引 ...
- 大数据时代:大数据处理技术及采集方法
在大数据时代,传统的大数据处理技术还管用吗? 大数据处理环节下的需求 大数据环节下的数据来源是非常多,而且类型也很多花样,存储和数据处理的需求量很大,对于数据展现也非常的高,并且很看重数据处理的高效性 ...
- 10种网站数据的采集方法
10种AI训练数据采集工具排行榜 10种网站数据的采集方法 1.目前常用的10种网站数据 2.如何写Python爬虫: 3.人生第一个 爬虫代码示例: 另外: 10种网站数据的采集方法 如何收集网站数 ...
- 10种招聘数据的采集方法
10种AI训练数据采集工具排行榜 10种招聘数据的采集方法 1.目前常用的10种数据网站 2.如何写Python爬虫: 3.人生第一个 爬虫代码示例: 另外: 10种招聘数据的采集方法 如何收集招聘数 ...
- 6种上市公司数据的采集方法和工具
10种AI训练数据采集工具排行榜 6种上市公司数据的采集方法和工具 1.目前常用的6种数据网站 2.如何写Python爬虫: 3.人生第一个 爬虫代码示例: 另外: 6种上市公司数据的采集方法和工具 ...
- PbootCMS采集-PbootCMS采集插件-免费PbootCMS采集方法点解
关于PbootCMS采集一直是PbootCMS站长非常头疼的问题,PB插件市场并没有提供很好的Pb采集插件,今天我说一下PbootCMS如何可以直接上手实用PbootCMS采集,操作非常简单.PBoo ...
- React Native实现一个带筛选功能的搜房列表(2)
原文链接React Native实现一个带筛选功能的搜房列表(2) 在上一篇中,我们实现了一个下拉刷新和上拉加载更多的列表,那根据一般的开发步骤,接着应该就是进行网络请求,在网络请求之后更新列表数据和 ...
- Java多层翻页网络爬虫实战(以搜房网为例)
目录 分析所要爬取的数据 爬虫框架 model main util parse db数据库操作 爬虫如何实现翻页地址拼接 网络爬虫如何解决主键重复问题 本文为原创博客,仅供技术学习使用.未经允许,禁止 ...
- BAT大牛亲授基于ElasticSearch的搜房网实战(第六章 房源信息管理模块实现上)
从零起步基于ElasticSearch的搜房网(前后端集成)实战(介绍与整体目录)点击即可 静态资源集成太多页面,我已经上传到博客资源链接,供下载.后期代码全部完善后,会上传到github上. 静态资 ...
最新文章
- 扩增子图表解读7三元图:三组差异数量和关系
- 一次 Nacos 的踩坑记录!
- python 读下一行-Python-将前一行和下一行绑定到当前行。
- Leetcode 59. 螺旋矩阵 II (每日一题 20210926)
- Android 6.0 超级简单的权限申请2 (Permission)
- 用python输入任意三条边长_如何用python求第三条边边长
- InstallSheild 获取系统环境变量,如Desktop路径等
- 接收xml参数_SpringBoot实战(二):接收xml请求
- java hashmap putall_Java ConcurrentHashMap.putAll方法代码示例
- oracle11g 未,Oracle11g链接提示未“在本地计算机注册“OraOLEDB.Oracle”解决方法
- python 有趣的爬虫_Python有趣|微博榜单爬虫,尽知天下事
- 匹配 边覆盖 独立集 顶点覆盖
- IDEA 使用Tomcat热部署
- AI读懂说话人情绪,语音情感识别数据等你Pick!
- Kubesphere-多节点安装
- 制作启动盘(带数据,不用格式化)
- Qt完成简易闹钟与画板
- 文档转换工具JODConverter简介
- antd tree 动态添加_动态壁纸设置教程
- 如何制作U盘启动盘?