一般来说flash中的数据是不能被现有技术很容易采集到的,但是也不能谈flash色变,要具体问题具体分析,有些flash是可以通过一些分析发现背后的数据。然后采集就变得很容易了。

具体案例:搜房房价走势采集。

先看看房价走势页面:

http://baolishangcheng.soufun.com/house/2810932360/fangjia.htm

可以看出,这是个flash的,还有很多鼠标移动上去显示的数据。

右键点击,发现确实是flash,然后查看源码,发现如下信息:

<iframe src="http://pinggus.soufun.com/Estimate/process/makeflashchart.aspx?dis=3&amp;city=%C9%EE%DB%DA&amp;height=218" width="680" height="218" marginwidth="0" marginheight="0" frameborder="0" scrolling="no"></iframe>

原来flash是放在iframe中的,好的,打开改iframe对应的网页

http://pinggus.soufun.com/Estimate/process/makeflashchart.aspx?dis=3&city=%C9%EE%DB%DA&height=218

别激动,没看到数据,还是flash,再查看源码,发现一堆脚本:

swfobject.embedSWF("http://img.soufun.com/secondhouse/image/pinggu/js/open-flash-chart.swf", "mychart", "100%", "218", "9.0.0", "expressInstall.swf", {"data-file":"makechartdata.aspx%3fdis%3d3%26newcode%3d1010035274%26city%3d%25c9%25ee%25db%25da%26district%3d%26commerce%3d%26isprojname%3d"},{allowScriptAccess:'always',wmode:'transparent'}
 

);

玄机就在这里,仔细观察该脚本,发现其使用了一个叫做open-flash-chart的flash,经过google,是个开源的,打开其官网,发现关于它如何使用的文档:

http://teethgrinder.co.uk/open-flash-chart/

再结合上面的源码,发现最关键的地方,数据是由:data-file指定的:

"data-file":"makechartdata.aspx%3fdis%3d3%26newcode%3d1010035274%26city%3d%25c9%25ee%25db%25da%26district%3d%26commerce%3d%26isprojname%3d"

在经过一些基本常识即可发现这是一个url,手工对其解码,得到如下url:

makechartdata.aspx?dis=3&newcode=1010035274&city=%25c9%25ee%25db%25da&district=&commerce=&isprojname=

加上url前半部分,得到完整url:

http://pinggus.soufun.com/Estimate/process/makechartdata.aspx?dis=3&newcode=1010035274&city=%25c9%25ee%25db%25da&district=&commerce=&isprojname=

打开,看到什么了,是不是眼睛被亮瞎了:

这就是你要的数据,好了,今天就到这里,谢谢大家关注。

Flash数据的采集方法-搜房房价走势采集相关推荐

  1. (80)ADC采集方法(基于LVDS采集方法)

    1.1 ADC采集方法(基于LVDS采集方法) 1.1.1 本节目录 1)本节目录: 2)本节引言: 3)FPGA简介: 4)ADC采集方法(基于LVDS采集方法): 5)结束语. 1.1.2 本节引 ...

  2. 大数据时代:大数据处理技术及采集方法

    在大数据时代,传统的大数据处理技术还管用吗? 大数据处理环节下的需求 大数据环节下的数据来源是非常多,而且类型也很多花样,存储和数据处理的需求量很大,对于数据展现也非常的高,并且很看重数据处理的高效性 ...

  3. 10种网站数据的采集方法

    10种AI训练数据采集工具排行榜 10种网站数据的采集方法 1.目前常用的10种网站数据 2.如何写Python爬虫: 3.人生第一个 爬虫代码示例: 另外: 10种网站数据的采集方法 如何收集网站数 ...

  4. 10种招聘数据的采集方法

    10种AI训练数据采集工具排行榜 10种招聘数据的采集方法 1.目前常用的10种数据网站 2.如何写Python爬虫: 3.人生第一个 爬虫代码示例: 另外: 10种招聘数据的采集方法 如何收集招聘数 ...

  5. 6种上市公司数据的采集方法和工具

    10种AI训练数据采集工具排行榜 6种上市公司数据的采集方法和工具 1.目前常用的6种数据网站 2.如何写Python爬虫: 3.人生第一个 爬虫代码示例: 另外: 6种上市公司数据的采集方法和工具 ...

  6. PbootCMS采集-PbootCMS采集插件-免费PbootCMS采集方法点解

    关于PbootCMS采集一直是PbootCMS站长非常头疼的问题,PB插件市场并没有提供很好的Pb采集插件,今天我说一下PbootCMS如何可以直接上手实用PbootCMS采集,操作非常简单.PBoo ...

  7. React Native实现一个带筛选功能的搜房列表(2)

    原文链接React Native实现一个带筛选功能的搜房列表(2) 在上一篇中,我们实现了一个下拉刷新和上拉加载更多的列表,那根据一般的开发步骤,接着应该就是进行网络请求,在网络请求之后更新列表数据和 ...

  8. Java多层翻页网络爬虫实战(以搜房网为例)

    目录 分析所要爬取的数据 爬虫框架 model main util parse db数据库操作 爬虫如何实现翻页地址拼接 网络爬虫如何解决主键重复问题 本文为原创博客,仅供技术学习使用.未经允许,禁止 ...

  9. BAT大牛亲授基于ElasticSearch的搜房网实战(第六章 房源信息管理模块实现上)

    从零起步基于ElasticSearch的搜房网(前后端集成)实战(介绍与整体目录)点击即可 静态资源集成太多页面,我已经上传到博客资源链接,供下载.后期代码全部完善后,会上传到github上. 静态资 ...

最新文章

  1. 扩增子图表解读7三元图:三组差异数量和关系
  2. 一次 Nacos 的踩坑记录!
  3. python 读下一行-Python-将前一行和下一行绑定到当前行。
  4. Leetcode 59. 螺旋矩阵 II (每日一题 20210926)
  5. Android 6.0 超级简单的权限申请2 (Permission)
  6. 用python输入任意三条边长_如何用python求第三条边边长
  7. InstallSheild 获取系统环境变量,如Desktop路径等
  8. 接收xml参数_SpringBoot实战(二):接收xml请求
  9. java hashmap putall_Java ConcurrentHashMap.putAll方法代码示例
  10. oracle11g 未,Oracle11g链接提示未“在本地计算机注册“OraOLEDB.Oracle”解决方法
  11. python 有趣的爬虫_Python有趣|微博榜单爬虫,尽知天下事
  12. 匹配 边覆盖 独立集 顶点覆盖
  13. IDEA 使用Tomcat热部署
  14. AI读懂说话人情绪,语音情感识别数据等你Pick!
  15. Kubesphere-多节点安装
  16. 制作启动盘(带数据,不用格式化)
  17. Qt完成简易闹钟与画板
  18. 文档转换工具JODConverter简介
  19. antd tree 动态添加_动态壁纸设置教程
  20. 如何制作U盘启动盘?

热门文章

  1. MyBatis逆向工程:根据table生成Model、Mapper、Mapper.xml
  2. 学习了Python那么长的世界,有没有玩转过hello word?
  3. Linux系统管理员修炼三层次
  4. hdu 1753大小数相加
  5. c/c++常见面试题
  6. mysql事务和锁InnoDB
  7. dll窗体的创建与调用
  8. OpenCV 礼帽和黑帽
  9. linux 路径名长度限制,linux下 如何修改命令行提示符路径提示符路径长度
  10. 微信公众平台开发:进阶篇(Web App开发入门)