欢迎关注”生信修炼手册”!

对于静态网页,我们只需要访问对应的URL就可以获得全部的数据了,动态网页则没有这么简单。比如以下网站

http://q.10jqka.com.cn/zjhhy/detail/code/M/

在浏览器中打开,我们可以看到对应的表格数据

在浏览器中,通过翻页按钮,可以查看不同页面的内容

但是你会发现,在翻页的过程中,页面的url并没有发生变化,这说明这个表格中的数据是动态加载的。目前,常用的动态加载技术有以下两种

1. ajax

2. js

通过构建ajax或者js请求,来获得对应的数据。对于这些动态加载的数据,我们就不能只请求网页的url了,而是需要找到上述两种请求的链接,一些简单的动态加载链接,可以通过浏览器的调试工具来快速查找

1. ajax

ajax请求通过network选项中的xhr请求来查找,在上述网站进行翻页,可以看到如下如下所示的ajax请求链接

直接用爬虫或者ajax链接,就可以返回对应的数据了。

2. js动态加载

js请求通过network选项中的js请求来进行查找,在下列网站中,其翻页的数据就是通过js请求来动态加载的

https://finance.sina.com.cn/stock/reportch/jinqilin.shtml

js请求的示例如下

通过分析请求的url规律,可以帮助我们批量获取对应的数据连接。对于简单的ajax和js请求,通过浏览器调试工具,可以快速的获取数据。

·end·

—如果喜欢,快分享给你的朋友们吧—

原创不易,欢迎收藏,点赞,转发!生信知识浩瀚如海,在生信学习的道路上,让我们一起并肩作战!

本公众号深耕耘生信领域多年,具有丰富的数据分析经验,致力于提供真正有价值的数据分析服务,擅长个性化分析,欢迎有需要的老师和同学前来咨询。

更多精彩

  • KEGG数据库,除了pathway你还知道哪些

  • 全网最完整的circos中文教程

  • DNA甲基化数据分析专题

  • 突变检测数据分析专题

  • mRNA数据分析专题

  • lncRNA数据分析专题

  • circRNA数据分析专题

  • miRNA数据分析专题

  • 单细胞转录组数据分析专题

  • chip_seq数据分析专题

  • Hi-C数据分析专题

  • HLA数据分析专题

  • TCGA肿瘤数据分析专题

  • 基因组组装数据分析专题

  • CNV数据分析专题

  • GWAS数据分析专题

  • 2018年推文合集

  • 2019年推文合集

写在最后

转发本文至朋友圈,后台私信截图即可加入生信交流群,和小伙伴一起学习交流。

扫描下方二维码,关注我们,解锁更多精彩内容!

一个只分享干货的

生信公众号

动态网页常用的两种数据加载方式ajax和js动态请求相关推荐

  1. 浅谈Entity Framework中的数据加载方式

    如果你还没有接触过或者根本不了解什么是Entity Framework,那么请看这里http://www.entityframeworktutorial.net/EntityFramework-Arc ...

  2. TF之RNN:TF的RNN中的常用的两种定义scope的方式get_variable和Variable

    TF之RNN:TF的RNN中的常用的两种定义scope的方式get_variable和Variable 目录 输出结果 代码设计 输出结果 代码设计 # tensorflow中的两种定义scope(命 ...

  3. Unity游戏开发——新发教你做游戏(三):3种资源加载方式

    文章目录 一.前言 二.Unity的目录结构规范 1.Resources(不是很推荐把资源放这个目录) 2.RawAssets(存放生资源) 3.GameRes(存放熟资源) 4.StreamingA ...

  4. VELOCITY三种属性加载方式

    一.velocity默认的加载方式(文件加载方式) package com.velocity.test; import java.io.StringWriter; import java.util.P ...

  5. 微信小程序两种loading加载中显示方式

    在微信开发中,为了用户更加友好的体验,一般在数据请求的时候就显示动态加载中的显示字样,表示数据正在加载,用户请耐心等待. 一般有两种显示方式(其实是三种,showToast和showLoading写法 ...

  6. Mixup vs. SamplePairing:ICLR2018投稿论文的两种数据增广方式

    在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...

  7. 复信号两种不同加噪方式的比较

    方式一 分别对信号实部和虚部加噪,SNR=30,然后将实部和虚部合起来变成复信号,计算合起来之后的信号与噪声功率之比 %% 测试加噪方式 clear;close all;clc; M=4;len=10 ...

  8. iOS中常用的几种延时加载/执行的处理办法

    在开发过程中 我们会常常需要用到这样的延迟处理这种技术 那么, 一般你们会怎么去做这样的一个延时操作呢? 比如, 用户登录成功以后,提示登录成功,然后再将控制器从登录页切到主页 又或是,等待一个动画完 ...

  9. MPP 二、Greenplum数据加载

    Loading external data into greenplum database table using different ways... Greenplum 有常规的COPY加载方法,有 ...

最新文章

  1. Linux之mkdir和rm命令选项
  2. python制作神经网络_python_deeplearning02_使用python制作神经网络
  3. mysql 生产实践_mysql-主从复制
  4. 轻量人脸检测,5个关键点
  5. CSS学习16之层级
  6. BUUCTF-Reverse:xor(涉及异或脚本编写)
  7. JS特效——鼠标跟随特效——动态背景线条跟随鼠标移动
  8. 【Linux网络编程】TCP
  9. Nginx安装手冊以及图片server部署
  10. 客座编辑:季统凯(1972-),男,博士,中国科学院云计算产业技术创新与育成中心研究员、主任。...
  11. 信息学奥赛一本通 1024:保留3位小数的浮点数 | OpenJudge NOI 1.1 04
  12. 科发财务凭证登陆出现错误:40002
  13. 洛谷1048 采药(01背包)
  14. 已解决——pycharm在同目录下import,pycharm会提示错误,但是可以运行
  15. Exchange2013/2016 ECP/OWA无法通过用户验证EventID3002/3005
  16. 电商产品销售管理后台ui模板
  17. 芝诺数解|「十一」千里姻缘一“线”牵—重庆网络婚恋分析报告
  18. Jquery之removeClass()
  19. String转换成json
  20. 软件测试之bug管理

热门文章

  1. cephfs + Ganesha
  2. 比AtomicLong还高效的LongAdder源码解析
  3. 面试官:说说 typeof 与 instanceof 区别?
  4. Java中接口的实现
  5. 如何构建自己的知识管理系统?
  6. html显示证书错误代码,整理比较齐全的网站SSL证书报错错误码问题
  7. unsigned long long 与 longlong类型的使用
  8. 目标检测之anchor free
  9. 2亿奖金奖励科技创新,2020京东数科年会来啦!
  10. IK分词工具的使用(java)