python爬取分页数据
今天需要到这个广东省科学技术厅网站上查一个办件信息,结果发现……
这个不能直接选页码也不能搜索的分页真是剧毒……好几百页让人怎么翻呢。。。
于是我果断F12看一下
可以看到请求的url和post的表单数据,复制到浏览器看看
这里最重要的参数就是pageNum(第几页)和pageSize(每页有多少条数据)
http://zwfw.gd.gov.cn/portal/xnjd/bjxx?pageNum=1&pageSize=10&orgCode=006939801&xzqhdm=440000&url=%2Fprocess-details&phase=5
果然是第一页的10条数据,可以改它的pagesize,但是我发现最大只能改到50,超过50就会请求失败了。
所以我就用python写个循环去请求每一页好了。pageNum就固定在50,用format来修改pageNum。
具体总页数我也不知道,随便试了几次大概就是有4000多条数据。
import requests
import jsondef start():url = "http://zwfw.gd.gov.cn/portal/xnjd/bjxx?pageNum={}&pageSize=50&orgCode=006939801&xzqhdm=440000&url=%2Fprocess-details&phase=5"for i in range(1, 100):url2 = url.format(i)res = requests.post(url2)print(res.text)if __name__ == "__main__":start()
就会全部出现在控制台,ctrl+F就可以马上搜索到想要的流水号,不用慢慢翻页啦开心~
python爬取分页数据相关推荐
- python爬取分页数据_爬虫抓取分页数据的简单实现
昨天,我们已经利用Jsoup技术实现了一个简单的爬虫,原理很简单,主要是要先分析页面,拿到条件,然后就去匹配url,采用dome解析的方式循环抓取我们需要的数据,从而即可轻松实现一个简单的爬虫.那么, ...
- python爬取微博数据词云_用Python爬取微博数据生成词云图片
原标题:用Python爬取微博数据生成词云图片 欢迎关注天善智能 hellobi.com,我们是专注于商业智能BI,大数据,数据分析领域的垂直社区,学习.问答.求职,一站式搞定! 对商业智能BI.大数 ...
- python爬取网页公开数据_如何用Python爬取网页数据
使用Python爬取网页数据的方法: 一.利用webbrowser.open()打开一个网站:>>> import webbrowser >>> webbrowse ...
- 编程python爬取网页数据教程_实例讲解Python爬取网页数据
一.利用webbrowser.open()打开一个网站: >>> import webbrowser >>> webbrowser.open('http://i.f ...
- Python爬取天气数据及可视化分析!
来源丨Python之王 Python爬取天气数据及可视化分析 说在前面 天气预报我们每天都会关注,我们可以根据未来的天气增减衣物.安排出行,每天的气温.风速风向.相对湿度.空气质量等成为关注的焦点.本 ...
- Python爬取的数据存为json文件,并读取
Python爬取的数据存为json文件,并读取 import requests import time from lxml import etree import jsondef json_data_ ...
- python爬虫教程:实例讲解Python爬取网页数据
这篇文章给大家通过实例讲解了Python爬取网页数据的步骤以及操作过程,有兴趣的朋友跟着学习下吧. 一.利用webbrowser.open()打开一个网站: >>> import w ...
- python爬取股票数据,以上证指数为例,可以爬取任何股票,保存为temp.csv文件
python爬取股票数据,以上证指数为例,可以爬取任何股票,保存为temp.csv文件 import requests import pandas as pd# market: 0:沪市 1:深市 # ...
- 使用python爬取网站数据并写入到excel中
文章目录 前言 一.使用python爬取网上数据并写入到excel中 例子一: 例子二: 二.工具类 总结 前言 记录一下使用python将网页上的数据写入到excel中 一.使用python爬取网上 ...
最新文章
- python三十二:os模块
- 最详细的R-CNN论文笔记
- 天津理工大学c语言上机题库,天津理工大学C语言上机报告题目加答案.doc
- sysbench mysql 测试_sysbench MySQL测试例子
- 【疑点】当子元素全部浮动时,怎么解决父元素塌陷的问题?
- Python中断并继续
- JavaScript学习(七)
- 不平衡数据对于卷积神经网络的影响
- 计算机常用英语词汇及读音,程序员相关常见英文单词的正确读法
- Chromium浏览器password unlock
- 关于Oculus无法下载应用:(OVR40779122) 的解决方案
- 2020电工(初级)考试题及电工(初级)模拟考试系统
- Excel散点图 如何用平滑线 连接 不连续的点
- 指南-安卓/Linux应用指南-RNDIS
- Beosin(成都链安)双周报4月6日—4月19日
- c语言error c2198,为何会出现error C2198: 'create' : too few actual parameters呢?
- 处理器压力测试软件,处理器压力测试小工具——云汉烤机大师
- IM开发者的零基础通信技术入门(二):通信交换技术的百年发展史(下)
- 如何翻译截图里的英文
- 聊一聊cropper.js