记录一下自己的爬虫的过程把，最近在做个项目。

要爬取的网站比较简单。

其中的问题是：

post方式，网站的数据有一些需要使用post方式才能获得。

比如，

这部分要看到《发起的项目》，需要鼠标点击，刚开始以为是ajax，其实不算，是js的方式获取的。

因此，仔细研究发现，其实网址是这样的。

https://s*****view.php?id=GKUdgjKayCQvY

具体部分省略，看这个网址，其实没什么，但是通过浏览器检查，可以发现，鼠标点击《发起的项目》，会有一个js动作。

如果只有一页，

像这样

那么不会发现js动作。但是如果很多也，需要点击，就会发现，需要js了。

这个动作，是包含post的。

具体的参数如下

因此，其实请求的网址，可以用这样组成。

https://sd.zhiyuanyun.com/app/api/view.php?m=get_opps&type=2&id=89608371&p=3

所以，这里面就是id，p是页面。其他都是默认参数。

然后在利用post方式，构造出来这个请求就可以了。

def get_proj_number(id):print("((((((((( >>>>>>>> 现在开始 获取 组织 一共开展了 多少个项目 ")params = (('m', 'get_opps'), ('type', '2'), ('id', id), ('p', "1"), )response = requests.get('https://sd.zhiyuanyun.com/app/api/view.php', headers=headers, params=params)selector = Selector(response)

这样，把p参数弄成一个for循环就可以了。

保存列表数据

最后请求下来的数据网页是一个列表

那么怎么保存这个列表。

列表包含 th 和td

那么我直接把td 做成列表，然后zip一下。

我就弄了一个简单点的。做一个zip（list）

python爬虫，记录一下爬取过程，列表数据，翻页，post方式，保存字典相关推荐

python爬虫课设-爬取3000条数据并做数据可视化
很久以前接的单子,分享一下(挺水的,将就着看吧) 文章目录作业要求数据爬取爬取结果数据处理数据可视化大作业文档作业要求 <Python与数据分析>期末大作业要求(2020-2 ...
Python爬虫实战案例：取喜马拉雅音频数据详解
前言喜马拉雅是专业的音频分享平台,汇集了有声小说,有声读物,有声书,FM电台,儿童睡前故事,相声小品,鬼故事等数亿条音频,我最喜欢听民间故事和德云社相声集,你呢? 今天带大家爬取喜马拉雅音频数据,一 ...
初试python爬虫（简单爬取站长之家第一页图片）
爬取站长之家第一页图片爬虫 ----需要借助第三方库 requests beautifulsoup4 html5lib 1.模拟浏览器发送请求并且接收服务器的响应数据 requests 2.解析并 ...
python爬取豆瓣影评_【python爬虫实战】爬取豆瓣影评数据
概述: 爬取豆瓣影评数据步骤: 1.获取网页请求 2.解析获取的网页 3.提速数据 4.保存文件源代码: # 1.导入需要的库 import urllib.request from bs4 impo ...
python爬虫四：爬取贴吧数据
# -*- coding: utf-8 -*- import requests import time from bs4 import BeautifulSoupimport io import sy ...
数据分析利器Python——爬虫（含爬取过程、Scrapy框架介绍）
文章目录一.基础知识 1.定义 2.基本架构二.URL管理模块三.网页下载模块 Python中的requests模块四.网页解析模块 1.结构化网页解析 2.BeautifulSoup使用步骤 ...
【Python爬虫实战】爬取网易新闻某详情页信息 1.0
文章目录一.网页分析二.代码实现三.总结一.网页分析本次爬取目标网站为 https://www.163.com/dy/article/G0F6HT9A051186GP.html 爬取对象为新 ...
Python爬虫实战之爬取QQ音乐数据
目录准备工作安装方法步骤新建py文件复制网页链接获取源代码获取数据源代码这里用QQ音乐作为一个例子.不同的链接,按照此方法都可做到. 本次程序编写原则上按照模块化进行划分,一个步骤一 ...
python 爬虫 Form Data爬取穷游网的数据
数据以穷游网郑州市的旅游景点为例请求方式分页的时候,是向同一个url发请求,不同的是Form Data里的page参数参考代码 #!/usr/bin/env python # -*- codi ...

python爬虫，记录一下爬取过程，列表数据，翻页，post方式，保存字典

保存列表数据

python爬虫，记录一下爬取过程，列表数据，翻页，post方式，保存字典相关推荐

最新文章

热门文章