今天的主题是爬取动态网页的经验分享，以cocos论坛为例子进行分享。(官方不会打我吧 )

配置环境

为什么选择cocos论坛呢？因为自己在浏览论坛时，发现标题内容会随着滚动条的位置而动态添加。

环境: python3 + requests 。还要引入几个系统库。参考如下：

分析网页

以chrome浏览器为例，空白处右键->检查进入网页分析模式，选择 Network 中的XHR，滚动条往下滚，观察右侧加载了什么文件。

在网页分享模式下，点击刚才下载的文件，查看里面的内容，发现对一个地址使用了GET方法，并传入了页码的参数。

再看看返回的内容是一个json字符串。

这个 json字符串里就有我们想要内容。一起看下如何用requests 发送参数，并返回Json 结果。

只需要根据地址，传入一个 headers 告诉网页我们要接收json字符串。

解析json

json是一种数据存储格式，可以被多种语言解析，一般用于数据传输。

由前一张图，可以看到所有文章列表在topic_list的topics中，一起看看 python3 是怎么解析的。

其中的链接地址可以通过打开几个论坛内容找到规律，是由 slug 和 id 这两个字段拼接的。

最后使用多线程和 csv 存储结果。(不清楚的话可以看看之前的文章哦。python爬虫入门实战(三)不会正则怎么办？xpath分分钟搞定和 python爬虫入门实战(二)！快！快！快！让爬虫赢在起跑线！多线程)

最后，看看最终效果吧！

小结

对于动态生成的内容，我们可以通过网页分享中下载的文件分析，并通过requests模块模拟headers 和发送参数方法获取数据。

这是我学到的新技能哦！如有错误或其他想法，欢迎留言！如果我又学到新的东西，会第一时间分享给大家哦！点个关注不迷路！

以上内容仅供个人学习使用，请勿用于商业用途。

我是白玉无冰，游戏开发小赤佬，也玩python和shell

怎么加载csv_python爬虫入门实战(四)！爬取动态加载的页面相关推荐

python爬虫动态加载_python爬虫入门实战(四)！爬取动态加载的页面！
今天的主题是爬取动态网页的经验分享,以cocos论坛为例子进行分享.(官方不会打我吧 ) 配置环境为什么选择cocos论坛呢?因为自己在浏览论坛时,发现标题内容会随着滚动条的位置而动态添加. 环境: ...
python爬虫入门实战！爬取博客文章标题和链接！
最近有小伙伴和我留言想学python爬虫,那么就搞起来吧. 准备阶段爬虫有什么用呢?举个最简单的小例子,你需要<战狼2>的所有豆瓣影评.最先想的做法可能是打开浏览器,进入该网站,找到评论 ...
python3 [爬虫入门实战]scrapy爬取盘多多五百万数据并存mongoDB
总结:虽然是第二次爬取,但是多多少少还是遇到一些坑,总的结果还是好的,scrapy比多线程多进程强多了啊,中途没有一次被中断过. 此版本是盘多多爬取数据的scrapy版本,涉及数据量较大,到现在已经是 ...
layui 如何动态加载局部页面_python爬虫入门实战(四)！爬取动态加载的页面！
今天的主题是爬取动态网页的经验分享,以cocos论坛为例子进行分享.(官方不会打我吧 ) 配置环境为什么选择cocos论坛呢?因为自己在浏览论坛时,发现标题内容会随着滚动条的位置而动态添加. 环境: ...
Python爬虫入门 | 7 分类爬取豆瓣电影，解决动态加载问题
比如我们今天的案例,豆瓣电影分类页面.根本没有什么翻页,需要点击"加载更多"新的电影信息,前面的黑科技瞬间被秒-- 又比如知乎关注的人列表页面: 我复制了其中两个人昵称 ...
python爬虫动态加载页面_Python+Selenium爬取动态加载页面（2）
注: 上一篇<Python+Selenium爬取动态加载页面(1)>讲了基本地如何获取动态页面的数据,这里再讲一个稍微复杂一点的数据获取全国水雨情网.数据的获取过程跟人手动获取过程类似,所 ...
用Python爬取动态加载的诸如百度的图片
用Python爬取动态加载的诸如百度的图片使用原因代码如下模块介绍 selenium模块 lxml解析模块 requests模块去除重复开启多线程效果如下留言使用原因学习Python ...
python爬去百度百科词条_Python爬虫入门学习实践——爬取小说
本学期开始接触python,python是一种面向对象的.解释型的.通用的.开源的脚本编程语言,我觉得python最大的优点就是简单易用,学习起来比较上手,对代码格式的要求没有那么严格,这种风格使得我 ...
爬虫案例之爬取国家药监局化妆品生产许可明细（爬取动态加载数据）
一.实验目的爬取国家药监局(化妆品生产许可信息管理系统服务平台 (nmpa.gov.cn))化妆品生产明细(具体到每家企业的具体信息),当我们进入该网站首页时,发现其结构为每页15条的json类型数 ...

怎么加载csv_python爬虫入门实战(四)！爬取动态加载的页面

配置环境

分析网页

解析json

小结

怎么加载csv_python爬虫入门实战(四)！爬取动态加载的页面相关推荐

最新文章

热门文章