python爬虫数据寻找过程（解决爬虫异步导致AttributeError: 'NoneType' object has no attribute 'find

前边写了url的分析

我们爬取想要的数据，一般是打开网站链接，用浏览器的elements功能对网页标签进行数据分析，确定想要的数据的位置，再在代码中通过requests库的get和post方式发起请求，得到返回的内容，再用美味汤进行数据查找，最后保存。

但这是静态加载的网站的数据分析方式，学习别人代码时会出现AttributeError: 'NoneType' object has no attribute 'find_all'的错误，这是因为网站变了，采用了异步加载的方式(XHR或者js)，这就导致你右键网页查看源代码和F12中的elements完全不一样，你继续用elements分析就不对了，因为数据是动态加载的，你直接在浏览器链接栏拷贝的地址直接get是get不到动态加载的数据的，需要通过network中的xhr和js，去重新构造请求，对返回的json数据进行处理，你想要的数据就在里边！

上边的工作思路是错的，因为拿到链接首先就应该去判断数据是静态的加载还是动态的加载，而不是在敲代码的过程中发现找不到数据再去判断，对于网上下载的代码，如果出现AttributeError: 'NoneType' object has no attribute 'find_all'的错误，往往就是这个问题。

python爬虫数据寻找过程（解决爬虫异步导致AttributeError: 'NoneType' object has no attribute 'find_all'错误）相关推荐

Python 中 AttributeError: ‘NoneType‘ object has no attribute ‘X‘ 错误
文章目录 AttributeError: 'NoneType' object has no attribute 'X' 介绍 AttributeError: 'NoneType' object has ...
Spyder 运行出现 Reloaded modules: **AttributeError: 'NoneType' object has no attribute 'modules' 错误的解决方法
问题描述: 刚开始学习python,有很多问题不懂,网上找了很久找不到答案,就把这个问题记下来,希望可以帮助到其他初学者使用spyder运行以下代码: 第一次运行可以正常显示结果,第二次运行时报错: ...
解决python爬虫AttributeError: ‘NoneType‘ object has no attribute ‘find_all‘
网页上异地加密数据的python爬虫这里特别感谢钟思哲大佬帮我找到了问题并帮助解决要搞python大作业想从https://www.endata.com.cn/BoxOffice/BO/Year ...
python爬虫遇到 ‘NoneType‘ object has no attribute ‘find_all‘ 问题
练习爬虫项目时,遇到问题在跟着别人练习爬虫项目时,遇到了'NoneType' object has no attribute 'find_all' 问题,具体报错如下 import requests ...
Pywinauto 应用后端类型选择错误：AttributeError: ‘NoneType‘ object has no attribute ‘backend‘. 原因及解决办法
AttributeError: 'NoneType' object has no attribute 'backend'. 错误原因: 选择的应用后端类型不对. windows 上应用的后端类型有两种 ...
成功解决AttributeError: 'NoneType' object has no attribute '__array_interface__'
成功解决AttributeError: 'NoneType' object has no attribute '__array_interface__' 目录解决问题解决思路解决方法原因及思路 ...
Keras问题“AttributeError: 'NoneType' object has no attribute 'update”解决
BUG 在使用Keras训练模型时,在每个epoch完成后save_model时会报错 "AttributeError: 'NoneType' object has no attribute ...
Pycharm报错：AttributeError: ‘NoneType‘ object has no attribute ‘_gdal‘的解决办法
Pycharm报错:AttributeError: 'NoneType' object has no attribute '_gdal'的解决办法解决办法如下: pycharm找到settings ...
AttributeError: 'NoneType' object has no attribute 'sc' 解决方法（二）
上一次本以为可以解决了这个问题,然而并没有那么地简单.博主最近在edx网站学习pyspark,想打一下视频上的代码,结果报错了,依旧是报了"AttributeError:'NoneType' ...

python爬虫数据寻找过程（解决爬虫异步导致AttributeError: 'NoneType' object has no attribute 'find_all'错误）

python爬虫数据寻找过程（解决爬虫异步导致AttributeError: 'NoneType' object has no attribute 'find_all'错误）相关推荐

最新文章

热门文章