Python爬虫总结——常见的报错、问题及解决方案

Python爬虫基础——HTML、CSS、JavaScript、JQuery网页前端技术
Python爬虫基础——正则表达式
Python爬虫基础——re模块的提取、匹配和替换
Python爬虫基础——XPath语法的学习与lxml模块的使用【CSDN】
Python爬虫进阶——JsonPath使用案例
Python爬虫进阶——urllib模块使用案例【淘宝】
Python爬虫进阶——Request对象之Get请求与URL编码【英雄联盟吧】
Python爬虫进阶——Request对象之post请求案例分析【百度翻译】
Python爬虫实战—— Request对象之header伪装策略
Python爬虫实战——反爬策略之代理IP【无忧代理】
Python爬虫实战——反爬策略之模拟登录【CSDN】
Python爬虫实战——反爬机制的解决策略【阿里】
Python爬虫总结——常见的报错、问题及解决方案

在爬虫开发时，我们时常会遇到各种BUG各种问题，下面是我初步汇总的一些报错和解决方案。
在以后的学习中，如果遇到其他问题，我也会在这里进行更新。
各位如有什么补充，欢迎评论区留言~~~

问题：

IP被封，或者因访问频率太高被拦截？？？

解决方案之一：

使用代理IP即可。

问题：

正确使用XPath之后并没有输出？？？

解决方案之一：

XPath只能提取未注释的代码，改用正则表达式即可。

问题：

容易被反爬搞死？？？

解决方案之一：

headers中都要带上User-Agent，而Cookie能不带则不带。

报错：

类型错误：需要类似字节的对象，而不是字符串？？？

解决方案之一：

str通过encode()方法可以编码为指定的bytes；

PS：反过来，如果我们从网络或磁盘上读取了字节流，那么读到的数据就是bytes。要把bytes变为str，就需要用decode()方法。

报错：

UTF-8不能处理字节？？？

解决方案之一：

利用浏览器的无痕窗口功能，进入网页再取Cookie即可。

报错：

解决方案之一：

报错：

解决方案之一：

未完待续哦~~~~

为我心爱的女孩~~

Python爬虫总结——常见的报错、问题及解决方案相关推荐

python爬虫解决使用代理报错ssl问题
在使用requests爬虫抓取某电商网站的时候,不使用代理ip则正常,使用代理ip就报这个异常 requests.exceptions.SSLError: HTTPSConnectionPool(ho ...
linux 编译报错 not a directory,Linux常见英文报错中文翻译
Linux常见英文报错中文翻译(菜鸟必知) 1.command not found 命令没有找到 2.No such file or directory 没有这个文件或目录 3.Permission ...
vue-cli打包构建时常见的报错解决方案
vue-cli打包构建时常见的报错解决方案参考文章: (1)vue-cli打包构建时常见的报错解决方案 (2)https://www.cnblogs.com/bester-ace/articles/ ...
Python发送邮件smtplib.SMTP各报错问题的解决方法
Python发送邮件smtplib.SMTP各报错问题的解决方法参考文章: (1)Python发送邮件smtplib.SMTP各报错问题的解决方法 (2)https://www.cnblogs.co ...
python 3.8.0 编译报错 Could not import runpy module 解决方案
环境 CentOS 7 Gcc 4.8.5 Python 3.8.0 相关报错 make build_all CFLAGS_NODIST=" -fprofile-use -fprofile- ...
python：SyntaxError: invalid syntax报错
python:SyntaxError: invalid syntax报错大多数时间都是因为括号不成对造成的.快去检测一下是否少括号吧.
[python爬虫] Selenium常见元素定位方法和操作的学习介绍(转载)
转载地址:[python爬虫] Selenium常见元素定位方法和操作的学习介绍一. 定位元素方法官网地址:http://selenium-python.readthedocs.org/locat ...
Linux常见英文报错中文翻译(菜鸟必知)
Linux常见英文报错中文翻译(菜鸟必知) 1.command not found 命令没有找到 2.No such file or directory 没有这个文件或目录 3.Permission ...
python的moviepy库打包报错: ‘moviepy.audio.fx.all‘ has no attribute ‘audio_fade 的解决办法
本篇文章主要讲解python的moviepy库打包报错: 'moviepy.audio.fx.all' has no attribute 'audio_fade 的解决办法日期:2022年3月9 ...

Python爬虫总结——常见的报错、问题及解决方案

问题：

解决方案之一：

问题：

解决方案之一：

问题：

解决方案之一：

报错：

解决方案之一：

报错：

解决方案之一：

报错：

解决方案之一：

问题：

解决方案之一：

问题：

解决方案之一：

问题：

解决方案之一：

问题：

解决方案之一：

报错：

解决方案之一：

报错：

解决方案之一：

Python爬虫总结——常见的报错、问题及解决方案相关推荐

最新文章

热门文章