Python爬虫响应码为404错误

# 引用requests库
import requests
# 引用BeautifulSoup库
from bs4 import BeautifulSoupheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',}
url ='http://www.xiachufang.com/explore/'
res = requests.get(url,headers)
# 解析数据
print(res.status_code)
bs_foods = BeautifulSoup(res.text,'html.parser')
info = bs_foods.find_all('div',class_='info pure-u')
print(info)

print(res.status_code)打印状态码发现是404，代表请求所希望得到的资源没有在服务器上被发现，没有信息能够告诉用户这个状况到底是暂时的还是永久的。

需要加入请求头

Python爬虫响应码为404错误相关推荐

爬虫爬取数据时，网页响应码返回404问题的解决方法
爬虫报404问题: 在进行爬虫爬取数据的过程中,使用语句: r = requests.get(url, timeout=60, headers=headers, stream=True) # prin ...
415 http请求 hutool_HTTP状态码(响应码)之客户端错误400
HTTP状态码(响应码)400意为客户端错误,下面列出HTTP状态码400系列所代表的含义: 400:Bad Request(错误请求) 因发送的请求语法错误,服务器无法正常读取. HTTP/0.9 ...
java爬虫post 404_POST 后台404错误
今天在开发一个用户信息更新模块的时候遇到了两个问题: 1.在我提交form表单的时候我希望在提交表单之后页面不刷新,同时返回更新数据 2.向后台POST表单信息的时候,后台显示POST url 404 ...
python爬虫解决403禁止访问错误
在python写爬虫的时候,html.getcode()会遇到403禁止访问的问题,这是网站对自动化爬虫的禁止,要解决这个问题,需要用到python的模块urllib2模块 urllib2模块是属于一 ...
python 爬虫遇到的aiohttp证书错误解决办法
学习爬虫的路上真不是一帆风顺,总是遇到各种各样的问题,在这个系统正常,换一个系统就出问题,在CentOS7,一切正常.这不,今天练习异步http请求aiohttp模块,操作系统是mac ,python ...
python爬虫-源码
import os import requests from bs4 import BeautifulSoup as bs import time, random # 增加随机休息的时间来避免对于运营 ...
mvc 404错误 php,ASP.NET MVC实现404跳转的代码实例
本篇文章主要介绍了ASP.NET MVC制作404跳转实例(非302和200) ,具有一定的参考价值,感兴趣的小伙伴们可以参考一下产生404的原因主要有以下: 1.浏览器和爬虫:某些浏览器会请求网站 ...
常用HTTP协议响应码
HTTP响应码,也称http状态码(HTTP Status Code),反映了web服务器处理HTTP请求状态,每一个响应码都代表了一种服务端反馈的响应状态,标识了本次请求是否成功.我们应该了解常见的 ...
python爬虫58同城（多个信息一次爬取）
对58同城二手平板电脑的爬虫一.先爬取内容中的一项先爬取一项的代码爬去一项的结果二.爬取一整页一整页代码一整页的全部信息结果有网友留言说,这个代码已经不能爬取了,我2018.11.9号查 ...

Python爬虫响应码为404错误

Python爬虫响应码为404错误相关推荐

最新文章

热门文章