python的requests.get()方法获取百度搜索结果页面失败的问题

昨天学到python的requests模块，准备获取一下百度搜索的结果，然后把相关链接打开，在get()结果页的时候一直取不到，
keyword=input(‘输入要搜索的关键字:’)
res=requests.get('https://www.baidu.com/s?wd=’+keyword)
取出来的html文件是这样的

<html>
<head><script>location.replace(location.href.replace("https://","http://"));</script>
</head>
<body><noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>
</body>
</html>

查了一下别人的解决方法，都没大看懂，最后问了朋友才解决
原因是一开始请求消息里没带浏览器信息，百度不识别，所以不响应。

加一个headers，把浏览器信息写进去：
headers={‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.80 Safari/537.36’}
res = requests.get('https://www.baidu.com/s?wd=’+keyword,headers=headers)

获取headers的方法：
打开浏览器（我用的谷歌，别的应该也差不多），F12，随便发个请求，然后如下图获取User-Agent

把headers加到参数里去就可以了，再发请求可以成功获取百度搜索结果页的html，截了一部分

如果有不对的地方欢迎大佬指正

python的requests.get()方法获取百度搜索结果页面失败的问题相关推荐

python函数的使用方法_百度资讯搜索_python函数的使用方法
金生水起程序猿 2020年11月22日 11:23函数语法格式及调用参数:默认值.元组和字典可变参数的使用全局变量和局部变量作用域,局部变量如何升级为全局变量函数是可重复使用的,实现单一功能的代码块. ...
python模拟百度搜索点击链接_用 Python 获取百度搜索结果链接
前言近期有许多项目需要这个功能,由于Python实现起来比较简单就这么做了,代码贴下来觉得好点个赞吧~ 代码 # coding: utf-8 import os import time import ...
Python 可视化近 90 天的百度搜索指数 + 词云图
作者 | 叶庭云来源 | AI庭云君一.简介在实际业务中我们可能会使用爬虫根据关键词获取百度搜索指数历史数据,然后进行对应的数据分析. 百度指数,体验大数据之美.但要获取百度指数相关的数据,困难 ...
python提取矩阵元素_python获取array中指定元素的示例
python获取array中指定元素的示例对于array,如2-D的array,如何取指定元素设array为3*10的shape s = array([[ 0, 1, 2, 3, 4, 5, 6, ...
python如何获取百度搜索结果的真实URL
在公司中需要去抓取一些数据,就遇到了以下这些问题: 想通过爬虫获取百度搜索结果的原始链接.通过Firefox的HttpFox插件,发现在搜索结果的URL是加密过的,例如: http://www.bai ...
从零开始写Python爬虫 --- 1.5 爬虫实践：获取百度贴吧内容
从零开始写Python爬虫 --- 1.5 爬虫实践: 获取百度贴吧内容 Ehco 5 个月前经过前期大量的学习与准备,我们重要要开始写第一个真正意义上的爬虫了.本次我们要爬取的网站是:百度贴吧,一 ...
python seo百度_python与seo，python获取百度360
在百度输入关键词搜索出现的列表页,大约2013年开始点击目标链接,跳转的时候是百度地址,经过百度解析,才真的跳到目标页面.360相对简单很多,利用python略微处理就可以得到搜索结果的真实URL链接 ...
python爬去百度搜索结果_python爬虫获取百度搜索结果的简单示例
编程之家收集整理的这篇文章主要介绍了python爬虫获取百度搜索结果的简单示例,编程之家小编觉得挺不错的,现在分享给大家,也给大家做个参考. 感兴趣python爬虫获取百度搜索结果的简单示例的小伙伴, ...
python中requests库的用途-数据爬虫（三）：python中requests库使用方法详解
有些网站访问时必须带有浏览器等信息,如果不传入headers就会报错,如下使用 Requests 模块,上传文件也是如此简单的,文件的类型会自动进行处理: 因为12306有一个错误证书,我们那它的网 ...

python的requests.get()方法获取百度搜索结果页面失败的问题

python的requests.get()方法获取百度搜索结果页面失败的问题相关推荐

最新文章

热门文章