php爬取百度关键词时出现，百度安全验证，解决方法

爬取关键词出现结果：

<!DOCTYPE html>
<html lang="zh-CN">
<head><meta charset="utf-8"><title>百度安全验证</title><meta http-equiv="Content-Type" content="text/html; charset=utf-8"><meta name="apple-mobile-web-app-capable" content="yes"><meta name="apple-mobile-web-app-status-bar-style" content="black"><meta name="viewport" content="width=device-width, user-scalable=no, initial-scale=1.0, minimum-scale=1.0, maximum-scale=1.0"><meta name="format-detection" content="telephone=no, email=no"><link rel="shortcut icon" href="https://www.baidu.com/favicon.ico" type="image/x-icon"><link rel="icon" sizes="any" mask href="https://www.baidu.com/img/baidu.svg"><meta http-equiv="X-UA-Compatible" content="IE=Edge"><meta http-equiv="Content-Security-Policy" content="upgrade-insecure-requests"><link rel="stylesheet" href="https://wappass.bdimg.com/static/touch/css/api/mkdjump_0635445.css" />
</head>
<body><div class="timeout hide"><div class="timeout-img"></div><div class="timeout-title">网络不给力，请稍后重试</div><button type="button" class="timeout-button">返回首页</button></div><div class="timeout-feedback hide"><div class="timeout-feedback-icon"></div><p class="timeout-feedback-title">问题反馈</p></div><script src="https://wappass.baidu.com/static/machine/js/api/mkd.js"></script>
<script src="https://wappass.bdimg.com/static/touch/js/mkdjump_1448d18.js"></script>
</body>
</html><!--06506514330396594954022810-->
<script> var _trace_page_logid = 0650651433; </script>

解决方法：
在header中添加Accept

 $header = array('Accept','text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9','User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 11_2_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36',);

Accept所在位置
Network中找的网页url，找到Request Headers

php爬取百度关键词时出现，百度安全验证，解决方法相关推荐

使用Python爬取微信群里的百度云资源
需求背景: 最近误入一个免费(daoban)资源的分享群(正经脸),群里每天都在刷资源链接.但是大家都知道,百度云的分享链接是很容易被河蟹的,群里除了分享链接外,就是各种抱怨 "怎么又失效了 ...
通过python 爬取网址url 自动提交百度
通过python 爬取网址url 自动提交百度昨天同事说,可以手动提交百度这样索引量会上去. 然后想了下.是不是应该弄一个py 然后自动提交呢?想了下.还是弄一个把 python 代码如下: imp ...
Python 利用 cookie 模拟登录，爬取指定关键词的淘宝商品信息
Python 利用 cookie 模拟登录,爬取指定关键词的淘宝商品信息-Selenium 1. 本文目标由于淘宝网站的不断更新,以前的爬取方法都无法重现,必须需要登录淘宝网站才可以进行搜索商品.所 ...
NCrawler爬取中文网页时乱码问题的解决方法
在使用.NET下的NCrawler爬取网页信息时,如果网页以GBK或GB2312进行编码,则下载的内容会出现乱码. 查找原因,发现在NCrawler.HtmlProcessor项目下HtmlDocum ...
requests爬取中文网页时中文字符变英文的解决方法
在使用python requests库爬取网页时,源代码中的中文字符在爬取下来后变成了英文字符例如: import requests r = requests.get('http://apps.we ...
python-基于selenium库爬取微博关键词搜索内容
python-基于selenium爬取微博关键词搜索内容用的是谷歌浏览器需要下载chromedriver 暂时还少了登录步骤不能爬取第一页以外的内容爬取内容(默认了40条(还没有做到翻页所以会重 ...
百度索引量下降的原因及解决方法
在我们做网站推广的过程中,有几个数据可以看出我们对网站的优化进行到什么程度了,其中百度索引量就是其中的一个数据,它是指搜索引擎抓取网站的数量,这可以直接的影响网站收录量,是很关键的一项指标.下面就介绍 ...
Python3爬取今日头条文章视频数据，完美解决as、cp、_signature的加密方法(2020-6-29版)
前言在这里我就不再一一介绍每个步骤的具体操作了,因为在爬取老版今日头条数据的时候都已经讲的非常清楚了,所以在这里我只会在重点上讲述这个是这么实现的,如果想要看具体步骤请先去看我今日头条的文章内容,里 ...
安装mysql配置时出错_mysql安装时出现各种常见问题的解决方法
小编为大家整理许多mysql安装时出现各种常见问题的解决方法,供大家参考,具体内容如下问题一: 当各位在安装.重装时出现could not start the service mysql error ...
vscode老编译之前的文件_vscode单击新文件时覆盖旧文件的解决方法
vscode单击新文件时覆盖旧文件的解决方法当一个项目很大的时候我们去找某一个文件经常使用搜索功能,本人经常使用快捷键ctrl+p进行某个文件的搜索,或者单机一个文件时会覆盖掉原来窗口中打开的文件, ...

php爬取百度关键词时出现，百度安全验证，解决方法

php爬取百度关键词时出现，百度安全验证，解决方法相关推荐

最新文章

热门文章