Python 爬虫心得

最近我写的爬虫在爬取数据的时候变得不太好用了，两三天前还是可以正常爬取数据的，今天运行的时候返回了空值。我打开源代码，将抓取的网页内容print出来看了一下，发现返回了这样一个网页：

<html style="height:100%"><head><META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"><meta name="format-detection" content="telephone=no"><meta name="viewport" content="initial-scale=1.0"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"></head><body style="margin:0px;height:100%"><iframe src="/_Incapsula_Resource?SWUDNSAI=9&xinfo=14-73717949-0%202CNN%20RT%281531788981588%200%29%20q%280%20-1%20-1%20-1%29%20r%280%20-1%29%20B12%288%2c881023%2c0%29&incident_id=810000430074365444-466505767058014910&edet=12&cinfo=08000000" frameborder=0 width="100%" height="100%" marginheight="0px" marginwidth="0px">Request unsuccessful. Incapsula incident ID: 810000430074365444-466505767058014910</iframe></body>
</html>

<iframe src="/_Incapsula_Resource?SWUDNSAI=9&xinfo=14-73717949-0%202CNN%20RT%281531788981588%200%29%20q%280%20-1%20-1%20-1%29%20r%280%20-1%29%20B12%288%2c881023%2c0%29&incident_id=810000430074365444-466505767058014910&edet=12&cinfo=08000000" frameborder=0 width="100%" height="100%" marginheight="0px" marginwidth="0px">Request unsuccessful. Incapsula incident ID: 810000430074365444-466505767058014910</iframe>

“Request unsuccessful”，这个请求没有成功......；我注意到返回的这个HTML的头文件中有一个<meta>属性中出现了robots的字样，

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

以前没有见过这个属性，因此觉得问题的突破口可能就是这个，上网百度之后发现，NAME=ROBOTS和content=“noidex，nofollow”这两个attribute就是用来屏蔽网络爬虫的。因为我的爬虫程序比较简单，在使用requests.get()的方法时并没有发送headers过去，因此被网站认为是网络机器人（网络爬虫）,限制了我的程序对网站的访问。

知道了问题的原因，接下来就容易多了；打开Chrome，F12打开开发者工具，在Chrome地址栏输入要爬取的网址，然后如下图所示，找到网页主体内容：

我这里抓取的网页主体是一个HTML文件，所以点击这个HTML文件，右侧栏就会出现这个请求的详细信息，这里我需要用到request headers里面的信息；既然网站将我们判定为机器人，那我们就将程序模拟人的操作，这时候headers就派上用场了。

一般情况下，只需要将User-Agent的信息传递过去就可以了，但是对于一些验证比较严格的网站，可能需要的信息就要多了；这个时候，我们就将request headers里面的请求头一个一个传进去试一下。

我这里最开始的时候只传Referer和User-Agent进去的时候就可以正常取回数据了，可当我第二次运行的时候，就又返回了request unsuccessful，最后我将cookie传进去之后就没啥问题了。但是我这里传递的cookie是固定的，不具有普适性，后续有空了会再更新这篇博客。

Python 爬虫心得相关推荐

手机写python爬虫_零基础开始写Python爬虫心得
零基础学习爬虫,坑确实比较多,总结如下: 1.环境配置,各种安装包.环境变量,对小白太不友好: 2.缺少合理的学习路径,上来 Python.HTML 各种学,极其容易放弃: 3.Python有很多包. ...
python携程酒店评论_携程酒店评论爬虫心得
携程酒店评论爬虫心得发布时间:2018-09-02 15:58, 浏览次数:613 携程酒店评论爬虫心得这次爬取数据,遇到了不少的困难,也走了很多弯路,特此写下帮助记忆.以下基本是我爬取数据的过程 ...
python 爬虫抓取心得分享
/** author: insun title:python 爬虫抓取心得分享 blog:http://yxmhero1989.blog.163.com/blog/static/11215795620 ...
python爬虫的学习心得分享
最近在学习python爬虫上网也找了一些教程,感觉有一个个人教程不错,还有就是大神们推荐的一本python入门及爬虫学习的书籍Python for Informatics >(中文翻译叫< ...
初学python的体会心得-python初学心得
广告关闭腾讯云双11爆品提前享,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高满返5000元! python 是一门编程语言,任何编程语言从一开始就离不开动手实践,光靠看书.看视 ...
python简介怎么写-python爬虫简历怎么写
python爬虫简历怎么写? python爬虫简历如下: 1. 基本信息求职岗位:Python爬虫工程师(全职) 期望薪资:15000以上姓名:xx 手机号码:xxxx 邮箱:xxxx@qq.co ...
python爬虫赚钱途径-终于领会python爬虫赚钱的途径
python爬虫怎么赚钱?python爬虫爬到有价值的数据,进行建模,挖掘就会产生商业价值,下面是小编为您整理的关于python爬虫赚钱的途径,希望对你有所帮助. python爬虫赚钱的途径 Pyth ...
python爬虫提取人名_python爬虫—爬取英文名以及正则表达式的介绍
python爬虫-爬取英文名以及正则表达式的介绍爬取英文名: 一. 爬虫模块详细设计 (1)整体思路对于本次爬取英文名数据的爬虫实现,我的思路是先将A-Z所有英文名的连接爬取出来,保存在一个csv ...
路飞学城-Python爬虫集训-第一章
自学Python的时候看了不少老男孩的视频,一直欠老男孩一个会员,现在99元爬虫集训果断参与. 非常喜欢Alex和武Sir的课,技术能力超强,当然讲着讲着就开起车来也说明他俩开车的技术也超级强! 以上 ...

Python 爬虫心得

Python 爬虫心得相关推荐

最新文章

热门文章