python编写爬虫的步骤-python学习: 写网络爬虫程序的三个难点
写爬虫，是一个非常考验综合实力的活儿。有时候，你轻而易举地就抓取到了想要的数据；有时候，你费尽心思却毫无所获。
好多Python爬虫的入门教程都是一行代码就把你骗上了“贼船”，等上了贼船才发现，水好深～
比如爬取一个网页可以是很简单的一行代码：
r = requests.get('http://news.baidu.com')
非常的简单，但它的作用也仅仅是
爬取一个网页
，而一个有用的爬虫远远不止于
爬取一个网页
。
一个有用的爬虫，只需两个词来衡量：
数量：能否抓全所有该类数据
效率：抓完所有数据需要多久一天还是一个月
但要做到这两个词，却是要下很多功夫。自己下功夫是一方面，也很重要的是你要抓全的目标网站给你出了多少难题。综合起来，就写一个爬虫有多少难度。
网络爬虫难度一：只需爬取html网页但要上规模
这里我们举个新闻爬虫的例子。大家都用过百度的新闻搜索吧，我就拿它的爬虫来讲讲实现上的难度。
新闻网站基本上不设防，新闻内容都在网页的html代码里了，抓全一个网页基本上就是一行的事情。似乎听上去很简单，但对于一个搜索引擎级的爬虫，就不那么简单了，要把几千几万家新闻网站的新闻都及时抓取到也不是一件容易的事情。
我们先看看新闻爬虫的简单流程图：
从一些种子网页开始，种子网页往往是一些新闻网站的首页，爬虫抓取网页，从中提取网站URL放到网址池再进行抓取。这样就从几个网页开始，不断扩展到其它网页。爬虫抓取的网页也越来越多，提取出的新网网址也会成几何级数增长。
如何能在最短时间抓取更多网址？
这就是其中一个难度，这不是目标网址带来的，而是对我们自身自愿的考验：
我们的带宽够吗
我们的服务器够吗，单台不够就要分布式
如何能及时抓取到最新的新闻？
这是效率之外的另一个难度，如何保证及时性？几千家新闻网站，时刻都在发布最新新闻，爬虫在织网式抓取“旧”新闻的同时，如何兼顾获取“新”新闻呢？
如何存储抓取到的海量新闻？
爬虫织网式的爬取，会把每个网站几年前几十年前的新闻网页都给翻出来，从而获得海量的网页需要存储。就是存储上的难度。
如何清理提取网内容？
从新闻网页的html里面快速、准确提取想要的信息数据，比如标题、发布时间、正文内容等，这又带来内容提取上的难度。
网络爬虫难度二：需要登录才能抓到想要的数据
人是贪婪的，想要的数据无穷尽，但是很多数据不是你轻易就可以获得的。有一大类数据就是需要账户登录后才能看到，也就是说，爬虫请求时必须是登录状态才能抓取数据。
如何获取登录状态？
老猿前面已经说过了，http协议的性质决定了登录状态就是一些cookies，那么如何获得登录状态就是一个非常有难度的问题。
有些网站登录过程很简单，把账户、密码发给服务器，服务器验证通过返回表示已登录的cookies。这样的网站，比较容易实现自动登录，爬虫运行过程全程无需人工干预，你就有更多时间喝茶、聊天、上猿人学看python。
如何处理验证码?
然而，网站们既然要求你登录了，他们就不会这么轻易放过你，要做的更绝才能让小猿们善罢
甘休，那就是上验证码！
网络爬虫难度三：ajax异步加载甚至JavaScript解密
前面的两个难度，都是靠我们研究数据加载过程，然后用Python代码可以重现出来，进行抓取的。
而遇到达第三个难度时，研究数据加载过程会让你十分痛苦、近乎崩溃。异步加载流程和服务器来来回回好多次，最后得到的数据还要通过JavaScript解密才能看到，这都是压垮小猿们的最后一根稻草。
python编写爬虫的步骤-python学习: 写网络爬虫程序的三个难点相关推荐
- 网络爬虫python的特点有哪些_为什么写网络爬虫天然就是择Python而用
关于这个问题,老猿就先从自己的经历讲起吧.很多年前,大约11年前,老猿我接手了一个搜索引擎的网络爬虫,那是一个用C++写的通用搜索引擎的爬虫.C++的语言,多线程的实现,爬虫的运行效率非常高.但是,找 ...
- 【爬虫】手把手教你写网络爬虫（2）
介绍 大家好!回顾上一期,我们在介绍了爬虫的基本概念之后,就利用各种工具横冲直撞的完成了一个小爬虫,目的就是猛.糙.快,方便初学者上手,建立信心.对于有一定基础的读者,请不要着急,以后我们会学习主流的 ...
- 网页爬虫python代码_《用python写网络爬虫》完整版+源码
原标题:<用python写网络爬虫>完整版+源码 <用python写网络爬虫>完整版+附书源码 本书讲解了如何使用Python来编写网络爬虫程序,内容包括网络爬虫简介,从页面中 ...
- 《用Python写网络爬虫第2版》PDF中英文+代码分析
互联网包含了迄今为止最有用的数据集,并且大部分可以免费公开访问.但是,这些数据难以复用.它们被嵌入在网站的结构和样式当中,需要抽取出来才能使用.从网页中抽取数据的过程又称为网络爬虫,随着越来越多的信息 ...
- 用python写网络爬虫 第2版 pd_用Python写网络爬虫(第2版)
用Python写网络爬虫(第2版)电子书 畅销的Python网络爬虫发实战图书全新升级版,上一版年销量近40000册. 针对Python 3.6版本编写. 提供示例完整源码和实例网站搭建源码,确保用户 ...
- python爬取微博恶评_详解用python写网络爬虫-爬取新浪微博评论
新浪微博需要登录才能爬取,这里使用m.weibo.cn这个移动端网站即可实现简化操作,用这个访问可以直接得到的微博id. 分析新浪微博的评论获取方式得知,其采用动态加载.所以使用json模块解析jso ...
- 用Python写网络爬虫：推荐这本书看看。
<用Python写网络爬虫>讲解了如何使用Python来编写网络爬虫程序,内容包括网络爬虫简介,从页面中抓取数据的三种方法,提取缓存中的数据,使用多个线程和进程来进行并发抓取,如何抓取动态 ...
- python网络爬虫网易云音乐_手把手教你写网络爬虫（1）：网易云音乐歌单
大家好,<手把手教你写网络爬虫>连载开始了!在笔者的职业生涯中,几乎没有发现像网络爬虫这样的编程实践,可以同时吸引程序员和门外汉的注意.本文由浅入深的把爬虫技术和盘托出,为初学者提供一种轻 ...
- python爬虫教程：Python写网络爬虫的优势和理由
在本篇文章里小编给各位整理了一篇关于选择Python写网络爬虫的优势和理由以及相关代码实例,有兴趣的朋友们阅读下吧. 什么是网络爬虫? 网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页 ...
最新文章
- SpringBoot实现热部署(修改class不需要重启)
- Simple Transformer：用BERT、RoBERTa、XLNet、XLM和DistilBERT进行多类文本分类
- php商品数量怎么用js,如何使用js统计页面标签数量
- python3性能还低吗_Python3 vs. Python2 大作战，谁将是性能之王？
- Android开发中依赖注入的应用
- 复试分数线该怎么划定呢（洛谷P1068题题解，Java语言描述）
- Myeclipse 使用JUnit 进行单元测试
- 以太坊2.0合约余额新增2.62万ETH
- Unity V3 初步使用 —— 为我的.NET项目从简单三层架构转到IOC做准备
- Http代理抓包 Fiddler与Charles
- 0—1背包问题，回溯实现
- 周志华机器学习西瓜书速记第一章绪论
- 平板边界层内的流速分布实验
- 阿里巴巴全资收购中国网络配送平台饿了么
- xilinx_ug903阅读记录
- win 64 安装 sql server 2000、出现挂起 解决
- 云中取物--app端的日志采集系统
- Python3中的可迭代类型
- UEFI开发与调试---edk2中的Package
- PAT 1157 Anniversary