python爬取新闻后提炼_Python爬虫开发的3大难题，别上了贼船才发现，水有多深...
写爬虫，是一个非常考验综合实力的活儿。有时候，你轻而易举地就抓取到了想要的数据；有时候，你费尽心思却毫无所获。
好多Python爬虫的入门教程都是一行代码就把你骗上了“贼船”，等上了贼船才发现，水好深～
比如爬取一个网页可以是很简单的一行代码：
r = requests.get('http://news.baidu.com')
非常的简单，但它的作用也仅仅是
爬取一个网页
，而一个有用的爬虫远远不止于
爬取一个网页
。
一个有用的爬虫，只需两个词来衡量：
数量：能否抓全所有该类数据
效率：抓完所有数据需要多久一天还是一个月
但要做到这两个词，却是要下很多功夫。自己下功夫是一方面，也很重要的是你要抓全的目标网站给你出了多少难题。综合起来，就写一个爬虫有多少难度。
网络爬虫难度一：只需爬取html网页但要上规模
这里我们举个新闻爬虫的例子。大家都用过百度的新闻搜索吧，我就拿它的爬虫来讲讲实现上的难度。
新闻网站基本上不设防，新闻内容都在网页的html代码里了，抓全一个网页基本上就是一行的事情。似乎听上去很简单，但对于一个搜索引擎级的爬虫，就不那么简单了，要把几千几万家新闻网站的新闻都及时抓取到也不是一件容易的事情。
我们先看看新闻爬虫的简单流程图：
从一些种子网页开始，种子网页往往是一些新闻网站的首页，爬虫抓取网页，从中提取网站URL放到网址池再进行抓取。这样就从几个网页开始，不断扩展到其它网页。爬虫抓取的网页也越来越多，提取出的新网网址也会成几何级数增长。
如何能在最短时间抓取更多网址？
这就是其中一个难度，这不是目标网址带来的，而是对我们自身自愿的考验：
我们的带宽够吗
我们的服务器够吗，单台不够就要分布式
如何能及时抓取到最新的新闻？
这是效率之外的另一个难度，如何保证及时性？几千家新闻网站，时刻都在发布最新新闻，爬虫在织网式抓取“旧”新闻的同时，如何兼顾获取“新”新闻呢？
如何存储抓取到的海量新闻？
爬虫织网式的爬取，会把每个网站几年前几十年前的新闻网页都给翻出来，从而获得海量的网页需要存储。就是存储上的难度。
如何清理提取网内容？
从新闻网页的html里面快速、准确提取想要的信息数据，比如标题、发布时间、正文内容等，这又带来内容提取上的难度。
网络爬虫难度二：需要登录才能抓到想要的数据
人是贪婪的，想要的数据无穷尽，但是很多数据不是你轻易就可以获得的。有一大类数据就是需要账户登录后才能看到，也就是说，爬虫请求时必须是登录状态才能抓取数据。
如何获取登录状态？
前面已经说过了，http协议的性质决定了登录状态就是一些cookies，那么如何获得登录状态就是一个非常有难度的问题。
有些网站登录过程很简单，把账户、密码发给服务器，服务器验证通过返回表示已登录的cookies。这样的网站，比较容易实现自动登录，爬虫运行过程全程无需人工干预，你就有更多时间喝茶、聊天
如何处理验证码?
然而，网站们既然要求你登录了，他们就不会这么轻易放过你，要做的更绝才能让小猿们善罢甘休，那就是上验证码！
没错，就是变态的验证码！！作为见多识广的老猿，我还是经常识别不出验证码，惭愧惭愧。
据说，有人雇了一批大妈，进行人工识别验证码；也有，通过图像处理技术，尤其如今火热的深度学习、人工智能的技术，来自动识别验证码。
那么，当你写爬虫时遇到验证码该怎么办？
网络爬虫难度三：ajax异步加载甚至JavaScript解密
前面的两个难度，都是靠我们研究数据加载过程，然后用Python代码可以重现出来，进行抓取的。
而遇到达第三个难度时，研究数据加载过程会让你十分痛苦、近乎崩溃。异步加载流程和服务器来来回回好多次，最后得到的数据还要通过JavaScript解密才能看到，这都是压垮爬虫者的最后一根稻草。
python爬取新闻后提炼_Python爬虫开发的3大难题，别上了贼船才发现，水有多深...相关推荐
- python爬取数据的原理_Python爬虫原理
前言 简单来说互联网是由一个个站点和网络设备组成的大网,我们通过浏览器访问站点,站点把HTML.JS.CSS代码返回给浏览器,这些代码经过浏览器解析.渲染,将丰富多彩的网页呈现我们眼前: 一.爬虫是什 ...
- python爬取虎扑评论_python爬虫系列Selenium定向爬取虎扑篮球图片详解
前言: 作为一名从小就看篮球的球迷,会经常逛虎扑篮球及湿乎乎等论坛,在论坛里面会存在很多精美图片,包括NBA球队.CBA明星.花边新闻.球鞋美女等等,如果一张张右键另存为的话真是手都点疼了.作为程序员 ...
- python爬取新闻存入数据库_python 爬取古诗文存入mysql数据库的方法
使用正则提取数据,请求库requests,看代码,在存入数据库时,报错ERROR 1054 (42S22): Unknown column 'title' in 'field list'.原来是我写s ...
- python爬取新闻存入数据库_Python爬取数据并写入MySQL数据库的实例
按 F12 或 ctrl+u 审查元素,结果如下: 结构很清晰简单,我们就是要爬 tr 标签里面的 style 和 tr 下几个并列的 td 标签,下面是爬取的代码: #!/usr/bin/env p ...
- python爬取新闻存入数据库_python爬取数据存入数据库
昨天本来写了一篇关于python爬取的文章,结果没通过,正好今天一起吧.用python同时实现爬取,和存入数据库,算是复习一下前面操作数据库的知识. 1.准备工作 既然是爬取,那自然要连接到爬取的页面 ...
- python爬取网页数据软件_python爬虫入门10分钟爬取一个网站
一.基础入门 1.1什么是爬虫 爬虫(spider,又网络爬虫),是指向网站/网络发起请求,获取资源后分析并提取有用数据的程序. 从技术层面来说就是 通过程序模拟浏览器请求站点的行为,把站点返回的HT ...
- python爬取网上租房信息_Python爬虫入门 | 5 爬取小猪短租租房信息
小猪短租是一个租房网站,上面有很多优质的民宿出租信息,下面我们以成都地区的租房信息为例,来尝试爬取这些数据. 1.爬取租房标题 按照惯例,先来爬下标题试试水,找到标题,复制xpath. 多复制几个房屋 ...
- python爬取公交车站数据_Python爬虫实例_城市公交网络站点数据的爬取方法
爬取的站点:http://beijing.8684.cn/ (1)环境配置,直接上代码: # -*- coding: utf-8 -*- import requests ##导入requests fr ...
- python爬取豆瓣电影信息_Python爬虫入门 | 爬取豆瓣电影信息
这是一个适用于小白的Python爬虫免费教学课程,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源.看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今天内你就可以迈入爬 ...
最新文章
- 【Leetcode | 】93. 复原IP地址
- Java面试题整理，一线互联网公司java面试核心知识点
- VS.左侧_蓝黄绿_竖线
- 微型计算机字长为4表示,一台微型计算机的字长为4个字节，它表示什么？
- python爬虫使用selenium模拟登陆人人网
- DPM 2010(二)---BMR裸机恢复域控制器
- 有道云怎么换行_markdown换行语法 有道云笔记markdown怎么换行？
- nginx 配置支持URL HTML5 History 模式 与 设置代理
- Ajax02 什么是json、json语法、json的使用、利用jQuery实现ajax
- 人脸识别管理系统php源码,完整的人脸识别系统源代码
- JDY-31蓝牙模块测试
- uniapp小程序解压压缩包 (使用jszip)
- 什么叫操作系统啊 | 战术后仰
- matlab 中 矩阵取平方,matlab中怎样计算一个矩阵中每个数的平方
- Java 获取屏幕尺寸
- Matlab实现 线性动态电路可视化分析
- H.265视频流媒体EasyPlayer播放器无法禁用自动播放的问题修复
- NL80211使用笔记
- 【项目】FT232RL设计记录
- 彻底搞懂编码 GBK 和 UTF8