爬虫千万条，守法第一条，爬虫不规范，亲人两行泪

本文将介绍一些爬虫的基本知识以及相关包的安装。

1.爬虫概念

以下定义来自百度百科“网络爬虫”词条

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

2.爬虫原理

此话当从万维网创立的目的说起，为了更好的资源共享和信息管理。随着网络的不断发展，数据越来越多，也越来越杂。互联网上出现了大量的冗（rong）余数据，也就是我们常见的垃圾信息。找到有用的信息越来越困难。于是乎，爬虫应运而生，它根据一定的规则，只获取人们想要的内容。

我们平时访问网站的流程是这样的：

a.在浏览器中输入网址（URL）

b.进入网站，双眼寻找并获取对自己有用的信息

c.得到信息后精神、生理（斜眼笑）上得到满足

而爬虫就是根据这一过程进行设计，模拟人的行为对网站进行请求数据，然后将这些数据筛选，整理成有用的信息进行分析。

3.反爬虫概念

作为一个网站站长（比如笔者）辛辛苦苦练习整理文章，几秒过去所有数据都被扒拉走了，心里多么的难受，所以就有了反爬虫。说白了就是通过一些针对爬虫的限制不让爬虫爬取数据，比如12306验证码……然后就有了图像识别验证码、打码平台等，被称为反反爬虫……只要你愿意，可以一直反下去……

4.开始写爬虫的一些准备工作

首先新建一个虚拟环境，笔者电脑上环境太杂，安一个虚拟环境更加纯净，也方便演示，关于虚拟环境的内容可以翻翻我以前的文章，有详细的介绍。

a.新建虚拟环境（可省略）

b.安装requests模块

此时已经可以写一些简单的爬虫了明天实战一下

爬虫千万条，守法第一条，爬虫不规范，亲人两行泪相关推荐

笑话：工作千万条，抬杠第一条。同事不抬杠，感动两行泪
不知道别人的感受怎样,每次同事遇到问题,让他怎么办,不管多么的明白和正确,结果都是不听.于是吾就改造了一下: 工作千万条,抬杠第一条. 同事不抬杠,感动两行泪.
python scrapy教程实例_爬虫框架Scrapy的第一个爬虫示例入门教程
原标题:爬虫框架Scrapy的第一个爬虫示例入门教程我们使用dmoz.org这个网站来作为小抓抓一展身手的对象. 首先先要回答一个问题. 问:把网站装进爬虫里,总共分几步? 答案很简单,四步: 新建 ...
python爬虫框架教程_Python爬虫实战（十二）：爬虫框架Scrapy的第一个爬虫示例入门教程...
本文主要向大家介绍了Python爬虫实战的爬虫框架Scrapy的第一个爬虫示例入门教程,通过具体的内容向大家展现,希望对大家学习Python爬虫实战有所帮助. 我们使用dmoz.org这个网站来作为小 ...
数据千万条,备份第一条:VFEmail被擦除所有数据面临关停
我在多年以前写下的DBA四大守则,第一条是备份重于一切,直到今天,我仍然不断重复这一条守则的重要性. 在2月12日,美国邮件服务商VFEmail发表声明称,由于受到黑客攻击,完全是赤裸裸的摧毁式攻击, ...
爬虫框架Scrapy的第一个爬虫示例入门教程
我们使用dmoz.org这个网站来作为小抓抓一展身手的对象. 首先先要回答一个问题. 问:把网站装进爬虫里,总共分几步? 答案很简单,四步: 新建项目 (Project):新建一个新的爬虫项目明确目 ...
[Python]网络爬虫（12）：爬虫框架Scrapy的第一个爬虫示例入门教程
(建议大家多看看官网教程:教程地址) 我们使用dmoz.org这个网站来作为小抓抓一展身手的对象. 首先先要回答一个问题. 问:把网站装进爬虫里,总共分几步? 答案很简单,四步: 新建项目 (Proj ...
mysql第二条减第一条_Mysql SQL优化
SQL优化规则第一条: 尽量全值匹配,也就是说尽量使用等于第二条: 最佳左前缀原则如果是复合索引,要遵守最佳左前缀原则,指的是从最左侧列开始并且不跳过索引中的列如果是按顺序使用的索引列,且有最 ...
[转载]网络爬虫（12）：爬虫框架Scrapy的第一个爬虫示例入门教程
我们使用dmoz.org这个网站来作为小抓抓一展身手的对象. 首先先要回答一个问题. 问:把网站装进爬虫里,总共分几步? 答案很简单,四步: 新建项目 (Project):新建一个新的爬虫项目明确目 ...
python爬虫06 | 你的第一个爬虫，爬取当当网 Top 500 本五星好评书籍
来啦,老弟我们已经知道怎么使用 Requests 进行各种请求骚操作也知道了对服务器返回的数据如何使用正则表达式来过滤我们想要的内容 ... 那么接下来我们就使用 requests 和 re ...
【Java爬虫】我的第一个爬虫 -- 简单抓取网页源代码
代码直接运行即可 package cn.hanquan.file;import java.io.IOException; import java.io.InputStream; import jav ...

爬虫千万条，守法第一条，爬虫不规范，亲人两行泪

爬虫千万条，守法第一条，爬虫不规范，亲人两行泪相关推荐

最新文章

热门文章