爬虫是什么？可以用来干什么？

随着科技不断发展，互联网已经进入了大数据时代。

我们过去只能通过报刊杂志、电视广播获取到有限的信息，而现在，互联网上的海量数据，让我们享受到了信息自由。

但是，我们获取到了海量的信息同时，也带来了大量的垃圾信息。

所以必须要通过一些技术手段进行收集、整理、分析、筛选，然后才能获取到对我们有用的相关内容。
而这个技术手段，就叫网络爬虫技术。

网络爬虫
网络爬虫就是一种可以从网页上抓取数据信息并保存的自动化程序，它的原理就是模拟浏览器发送网络请求，接受请求响应，然后按照一定的规则自动抓取互联网数据。

1、获取网页
获取网页可以简单理解为向网页的服务器发送网络请求，然后服务器返回给我们网页的源代码，其中通信的底层原理较为复杂，而Python给我们封装好了urllib库和requests库等，这些库可以让我们非常简单的发送各种形式的请求。

2、提取信息
获取到的网页源码内包含了很多信息，想要进提取到我们需要的信息，则需要对源码还要做进一步筛选。可以选用python中的re库即通过正则匹配的形式去提取信息，也可以采用BeautifulSoup库（bs4）等解析源代码，除了有自动编码的优势之外，bs4库还可以结构化输出源代码信息，更易于理解与使用。

3、保存数据
提取到我们需要的有用信息后，需要在Python中把它们保存下来。可以使用通过内置函数open保存为文本数据，也可以用第三方库保存为其它形式的数据，例如可以通过pandas库保存为常见的xlsx数据，如果有图片等非结构化数据还可以通过pymongo库保存至非结构化数据库中。

4、让爬虫自动运行
从获取网页，到提取信息，然后保存数据之后，我们就可以把这些爬虫代码整合成一个有效的爬虫自动程序，当我们需要类似的数据时，随时可以获取。

WEB网页
知道什么是爬虫之后，web网页作为爬取目标，是非常有必要了解的。
web网页分别是由HTML、CSS、JavaScript三个部分组成。

1、HTML
HTML是运行在浏览器上，由浏览器来解析的超文本标记语言（英语：HyperText Markup Language）。

2、CSS
CSS能够对网页中元素位置的排版，进行像素级精确控制。支持几乎所有的字体字号样式，拥有对网页对象和模型样式编辑的能力。是一种用来表现HTML或XML等文件样式的计算机语言，全称：层叠样式表(Cascading Style Sheets)。

3、JavaScript
JavaScript是一种具有函数优先的轻量级，解释型或即时编译型，基于多范式、原型编程的动态脚本语言，而且支持命令式、声明式和面向对象风格。JavaScript简称JS

HTTP
爬虫和WEB我们现在都知道是什么了，接下来就需要了解两者之间的请求与响应的关系。HTTP作为请求和响应的超文本传输协议，必须要好好介绍一下。

http
http（HyperText Transfer Protocol,超文本传输协议）通常运行在TCP之上，它指定了客户端可能发送给服务器什么消息，以及能得到什么响应。

https
而https（Hyper Text Transfer Protocol over SecureSocket Layer）是在http的基础上，通过传输加密和身份证认证，而保障了传输过程的安全性。

请求和响应
http请求过程可分为以下几个部分：
1、建立TCP连接
2、浏览器向服务器发送请求命令
3、服务器应答
4、服务器关闭TCP连接以及浏览器接受到服务器响应的数据。

爬虫是什么？可以用来干什么？相关推荐

爬虫python可以干嘛_学了Python可以用来干什么呢？
很多家长朋友可能会问,孩子学Python 可以用来干什么呢? 一般学Python可以往很多方面发展: 01 web应用开发在国内,豆瓣一开始就使用Python作为web开发基础语言,知乎的整个架构也 ...
python在教育领域可以干什么_学了Python一般可以用来干什么呢？
很多朋友可能会问,为什么要学Python, 就算学会了Python 可以用来干什么呢? 一般都会首先想到爬虫. 爬虫不是说的那种虫子哦, 爬虫其实就是类似于百度蜘蛛,谷歌蜘蛛一样的. 会自动的爬取网 ...
python可以干什么-学了Python可以用来干什么呢？
很多家长朋友可能会问,孩子学Python 可以用来干什么呢? 一般学Python可以往很多方面发展: 01 web应用开发在国内,豆瓣一开始就使用Python作为web开发基础语言,知乎的整个架构也 ...
python拿来干嘛-python可以用来干什么?
python可以用来做Web开发.自动化运维.数据分析.游戏开发.自动化测试.机器学习.爬虫.嵌入式和桌面应用的开发等等. python是一种计算机程序设计语言,又被称为胶水语言,可以用混合编译的方式 ...
学python能做什么类型的工作-python是什么？python可以用来干什么？
Python最近几年发展的非常迅速,尤其是2017年,随着人工智能概念的兴起,python的关注度也是越来越高,python相继纳入浙江省高考和山东省的小学教材.对于从事IT行业的人来说,对pytho ...
python是干嘛的-python是什么？python可以用来干什么？
Python最近几年发展的非常迅速,尤其是2017年,随着人工智能概念的兴起,Python的关注度也是越来越高,Python相继纳入浙江省高考和山东省的小学教材.对于从事IT行业的人来说,对Pytho ...
python是什么？python又可以用来干什么？（详细讲解来啦）
Python最近几年发展的非常迅速,尤其是2017年,随着人工智能概念的兴起,python的关注度也是越来越高,python相继纳入浙江省高考和山东省的小学教材.对于从事IT行业的人来说,对pytho ...
python有什么用-学了Python可以用来干什么呢？
很多家长朋友可能会问,孩子学Python 可以用来干什么呢? 一般学Python可以往很多方面发展: 01 web应用开发在国内,豆瓣一开始就使用Python作为web开发基础语言,知乎的整个架构也 ...
python主要做什么的_学了Python可以用来干什么呢？
很多家长朋友可能会问,孩子学Python 可以用来干什么呢? 一般学Python可以往很多方面发展: 01 web应用开发在国内,豆瓣一开始就使用Python作为web开发基础语言,知乎的整个架构也 ...
python到底能用来做啥读后感,python可以用来干什么
Python可以用来干什么? 1.做日常任务,比如下载视频.MP3.自动化操作excel.自动发邮件.2.做网站开发.web应用开发,很多著名的网站像知乎.YouTube就是Python写的. 许多大 ...

爬虫是什么？可以用来干什么？

爬虫是什么？可以用来干什么？相关推荐

最新文章

热门文章