Python 爬虫1——爬虫简述

Python除了可以用来开发Python Web之后，其实还可以用来编写一些爬虫小工具，可能还有人不知道什么是爬虫的。

一、爬虫的定义：

爬虫——网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。

二、学习内容：

1.Python基础知识；

2.Python的两个库：urllib和urllib2；

3.Python正则表达式；

4.Python爬虫框架Scrapy。

三、内容解析：

1.urllib和urllib2库和正则表达式：

urllib和urllib2两个库是Python中最基本的爬虫库，利用这两个库可以获取指定网页的内容，然后使用正则表达式对内容进行提取和解析，便可得到我们想要的内容。

Python的正则表达式是一种用来匹配字符串的工具，它的设计思想：用一种描述性的语言来给字符串定义一个规则，凡是符合规则的字符串，就认为它“匹配”的，否则该字符串就不匹配。

2.Scrapy框架：

其实上述的库和正则表达式已经能够完成基本的爬虫功能，使用框架的目的是为了更快地获取更多的信息内容，关于Scrapy的介绍如下：

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

转载于:https://www.cnblogs.com/linshuhe/p/5733263.html

Python 爬虫1——爬虫简述相关推荐

Python 简单网页爬虫学习
1 #coding=utf-8 2 3 # 参考文章: 4 # 1. python实现简单爬虫功能 5 # http://www.cnblogs.com/fnng/p/3576154.html 6 # ...
基于python的数据爬虫学习与体会
文章目录一.从Python编程基础中简述爬虫应用都会用到哪些pip模块以及对应的功能. pip install reqeusts pip install bs4 pip install pandas ...
python创建scrapy_Python爬虫教程-31-创建 Scrapy 爬虫框架项目
首先说一下,本篇是在 Anaconda 环境下,所以如果没有安装 Anaconda 请先到官网下载安装 Scrapy 爬虫框架项目的创建0.打开[cmd] 1.进入你要使用的 Anaconda 环境1 ...
python免费自学爬虫_这套Python爬虫学习教程，不到一天即可新手到进阶！免费领...
想用Python做爬虫,而你却还不会Python的话,那么这些入门基础知识必不可少.很多小伙伴,特别是在学校的学生,接触到爬虫之后就感觉这个好厉害的样子,我要学.但是却完全不知道从何开始,很迷茫,学的 ...
python爬虫数据提取,Python 信息提取-爬虫，爬虫提取数据, import re
Python 信息提取-爬虫,爬虫提取数据, import re import requestsimport refrom bs4 import BeautifulSoupurl = "ht ...
python爬取百度贴吧中的所有邮箱_使用 Python 编写多线程爬虫抓取百度贴吧邮箱与手机号...
原标题:使用 Python 编写多线程爬虫抓取百度贴吧邮箱与手机号不知道大家过年都是怎么过的,反正栏主是在家睡了一天,醒来的时候登QQ发现有人找我要一份贴吧爬虫的源代码,想起之前练手的时候写过一个抓 ...
scrapy爬虫储存到mysql_详解Python之Scrapy爬虫教程NBA球员数据存放到Mysql数据库
获取要爬取的URL 爬虫前期工作用Pycharm打开项目开始写爬虫文件字段文件items # Define here the models for your scraped items # # S ...
python urllib.request 爬虫数据处理-运维学python之爬虫基础篇（二）urllib模块使用...
1 何为爬虫网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引. ...
python拿什么做可视化界面好-用python打造可视化爬虫监控系统，酷炫的图形化界面...
原标题:用python打造可视化爬虫监控系统,酷炫的图形化界面本文并不是讲解爬虫的相关技术实现的,而是从实用性的角度,将抓取并存入 MongoDB 的数据用 InfluxDB 进行处理,而后又通过 ...

Python 爬虫1——爬虫简述

Python 爬虫1——爬虫简述相关推荐

最新文章

热门文章