python爬虫项目实训报告背景_项目实战 | Python爬虫概述与实践（一）

1 定义

2 分类

3 基本流程

4总结

1 定义

爬虫，又称为网络蜘蛛、网络机器人等，简单来说，就是请求网站并提取数据的自动化程序，可以代替人工在互联网上收集数据。

2 分类

通用网络爬虫

搜索引擎离不开爬虫，比如百度搜索引擎的爬虫叫百度蜘蛛(Baiduspider)、Bing的Bingbot、360的360Spider、搜狗的SougouSpider。搜索引擎的爬虫每天在海量的网页中爬取优质的信息并进行收录，根据用户输入的关键字在收录的信息中找到相关网页，并按照一定的算法进行排序显示给用户。这种在全互联网上获取信息的爬虫称为通用网络爬虫或全网爬虫。

聚焦网络爬虫

聚焦网络爬虫，也叫主题网络爬虫，是根据我们的需求有选择性的爬取相关内容，在《十分钟生成自己的疫情地图，小白都能立刻上手》文章中，小媛儿获取疫情统计数据所用的爬虫，就是这种类型。

3 基本流程

基本流程主要包括四步：

发起请求

获取内容

解析内容

保存数据

爬虫的基本流程前两步是在模仿浏览器对服务器进行Resquest，获取从服务器的Response信息。

我们先来看一下浏览器对服务器的http请求过程

我们看到的网页是浏览器多次对服务器发送请求解析的结果，整个交互过程可以在浏览器中通过右击-检查(或审查元素)-Network查看。

比如我们在浏览器中输入www.bing.com，查看的结果如图。

需要注意的在Request头部中包含请求方式(GET\POST\PUT\DELETE等)，在Response报文头部中有一个 3位数字的“状态码”字段，其中200表示相应成功。

发起请求

通过HTTP库指定URL向目标站点发起请求，即发送一个Request，等待服务器响应。python中发起请求常用的库主要包括urllib,requests。

import requestsurl='https://www.bing.com' #指定目标服务器urlresponse=requests.get(url) #请求方式为get

获取内容

如果服务器能正常响应，会得到一个Response，Response的内容就是所要获取的页面内容，类型可能有HTML、JSON字符串、二进制(图片、视频)等。

举个简单例子，我们想要爬取bing首页的信息

import requestsurl='https://www.bing.com' #指定目标服务器urlresponse=requests.get(url) #请求方式为getresponse.encoding='utf-8' #设置编码格式，避免中文乱码print(response.status_code) #检测response状态码，200表示爬取成功print(response.text) #输出相应内容

输出结果部分截图：

200

python爬虫项目实训报告背景_项目实战 | Python爬虫概述与实践（一）相关推荐

python图书管理实训报告总结_图书管理系统心得-总结报告模板
图书管理系统心得为期两个星期的 c# 图书管理系统实习终于结束了,总算松了一口气,在这短短的两周时间内承受了很大的压力现在终于能够得到"释放"了, 感觉到很轻松. 回顾这两周 ...
python图书管理实训报告总结_图书管理系统实验报告
图书管理系统实验报告一.问题描述有一个小型书库保管了大量图书,关于图书有大量信息需要处理,这些信息包括图书的分类.书名.作者名.购买日期.价格等.现要求编写一个程序以便于对图书的管理. 基本要 ...
c语言小车寻迹实训报告,循迹小车项目实训报告.doc
循迹小车项目实训报告寻迹小车的设计与制作实训报告课程名称: C51程序设计 EDA技术专业班级: 应电0935班指导老师: 方跃春谭刚林小组成员: 黄春桥汤政孙巍明阳毅实训项目要求 ...
python飞机大战实训报告200_飞机大战实训报告.doc
您所在位置:网站首页 > 海量文档 &nbsp>&nbsp行业资料&nbsp>&nbsp航空/航天飞机大战实训报告.doc22页本文档一共被下载: ...
mysql综训实训报告总结_实训报告总结收获.doc
实训报告总结收获实训报告总结收获实训报告总结收获篇一 <实训收获总结报告> 实训总结报告 -----基于RFID的码头货物自动采集系统项目简要概述: 1) 开发环境:Window x ...
asp实训报告摘要_个人网站实训报告---asp.NET 动态网站设计
个人网站实训报告---asp.NET 动态网站设计网站开发技术实训报告学生姓名学号学院专业计算机应用技术计算机应用技术题目 asp.NET asp.NET 动态网站设计动态网站设 ...
堆垛实训报告总结_实训总结物流陈雪峰
实训总结物流陈雪峰文章<实训总结物流陈雪峰>是由[作文仓库]的会员[-那妞丶爷娶你可好i]为大家整理并分享的,仅供大家参考,欢迎阅读! 物流技术综合实训实训名称系/专业班级学 ...
期末Django项目实训报告
一.实训项目制作学生信息管理系统(students)并且实现该信息管理系统的增删改查二.实训项目内容 (一)创建Django项目 - students 设置Django项目的位置与名称 (二)准备 ...
javaee实训报告总结_程力汽车集团隆重召开专业厂暨集团成员厂上半年经营工作总结表彰会。2、程力集团专汽公告培训会圆满结束...
程力汽车集团隆重召开专业厂暨集团成员厂上半年经营工作总结表彰会. 本报讯(特约通讯员邵斌.加玉涛报道) 近日,因受疫情影响,程力汽车集团专业厂暨集团成员厂上半年经营工作总结表彰会,在程力 ...

python爬虫项目实训报告背景_项目实战 | Python爬虫概述与实践（一）

python爬虫项目实训报告背景_项目实战 | Python爬虫概述与实践（一）相关推荐

最新文章

热门文章