python爬虫的简介

爬虫通俗的概念:通过编写程序，去模拟我们的浏览器,去获取网络之上的相关的数据与信息。

2.爬虫的价值:爬虫的价值在于能够获取网上大量的有价值的信息，加以包装与利用去创造更大的价值。

3.爬虫的原则:不可以妨碍当前网站的正常的运营；不可以去窃取他人受法律保护的信息。

4.爬虫的分类:''通用爬虫"用来爬取网页的一整页数据；”聚焦爬虫”是在“通用爬虫”的基础之上，抓取网页的局部信息的；“增量式爬虫”是用来爬取网站之中最近新增加的信息的。

5.反爬机制:利用技术防止其他人对自己的网站进行抓取的机制。

6.反反爬机制:利用技术与反爬人员进行对抗，对其网站进行爬取。

5.robots.txt:君子协议,各个网站之间规定的可以爬取的数据以及不可以爬取的数据。

6.http协议：i概念：就是服务器与客户端之间一种相互交流的方式；ii常用的请求头信息：-User-Agent请求载体的身份标识，connection请求完毕之后是继续连接还是断开连接；iii常用的响应的头信息：-Content-Type服务器响应回客户端的数据信息；

7.https协议：i概念：安全超文本传输协议（安全的http）；iii常用的加密方式：对称式密钥加密、非对称式密钥加密、证书密钥加密

python爬虫的简介相关推荐

Python爬虫——Scrapy 简介和安装
文章目录 Python爬虫--Scrapy 简介和安装 1.Scrapy 简介 2.Scrapy 下载安装 Python爬虫--Scrapy 简介和安装 1.Scrapy 简介 Scrapy 简介 S ...
Python爬虫——Selenium 简介和下载
文章目录 Python爬虫--Selenium 简介和下载 1.Selenium 简介 2.Selenium 下载安装 3.Selenium 简单使用 Python爬虫--Selenium 简介和下载 ...
python爬虫可以干什么-Python 爬虫一简介
什么是爬虫? 爬虫可以做什么? 爬虫的本质爬虫的基本流程什么是request&response 爬取到数据该怎么办什么是爬虫? 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间 ...
爬虫python能做什么-Python 爬虫一简介
什么是爬虫? 爬虫可以做什么? 爬虫的本质爬虫的基本流程什么是request&response 爬取到数据该怎么办什么是爬虫? 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间 ...
python适应的领域_“Andrew说Python爬虫”百家号娱乐领域排行-哪个领域更适合新手作者？...
Andrew说Python爬虫是当前百家号中的普通号,目前账号百家号权重为2,综合排名位列690769名,娱乐分类排名位列181017名,领先了37.8%的百家号. Andrew说Python爬虫的简 ...
python哪个领域厉害_“Andrew说Python爬虫”百家号娱乐领域排行-哪个领域更适合新手作者？...
Andrew说Python爬虫是当前百家号中的普通号,目前账号百家号权重为2,综合排名位列690769名,娱乐分类排名位列181017名,领先了37.8%的百家号. Andrew说Python爬虫的简 ...
【Python爬虫】第一课 Python爬虫环境与爬虫简介
1.1 认识爬虫网络爬虫作为收集互联网数据的一种常用工具,近年来随着互联网的发展而快速崛起.使用网络爬虫爬取网络数据首先需要了解网络爬虫的概念和主要分类,各类爬虫的系统结构,运作方式,常用的爬取策略 ...
python爬虫框架feapder的使用简介
python爬虫框架feapder的使用简介 1.前言 Feapder 是一款上手简单.功能强大.快速.轻量级的爬虫框架的Python爬虫框架.支持轻量爬虫.分布式爬虫.批次爬虫.爬虫集成,以及完善的 ...
Python爬虫学习第二章-1-requests模块简介
Python爬虫学习第二章-1-requests模块简介这一章主要是介绍requests模块的相关知识以及使用 1.requests模块简介: 概述:是python中原生的一款基于网络请求的模块 ...

python爬虫的简介

python爬虫的简介相关推荐

最新文章

热门文章