初识Python爬虫

  • 互联网
    • 简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前；
  • 一、什么是爬虫
      • 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
      • 如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物（数据）
      • 爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序;
      • 从技术层面来说就是 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频） 爬到本地，进而提取自己需要的数据，存放起来使用；
    • 二、爬虫的基本流程：
          • 用户获取网络数据的方式：
          • 方式1：浏览器提交请求--->下载网页代码--->解析成页面
          • 方式2：模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中
          • 爬虫要做的就是方式2；
          • 其实，爬虫的过程和浏览器浏览网页的过程是一样的。道理大家应该都明白，就是当我们在键盘上输入网址点击搜索之后，通过网络首先会经过DNS服务器，分析网址的域名，找到了真正的服务器。然后我们通过HTTP协议对服务器发出GET或POST请求，若请求成功，我们就得到了我们想看到的网页，一般都是用HTML, CSS, JS等前端技术来构建的，若请求不成功，服务器会返回给我们请求失败的状态码，常见到的503，403等。
        • 1、发起请求
          • 使用http库向目标站点发起请求，即发送一个Request
          • Request包含：请求头、请求体等
          • Request模块缺陷：不能执行JS 和CSS 代码
        • 2、获取响应内容
        • 如果服务器能正常响应，则会得到一个Response
        • Response包含：html，json，图片，视频等
        • 3、解析内容
          • 解析html数据：正则表达式（RE模块），第三方解析库如Beautifulsoup，pyquery等
          • 解析json数据：json模块
          • 解析二进制数据:以wb的方式写入文件
        • 4、保存数据
          • 数据库（MySQL，Mongdb、Redis)
          • 文件
      • 三、、 request
        • 1、请求方式：
        • 2、请求的URL
        • url编码
        • 3、请求头
        • 4、请求体
        • 请求体
      • 总结爬虫流程：

互联网

简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前；

一、什么是爬虫

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物（数据）
爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序;
从技术层面来说就是 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频） 爬到本地，进而提取自己需要的数据，存放起来使用；

二、爬虫的基本流程：

用户获取网络数据的方式：
方式1：浏览器提交请求—>下载网页代码—>解析成页面
方式2：模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中
爬虫要做的就是方式2；

其实，爬虫的过程和浏览器浏览网页的过程是一样的。道理大家应该都明白，就是当我们在键盘上输入网址点击搜索之后，通过网络首先会经过DNS服务器，分析网址的域名，找到了真正的服务器。然后我们通过HTTP协议对服务器发出GET或POST请求，若请求成功，我们就得到了我们想看到的网页，一般都是用HTML, CSS, JS等前端技术来构建的，若请求不成功，服务器会返回给我们请求失败的状态码，常见到的503，403等。

1、发起请求

使用http库向目标站点发起请求，即发送一个Request
Request包含：请求头、请求体等
Request模块缺陷：不能执行JS 和CSS 代码

2、获取响应内容

如果服务器能正常响应，则会得到一个Response

Response包含：html，json，图片，视频等

3、解析内容

解析html数据：正则表达式（RE模块），第三方解析库如Beautifulsoup，pyquery等
解析json数据：json模块
解析二进制数据:以wb的方式写入文件

4、保存数据

数据库（MySQL，Mongdb、Redis)
文件

三、、 request

1、请求方式：

常见的请求方式：GET / POST

2、请求的URL

url全球统一资源定位符，用来定义互联网上一个唯一的资源 例如：一张图片、一个文件、一段视频都可以用url唯一确定

url编码

网页的加载过程是：
加载一个网页，通常都是先加载document文档，
在解析document文档的时候，遇到链接，则针对超链接发起请求

3、请求头

User-agent：请求头中如果没有user-agent客户端配置，服务端可能将你当做一个非法用户host；
cookies：cookie用来保存登录信息
#####请求头需要注意的参数：

(1）Referrer：访问源至哪里来（一些大型网站，会通过Referrer 做防盗链策略；所有爬虫也要注意模拟)

（2）User-Agent:访问的浏览器（要加上否则会被当成爬虫程序）

（3）cookie：请求头注意携带

4、请求体
请求体
如果是get方式，请求体没有内容 （get请求的请求体放在 url后面参数中，直接能看到）
如果是post方式，请求体是format data
ps：
1、登录窗口，文件上传等，信息都会被附加到请求体内
2、登录，输入错误的用户名密码，然后提交，就可以看到post，正确登录后页面通常会跳转，无法捕捉到post

总结爬虫流程：

爬取—>解析—>存储

参考博客: https://www.cnblogs.com/sss4/p/7809821.html

Python爬虫简介相关推荐

  1. python爬虫视频教程

    因此,今天给大家精心准备了一份python的爬虫视频教程,文末有免费获取方式. 第一章是python爬虫简介,带大家了解什么是爬虫 . 第二章是网络请求,讲的非常细,包括urlopen函数的原理和用法 ...

  2. selenium+python爬虫全流程教程

    python+selenium爬虫全流程详解 selenium+python爬虫简介 selenium测试脚本 python+selenium 模拟浏览器----以chrome为例 浏览器驱动安装 浏 ...

  3. python爬虫批量爬取乐愚社区精美壁纸

    文章目录 python爬虫简介 目标网页介绍 网页以及网址的分析 具体的python实现 全部的代码 python爬虫简介 爬虫就其本质而言就是程序模拟浏览器访问网页的各种操作,其中网址的访问.图片. ...

  4. Python 网络爬虫 001 (科普) 网络爬虫简介

    Python 网络爬虫 001 (科普) 网络爬虫简介 1. 网络爬虫是干什么的 我举几个生活中的例子: 例子一: 我平时会将 学到的知识 和 积累的经验 写成博客发送到CSDN博客网站上,那么对于我 ...

  5. 【Python爬虫】第一课 Python爬虫环境与爬虫简介

    1.1 认识爬虫 网络爬虫作为收集互联网数据的一种常用工具,近年来随着互联网的发展而快速崛起.使用网络爬虫爬取网络数据首先需要了解网络爬虫的概念和主要分类,各类爬虫的系统结构,运作方式,常用的爬取策略 ...

  6. Python爬虫之初识简介以及舆情系统简介【爬虫篇一】

    目录 爬虫简介 爬虫基本操作 爬虫的作用: 舆情系统: 简单示例: 爬虫简介 爬虫技术的形成(搜索公司的出现) 第一阶段:大黄页(自己建立一个文档,记录域名 和该域名作用) 第二阶段:搜索公司出现,收 ...

  7. python爬虫框架feapder的使用简介

    python爬虫框架feapder的使用简介 1.前言 Feapder 是一款上手简单.功能强大.快速.轻量级的爬虫框架的Python爬虫框架.支持轻量爬虫.分布式爬虫.批次爬虫.爬虫集成,以及完善的 ...

  8. Python爬虫——Scrapy 简介和安装

    文章目录 Python爬虫--Scrapy 简介和安装 1.Scrapy 简介 2.Scrapy 下载安装 Python爬虫--Scrapy 简介和安装 1.Scrapy 简介 Scrapy 简介 S ...

  9. Python爬虫学习第二章-1-requests模块简介

    Python爬虫学习第二章-1-requests模块简介   这一章主要是介绍requests模块的相关知识以及使用 1.requests模块简介: 概述:是python中原生的一款基于网络请求的模块 ...

  10. Python网络爬虫——1、网络爬虫简介

    什么是网络爬虫 网络爬虫又称网络蜘蛛.网络蚂蚁.网络机器人,它可以自动化浏览网络中的信息,当然浏览信息的时候需要按照我们制定的规则进行,这些规则我们称之为网络爬虫算法.使用Python可以方便的编写出 ...

最新文章

  1. 【FFmpeg】windows下的库下载
  2. WebView三个方法区别（解决乱码问题）
  3. 一道关于 fork 的笔试题
  4. 李秀计算机文化基础,计算机文化基础（李秀）绪论.pptx
  5. Delphi中使用API将目录删除函数
  6. redis常见面试题有哪些?redis集群面试题及答案整理
  7. 《HTML5与CSS3实战指南》——2.3 HTML5常见问题
  8. 手滑的悲剧！女老板把1000000元转错账户 对方竟立马关机失联…
  9. 【内存检测系列】window下windbg内存泄漏检查
  10. 李开复老师的《给中国学生的第一封信——从诚信谈起》
  11. 2021-09-03101. 对称二叉树
  12. 计算机进pe按键,台式机进入pe按什么键
  13. linux使用TCP聊天室设计详解,基于linux的TCP网络聊天室设计与实现
  14. AD9的pcb 里面怎样才能从TOP层视图换成从BOTTOM层网上面看，相当于把板子翻过来看
  15. 手机计算机藏应用,手机“计算器”隐藏功能，一键把隐私照片加密
  16. SSH简介及登录方法
  17. 推荐几个网盘搜索工具，大大提高你的找资源效率
  18. [转]ESMTP的三个认证方式: CRAM-MD5 PLAIN和LOGIN
  19. 2021-01-09T18:00:00.000Z格式时间存数据库，字段类型为datetime，直接出现报错
  20. 《谈判力》读书笔记：第四章 为共同利益提供多种解决方案

热门文章

  1. 或有事项会计处理研究 ——以广西上市公司为例
  2. datav可视化大屏使用教程
  3. Python学习之路（四）——Python核心编程3（面向对象、模块_包_异常）
  4. 1.余弦定理、两角和公式公式复习
  5. 【网络科学导论】【复杂网络】基础知识总结
  6. 学习go语言里Duck typing 概念
  7. Python实现视频流媒体传输
  8. 新手怎么用word制作表格
  9. ADB 常用技巧 汇总
  10. C语言之while循环