1web请求

1服务器渲染在服务器那边直接把数据和html整合在一起，统一返回给浏览器
             在页面源代码中可以看到数据
2客户端渲染第一次请求只拿到html骨架，
             第二次请求拿到数据，进行数据分析
             在页面源代码中看不到数据

熟练使用浏览器抓包工具：检查（F12）-network-header，preview

2http协议

协议:数据间传输的规则
HTTP协议:超文本传输协议，用于从www 服务器传输超文本到本地浏览器的传送协议。
浏览器和服务器之间的数据交互遵守的就是HTTP协议请求
# 请求行->请求方式（get post） 请求url地址 协议
# 请求头->放一些服务器使用的附加信息
# 请求体->一般放请求参数响应
# 状态行->协议 状态码
# 响应头->放一些客户端要使用的附加信息
# 响应体->服务器返回的真正客户端要用的内容（Html json）# 请求头中最常见的一些重要内容（爬虫内容）：
# 1.User-Agent:请求载体的身份标识（用啥发送的请求）
# 2.Referer:防盗链（这次请求是从哪个页面来的 反爬会用到）
# 3.cookie：本地字符串数据信息（用户登录信息 反爬的token）# 响应头中的一些重要的内容：
# 1.cookie：本地字符串数据信息（用户登录信息，反爬的token）
# 2.各种神奇的莫名其妙的字符串# 请求方式：
# get：显式提交
# post：隐式提交

爬虫2-web请求与http协议相关推荐

web网络和http协议（了解域名和网页，制作第一个网页，了解http协议，流程和请求报文格式）
文章目录 web网络和http协议了解域名早期使用HOST文件解析域名现在DNS(Domain Name system 域名系统) 域名的概述域名空间结构域名介绍域名注册域名注册步骤网 ...
python爬虫入门教程--快速理解HTTP协议（一）
http协议是互联网里面最重要,最基础的协议之一,我们的爬虫需要经常和http协议打交道.下面这篇文章主要给大家介绍了关于python爬虫入门之快速理解HTTP协议的相关资料,文中介绍的非常详细,需要 ...
基础网络爬虫（Web crawler）相关技术浅析
文章目录前言基本概念 Robots协议基本原理现状概况爬虫软件跨语言 Selenium Python urllib requests Scrapy Pyspider Java WebMag ...
[Python爬虫] 2-网络请求
# I.urllib库:最基本的网络请求库,可以模拟浏览器的行为,向指定的服务器发送一个请求,并且可以保存返回的数据,常用函数如下: # 1)urlopen:抓取内容 from urllib impo ...
Python网络爬虫第一课----Python网络爬虫基础《http和https协议》
Python网络爬虫第一课----Python网络爬虫基础<http和https协议> 一.HTTP协议 1.官方概念: HTTP协议是Hyper Text Transfer Protoc ...
网络爬虫（Web crawler）|| 爬虫入门程序
网络爬虫网络爬虫(Web crawler),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本爬虫入门程序环境准备 JDK1.8 IntelliJ IDEA IDEA自带的Maven 环境 ...
一个完整的 Web 请求到底发生了什么
阅读本文大概需要 7 分钟. 一.从输入一个网址开始当我们在浏览器输入一个网址,然后按下回车,接下来浏览器显示了页面.网速好的话这之间可能就一秒,但在这一秒内到底发生了什么? 本文主要内容是试图记录 ...
深入理解WEB请求过程
随着web2.0时代的到来,互联网的网络架构已经从传统的C/S架构转变成更加方便快捷的B/S架构,B/S架构大大简化了用户使用网络应用的难度,带来了以下两方面的好处: 1.客户端使用统一的浏览器.由于 ...
php如何处理查询请求,PHP如何处理Web请求流程
PHP世界里涌现了很多开发框架,比如Laravel.ThinkPHP等,但不论何总框架,他们在处理Web请求时的模式都是一样的,本文首先阐述PHP开发Web应用的基本架构,然后分别分析Laravel和 ...

爬虫2-web请求与http协议

1web请求

2http协议

爬虫2-web请求与http协议相关推荐

最新文章

热门文章