网络通信

1.1 网络基础架构

1.1.1 C/S架构

C是指 Clint(客户端),S是指Server(服务端)

使用Socket的目的是实现C/S软件架构的服务端和客户端之间的通信

1.1.2 C/S信息传输流程

完成一次网络通信,大致要经过以下5个步骤:

客户端产生数据,存放于客户端应用的内存中,然后调用接口将自己内存中的数据发送/拷贝给操作系统内存
客户端操作系统受到数据后,按照客户端应用指定的规则(即协议),调用网卡并发送数据
网络传输数据
服务端应用调用系统的接口,想要将数据从操作系统内存拷贝到自己的内存中
服务端操作系统受到指令后,使用与客户端相同的规则(即协议)从网卡读取数据,然后拷贝给服务端应用

1.2 TCP/IP 五层模型详解

1.2.1 物理层

物理层主要是基于电器特性发送高低电平信号,电平即"电压平台",指的是电路中某一点电压的高低状态,在网络信号中高低平用数字"1"表示,低平用数字"0"表示.电平的高低是个相对概念,3v对于7v是低电平,对于1v就是高电平

1.2.2 数据链路层

由于单纯的电平信号"0"和"1"没有任何意义,实际应用中,我们将电平信号进行分组处理,多少位一组,每组什么意思,这样的数据才有具体的含义,数据链路层的功能就是定义电平信号的分组方式

1. 以太网协议

数据链路层使用以太网协议进行数据传输,基于MAC地址的广播方式实现数据传输,只能在局域网内广播,早期各个公司都有自己分组的方式,后来形成了统一的标准,即以太网协议Ethernet

2. Ethernet以太网

由一组电平信号构成一个数据包,叫做"帧",每一数据帧由 报头Head和数Data两部分组成

Head: 固定18个字节,其中发送者/源地址6个字节,接受者/目标地址6个字节,数据类型6个字节

Data: 最短46个字节,最长1500个字节

数据包的具体内容格式为:Head长度+Data长度 = 最短64个字节,最长1518个字节(超过最大限制就分片发送)

3. MAC地址

Head中包含的源地址和目标地址的由来:Ethernet规定接入Internet的设备必须配有网卡,发送端和接收端的地址便是网卡的地址,即MAC地址

MAC地址: 每块网卡出厂时都被印上一个世界唯一的MAC地址,他是一个长度为48为的二进制数,通常用12位十六进制数表示(前6位是厂商编号,后6位是流水线号)

4. Broadcast广播

有了MAC地址,同一网络内的两台主机就可以通信了(一台主机通过ARP协议获取另外一台主机的MAC地址)

Ethernet采用非常原始的广播方式进行通信

例如:有多台PC组成了一个网络,并通过硬件设施链接具备了通信条件,假设有PC1到PC5,5台计算机,PC1按照固定协议格式以广播的方式发送以太网包给PC4,然而,PC2,PC3,PC5都会受到PC1发来的数据包,拆开后发现如果发现目标MAC地址不是自己就会丢弃,如果是自己就响应

1.2.3 网络层

有了Ethernet,MAC地址,广播的发送方式,世界上的计算机就可以彼此进行通信了,问题是世界范围的互联网是由一个个彼此隔离的小局域网组成的,如果所有的方式用以太网广播的方式,那么一台机器发送的数据全世界都能收到,这就不仅仅是效率低的问题,这会是一种灾难

全世界的大网络由一个个小的彼此隔离的局域网组成,以太网只能在一个局域网内发送,一个局域网就是一个广播域,跨广播域通信只能通过路由转发.由此得出结论:必须找出于总方法来区分呢些计算机属于同一广播域,那些不是,如果是就采用广播的方式发送,如果不是就采用路由的方式发送(向不同广播域/子网分发数据包),MAC地址是无法区分的,他只跟厂商有关,网络层就是用来解决这一问题的,网络层的作用就是引入一套新的地址来区分不通的广播域/子网,这套地址叫做网络地址

1. IP

规定网络地址的协议叫做IP(Internet Protocol,网际互联协议),他的定义地址为IP地址,广泛采用v4版本即IPv4,规定网络地址由32位二进制数表示,一个IP地址通常写成四段十进制数,例如 127.0.0.1,取值范围为:0.0.0.0到255.255.255.255

IP地址由两部分组成:网络部分(用来标识子网)和主机部分(用来标识主机)

> 注意:
>
>   单纯的IP地址只是标识了IP地址的种类,从网络部分或主机部分都无法识别一个IP地址所处的子网
>
>   例如,并不能确定137.0.0.1与127.0.0.2处于同一个子网.因此,就需要子网掩码

2. 子网掩码

所谓的"子网掩码",就是标识子网络特征的一个参数,他在形成上等同于IP地址,也就是一个32位二进制数字,它的网络部分是前24位,主机部分是后8位,那么子网络掩码就是11111111.11111111.11111111.00000000,写成十进制就是255.255.255.0

我们根据"子网掩码"就能判断任意两个IP地址是否处于同一个子网络.方法是将两个IP地址与子网掩码分别进行&运算(两个数位都为1,运算结果为1,否则为0),然后比较结果是否相同,如果相同,就表明它们在同一个子网络中,否则就不存在

比如:已知IP地址127.16.10.1和127.16.10.2的子掩码都是255.255.255.0,我们将二者IP地址与子网掩码分别进行&运算,运算的结果都是127.16.10.0,因此他们在同一个子网络中

> 总结:
>
> IP的作用主要有两个,一个是为每一台计算机分配IP地址,另一个就是确定哪些地址在同一个子网络中

3. IP数据包

IP数据包也分为Head和Data两部分,无须为IP数据包定义单独的栏位,直接放入以太网包的Data部分即可

Head(IP头部): 长度为20到60个字节

Data(IP数据): 最长为65515个字节

而以太网数据包Data部分,最长只有1500个字节.因此,如果IP数据包超过1500字节,它就需要分割成几个以太网数据包,分别发送

4. ARP

我们已知计算机通信方式采用广播的方式.所有上层的数据包到最后都要封装到以太网头,然后通过以太网协议发送.在谈及以太网协议的时候,我们已经了解到,通信基于MAC地址的广播方式实现的,计算机在发送数据包时,获取自身的MAC地址是容易的,获取目标主机的MAC地址,需要通过ARP(Address Resoulution Protocol,地址解析协议)来实现的

ARP用于实现从IP地址到MAC地址的映射,即询问目标IP对应的MAC地址,以广播的方式发送数据包,获取目标主机的MAC地址.我们通过一个案例来说明其具体通信的原理,假设主机IP地址已知

主机A的IP地址为10.1.20.64, MAC地址为:00:08:ca:xx:xx:xx;
主机B的IP地址为10.1.20.109,MAC地址为44:6d:57:xx:xx:xx;

当主机A要与主机B通信时,ARP可以将主机B的IP地址(10.1.20.109)解析成主机B的MAC地址,其工作流程为:

第一步: 通过IP地址和子网掩码计算出自己所处的子网,得出如下表显示的结果

场景	数据包地址
同一子网	目标主机MAC地址,目标主机IP地址
不同子网	网关MAC地址,目标主机IP地址

第二步: 分析主机A和B是否处于同一网络,如果不是同一网络,那么下表中目标IP地址为10.1.20.109(访问路由器的路由表),通过ARP获取的网关的MAC地址

数据报文格式	源MAC地址	目标MAC地址	源IP地址	目标IP地址	数据部分
数据报文内容	发送端MAC地址	FF:FF:FF:FF:FF:FF	10.1.20.64	10.1.20.109	数据

第三步: 根据主机A上的路由表内容,确定用于访问主机B的转发IP地址是10.1.20.109.然后主机A在自己的本地ARP缓存中检查主机B的匹配MAC地址

第四步: 如果主机A在ARP缓存中没有找到映射,它将询问10.1.20.64的硬件地址,从而将ARP请求帧广播到本地的所有主机,源主机A的IP地址和MAC地址都包括在ARP请求中.本地网络上的每台主机都收到ARP请求并检查是否与自己的IP地址匹配.如果主机发现请求的IP地址与自己的IP地址不匹配,它将丢弃APR请求

第五步: 主机B确定ARP请求中的IP地址与自己的IP地址匹配,将主机A的IP地址和MAC地址映射添加到本地ARP缓存中

第六步: 主机B将包含其MAC地址的ARP回复消息直接发送回主机A

第七部: 当主机A接收到从主机B发来的ARP回复消息时,会用主机B的IP地址和MAC地址映射跟新ARP缓存.本机缓存是有生存期的,生存期结束后,将再次重复上面的过程.主机B的MAC地址一旦确定,主机A就能向主机B发送IP地址了

为了能更好的理解ARP以及官博和单播的概念,可以利用网络抓包工具Wireshark来看一下抓取到的真实网络中的ARP过程,通过数据包的方式来呈现,部分MAC地址隐藏部分用xx来代替

1.2.4 传输层

现在我们已经知道,网络层的IP地址帮我们区分子网,以太网层的MAC地址帮我们找到主机,大家使用的都是应用程序,那么计算机可能同时开启QQ,微信等多个程序,那么我们通过IP地址和MAC地址找到了一台特定的主机,如何标识这台主机上的应用程序?答案就是端口,端口就是应用程序与网卡关联的编号,那么传输层就是用来建立端口到端口的通信机制的

> 补充:
>
>   主机端口的取值范围为:0到65535,其中0到1023位系统保留端口的取值范围,也叫做BSD端口
>
>   用户可以注册端口的取值范围为1024到49152
>
>   还有随机动态端口的取值范围为49152到65535
>
>   为什么取值范围只能为0到65535,多一个不行?从协议来讲,在TCP头部留给存储端口的空间只有2个字节,最大就是65535

1. TCP

TCP(Transmission Control Protocol,传输控制协议)是一种可靠传输协议,TCP数据包没有长度限制,理论上可以无限长,但是为了保证保证网络传输效率,通常TCP数据包的长度不会超过IP数据包的长度,已确定单个TCO数据包不必再分割

2. UDP

UDP(User Datagtam Protocol,用户数据报协议)是一种不可靠协议,"报头"部分总共有8个字节,总长度不超过65535字节,正好放进一个IP数据包

3. TCP报文结构

TCP报文是TCP层传输的数据单元,也叫作报文段

下面对报文内容做详细介绍:

端口号: 用来标识同一台计算机的不同应用进程

源端口: 源端口和IP地址的作用是标识报文的返回地址

目标端口: 目标端口知名接收方计算机上的应用程序接口

注意:

TCP报头中的源端口号和目标端口号同IP数据包中的源IP地址和目标IP地址唯一确定一条TCP连接
序号和确认号: TCP可靠传输的关键部分.

序号是本报文段发送的数据组的第一个字节序号.在TCP传输流中.每一个字节都有一个序号.例如: 一个报文段的序号为300,此报文段数据部分共有100字节,则下一个报文段的序号为400.所以序号保证TCP传输的有序性

确认号,即ACK,指明下一个期待收到的字节序号,标明该序号之前的所有数据已经正确无误地收到.确认号只有当ACK标志为1.比如建立连接时,SYN报文的ACK标志为0
数据偏移/头部长度: 4位

由于头部可能含有可选项内容,TCP报头的长度是不确定的,报头不包含任何任选属性则长度为20字节,4位头部长度属性所能表示的最大值为1111,转化为十进制为15,15*32/8=60,故报头最大长度为60字节.头部长度也叫数据偏移,因为头部长度实际上指示了数据区在报文段中的起始偏移值
保留:

为将来丁一新的用途保留,现在一般设置为0

标志位:

URG,ACK,PSH,RST,SYN,FIN,共6个,每一个标志位都表示一个控制功能,具体含义如下表所示

字段	中文名称	含义
URG	紧急指针标志	1表示紧急指针有效,0表示忽略紧急指针
ACK	确认序号标志	1表示确认号有效,0表示报文中不含确认信息,忽略确认号属性
PSH	接收信号标志	1表示带有Push标志的数据,指示接收方在接收到该报文以后,应尽快将这个报文段交给应用程序,而不是在缓冲区排队
RST	重置连接标志	用于重置由于主机崩溃或其他原因而出现错误的连接,或者用于拒绝非法的报文段和拒绝连接请求
SYN	同步序号标志	用于建立连接过程,在连接请求中,SYN=1和ACK=0表示该数据段没有使用捎带的确认域,而连接应答捎带一个确认,即SYN=1和ACK=1
FIN	完成标志	用于释放连接,1表示发送方已经没有数据发送了,即关闭本方数据流

窗口:

滑动窗口大小,用来告知发送端接收端的缓存大小,以此控制发送端发送数据的速率,从而达到流量控制.窗口大小是一个16属性,因而窗口大小最大为65535
校验和:

奇偶校验，此校验和针对整个TCP报文段，包括TCP头部和TCP数据，以16位属性进行计算所得，由发送端计算和存储，并由接收端进行验证。
紧急指针:

只有当URG编制为1时紧急指针才有效。紧急指针时一个正的偏移量，和顺序号实行的值相加表示紧急数据最后一个字节的序号。TCP的紧急方式是发送端向另一端发送紧急数据的一种方式。
选项和填充:

最常见的可选属性值是最长报文大小，又称为MSS(Maximum Segment Size)，每个连接方通常都在通信的第一个报文段（为建立连接而设置SYN标志位1的那个段）中指明这个选项，它表示本端所能接收的最大报文段的长度。选项长度不一定是32位的整数倍，所以要加填充位，即在这个属性中加入额外的零，以保证TCP头部长度为32位的整数倍。
数据部分:

TCP报文段中的数据部分是可选的。在一个连接建立和一个连接终止时，双方交换的报文段仅有TCP头部。如果一方没有数据要发送，也是用没有任何数据的头部来确认收到的数据。在处理超时的许多情况中，也会发送不带任何数据的报文段

4. TCP交互流程

传输连接包括三个阶段：连接建立、数据传送和连接释放。传输连接管理就是对连接建立和连接释放过程的监控，使其能正常运行，以达到这些目的：使通信双方能够确知对方的存在、可以允许通信双方协商一些参数（最大报文段长度、最大窗口大小等）、能够对运输实体资源进行分配（缓存大小等）。TCP连接的建立采用客户端-服务端模式：主动发起连接建立的应用进程叫作客户端，被动等待连接建立的应用进程叫做服务器。接下来，介绍TCP完成数据传输的三次握手和四次握手的详细过程。

第一次握手：建立连接时，客户端发送SYN包（syn=1）到服务器，并进入SYN_SENT状态，等待服务器确认。
第二次握手：服务器收到SYN包，必须确认客户端的SYN包（ask=x+1），同时自己也发送一个SYN包（syn=1），即SYN+ACK包，此时服务器进入SUN_RECV状态。
第三次握手：客户端收到服务器的SYN+ACK包，向服务器发送确认包ACK（ask=x+1），此包发送完毕，客户端和服务器进入ESTABLISHED（TCP连接成功）状态，完成三次握手。
至此，TCP连接就建立了，客户端和服务端可以愉快的"玩耍"了。只要通信双方没有一方发出连接释放的请求，连接将一直保持。如果一方释放连接，就会发起挥手操作。
第一次挥手：客户端进程发出连接释放报文，并且停止发送数据。释放数据报文头部，FIN=1，其序列号位seq=u（等于前面已经传输过来的数据的最后一个字节的序号加1），此时，客户端进入FIN_WAIT_1(终止等待1)状态。TCP规定，FIN报文段即使不携带数据，也要消耗一个序号。
第二次挥手：服务器收到连接释放报文，发送确认报文，ACK=1,ack=u+1，并且携带上自己的序列号swq=v，此时，服务器进入了CLOSE_WAIT（关闭等待）状态。TCP服务器通知高层的应用进程，客户端向服务器方向的连接就被释放了，这时候处于半关闭状态，及客户端已经没有数据要发送了，但是服务器若发送数据，客户端依然要接收。这个状态还要持续一段时间，也就是整个CLOSE_WAIT状态持续的时间。
客户端手打服务器的确认请求后，客户端就进入FIN_WAIT_2（终止等待2）状态，等待服务器发送连接释放报文（在这之前还需要接收服务器发送的最后的数据）。
第三次挥手：服务器将最后的数据发送完毕后，就向客户端发送连接释放报文，FIN=1，ack=u+1，由于在半关闭状态，服务器很可能有发送了一些数据，嘉定此时的序列号为seq=w，此时，服务器就进入了LAST_ACK（最后确认）状态，等待客户端的确认。
第四次挥手：客户端收到服务器的连接释放报文后，必须发出确认，ACK=1，ack=w+1，而自己的序列号是seq=u+1，此时，客户端就进入了TIME_WAIT（时间等待）状态。注意此时TCP连接还没有释放，必须经过2xMSL（最长报文段寿命）的时间，当客户端撤销相应的TCB（Transmit Control Block，传输控制模块）后，才进入CLOSED状态。
最后，服务器只要收到了客户端发送的确认，就立即进入CLOSED状态。同样，撤销TCB后，就结束了这次TCP连接。可以看到，服务器结束TCP连接的时间要比客户端早一些。

1.2.5 应用层

在日常操作中，用户使用的都是应用程序，应用程序都工作在应用程。互联网是开放的，大家都可以开发自己的应用程序，数据多种多样，必须规定好数据的组织形式。应用层的功能就是规定应用程序的数据格式。

例如：TCP可以为各种各样的程序传递数据，比如SMTP、HTTP、FTP、POP3等，那么，必须有不同的协议规定电子邮件、网页、FTP数据的格式，这些应用协议就构成了“应用层”。

1. DNS协议

DNS是英文Domain Name System（域名系统）的缩写，用来把便于人们使用的机器名字转换为IP地址。现在顶级域名TLD（Totel Lead Domination）分为三大类：国家顶级域名nTLD、通用顶级域名gTLD和基础结构域名。域名服务器分为四种类型：根域名服务器、顶级域名服务器、本地域名服务器和权限域名服务器。DNS使用TCP和UDP端口53。当前，对于每一领域名长度的限制是63个字符，域名总长度则不能超过253个字符。

2. HTTP

HTTP(HyperText Transfer Protocol，超文本传输协议)是面向事务的应用层协议。它是互联网上能够可靠地交换信息的重要基础。HTTP使用面向连接的TCP作为传输层协议，保证了数据的可靠传输。

3. FTP

FTP(File Transfer Protocol，文件传输协议)是互联网最广泛的文件传输协议。FTP提供交互式的访问，允许客户指明文件类型与格式，并允许文件具有存取权限。FTP基于TCP工作。

4. SMTP

SMTP（Simple Mail Transfer Protocol，简单邮件传输协议)规定了在两个相互通信的SMTP进程之间应如何交换信息。SMTP通信的三个阶段：建立连接、邮件传送和连接释放。

5. POP3

POP3（Post Office Protocol3，邮件读取协议）通常被用来接收电子邮件。

6. TeInet协议

Telnet协议是一个简单的远程终端协议，也是互联网的正式标准，又称为终端仿真协议。

1.2.6 总结

总结一下OSI七层模型，它为开放互联网信息系统提供了一种结构框架。建立七层模型主要的目的是解决异种网络互联时所遇到的兼容新问题。它最大优点是将服务，接口和协议这三个概念明确地区分开来：服务说明某一层为上一层提供一些什么功能，接口说明上一层如何使用下一层的服务，而协议涉及如何实践本层的服务；这样各层之间具有很强的独立性，互联网络中各实体采用什么样的协议是没有限制的，只要向上提供相同服务并且不改变相邻层的接口就可以。

1.3 网络通信实现原理

要实现网络通信，每台主机需具备四要素：本机的IP地址、子网掩码、网关的IP地址和DNS的IP地址。

获取这四要素有两种方式：

一：静态获取，即手动配置

二：动态获取，即通过DNCP(Dynamic Host Configuration Protocol，动态主机配置协议)获取

网络通信的交互过程。

一：以太网头部，设置方（本机）的MAC地址和接收方（DNCP服务器）的MAC地址。最前者就是本机网卡的MAC地址，后者这事不知道，就填入一个广播地址：FF-FF-FF-FF-FF-FF。

二：IP头部，设置触发方的IP地址和接收方的IP地址。这时，对于这两者，本机都不知道。于是，发出方的IP地址就设为0.0.0.0，接收方的IP地址设为255.255.255.255。

三：UDP头部，设置发出方的端口和接收方的端口。这一部分是DHCP规定好的，发出方是68端口，接收方是67端口。

这个数据包构造完成后，就可以发出了。以太网是广播发送的，同一个子网的每台计算机都收到了这个数据包。因此接收方的MAC地址是FF-FF-FF-FF-FF-FF，看不出是发给谁的，所以每台收到这个数据包的计算机，还必须分析这个数据包的IP地址，才能确定是不是发给自己的。看到发送方IP地址是0.0.0.0，接收方IP地址是255.255.255.255，于是DHCP服务器知道“这个数据包是发给我的”，而其他计算机就可以丢弃这个数据包。

接下来，DHCP服务器读出这个数据包的数据内容，分配好IP地址，发送回去一个“DHCP响应”数据包。这个响应包的结构也是类似的，以太网头部的MAC地址是双方的网卡地址，IP头部的IP地址是DHCP服务器的IP地址（发出方）和255.255.255.255（接收方），UDP头部的端口是67（发出方）和68（接收方），分配给请求端的IP地址和本网络的具体参数则包含在Data部分。

新加入的计算机收到这个响应包，于是就知道了自己的IP地址、子网掩码、网关地址、DNS服务器等参数。

1.4 浏览器输入URL后发生了什么

当在浏览器地址栏中输入网址后，浏览器是怎么吧最终的页面呈现出来的呢？这个过程大致可以分为两个部分：网络通信和页面渲染。下面详细分析完整的通信过程。

第一步：本机设置一下信息

本机IP地址	子网掩码	网关IP地址	DNS地址
192.168.1.100	255.255.255.0	192.168.1.1	8.8.8.8

第二步：打开浏览器，想要访问百度的官网，在地址栏输入网址www.baidu.com。

第三步：通过访问DNS域名系统服务器（基于UDP）获得IP地址。

第四步：向目标及其发起HTTP请求

第五步：TCP

第六步：IP

第七步：以太网协议

第八步：服务器响应

1.5 网络通信之"魂"-----Socket

网络通信详解-深入浅出相关推荐

Python Socket 网络通信详解
Python 模块 Socket 网络通信文章目录 Python 模块 Socket 网络通信 1. socket介绍 2. Socket 类型 3. Socket 函数 3.1 服务器端 Sock ...
css3伪类图解,CSS3伪类元素详解/深入浅出
很多朋友提出说对css3"画图"不是很理解, 在跟他们私聊了一段时间以后,加上自己在开始自学css3的时候的疑惑,我觉得大家之所以不是很理解主要是因为对伪元素不太了解,介于画图和C ...
经典面试题之 TCP三次握手和 TCP四次挥手过程----详解
TCP三次握手过程: 第一次握手:建立连接时,客户端发送syn包(seq=j)到服务器,并进入SYN_SENT状态,等待服务器确认:SYN:同步序列编号(Synchronize Sequence Nu ...
JS中this关键字详解
本文主要解释在JS里面this关键字的指向问题(在浏览器环境下). 阅读此文章,还需要心平气和的阅读完,相信一定会有所收获,我也会不定期的发布,分享一些文章,共同学习首先,必须搞清楚在JS里面,函数 ...
[深入浅出Cocoa]详解键值观察（KVO）及其实现机理
[深入浅出Cocoa]详解键值观察(KVO)及其实现机理本文转载至罗朝辉 (http://www.cppblog.com/kesalin/) 本文遵循"署名-非商业用途-保持一致& ...
深入浅出Mybatis系列（四）---配置详解之typeAliases别名（mybatis源码篇）
上篇文章<深入浅出Mybatis系列(三)---配置详解之properties与environments(mybatis源码篇)> 介绍了properties与environments, ...
[深入浅出Cocoa]之消息（二）-详解动态方法决议(Dynamic Method Resolution)
[深入浅出Cocoa]之消息(二)-详解动态方法决议(Dynamic Method Resolution) 罗朝辉 (http://www.cnblogs.com/kesalin/) 本文遵循&quo ...
[Cocoa]深入浅出 Cocoa 之 Core Data（1）- 框架详解
深入浅出 Cocoa 之 Core Data(1)- 框架详解罗朝辉(http://blog.csdn.net/kesalin) CC 许可,转载请注明出处 Core data 是 Cocoa 中处 ...
tcp网络通信教程 java_基于java TCP网络通信的实例详解
JAVA中设计网络编程模式的主要有TCP和UDP两种,TCP是属于即时通信,UDP是通过数据包来进行通信,UDP当中就会牵扯到数据的解析和传送.在安全性能方面,TCP要略胜一筹,通信过程中不容易出现数 ...

网络通信详解-深入浅出