现在假定我们已经拥有一个能传比特流的下层了, 编码的过程我不用管, 我直接传串行比特流给他他就会帮我发过去. 那么现在就来构建数据链路层, 先从两个设备的通信开始讲到多个设备. 这里开始就主要是计算机设备在工作了, 有更多的灵活性.

冲突和差错

这次主要以一层Hub和二层交换机为设备讲这一层. 用到的传输介质是双绞线的RJ45接口网线, 之前说过可以通过多线实现全双工, 但是我们先以历史悠久的没有全双工即半双工的版本讲起. 不过如果用低带宽的全双工线来兼容高带宽的一种办法就是让他工作在半双工模式(把收发改成收或发两路并行).

两个设备通信, 我们就把两台设备用RJ45连起来就行了. 但是有一个问题是两个设备都想给对方发数据, 半双工就冲突了. 除了两个设备, 为了实现多设备的网络构建, 我们发明了Hub集线器, 集线器的工作原理就是通过RJ45口把所有的电脑链接到一个集中式的管理员上, 就是一个简单集中式网络了(不过现在所有人都能听见.). 这个管理员就是Hub, 他不断的把一个口的数据传到其他口. 我们可以想到直接把铜线和一些MUX和放大器给连起来就好了. 但是就涉及到一个问题了, 同一时刻如果有两个网口都想对外传信息的时候, 就造成了冲突. 物理层不管你这么多, 又没有计算机, 所以他不管你冲突不冲突的, 他就直接在一个冲突的信道上传比特.

这样可不行, 为了尽力把我们的比特流传对了, 必须要加入一些机制来识别比特流是不是发送方想要发的. 接下来就讲差错控制.

差错控制

于是就开始研究一些措施, 比如冗余数据内带校验和等. 这里涉及信息论的两个概念 , 一个是线性分组编码和循环码. 线性分组编码就是合法码构成的集合满足线性(认为加法是异或就好了). 至于为什么要用线性我也不知道(涉及群论数论的东西). 循环码也是线性分组编码. 那这里循环冗余码就是循环码, 汉明码就是线性分组编码. 汉明码是纠错的产物, ECC用到, 通信很少用, 但是汉明的理论很重要, 关于纠错检错而计算冗余的位数, 具体公式本总结不涉及(因为理解了就能推了). CRC主要是检错, 而且效果很好, 通过合理选择多项式能覆盖各种单比特多比特错误. 考虑通信里错了就重发, 所以CRC广泛应用. 具体的多项式探究太复杂, 记住两个点, 一个是含有X+1能检测任意奇数错误. 实际上应用我们抄作业就行了. 然后还有一个校验方法是校验和, 主要是求和高位补到低位, 最后取反. 接收方同样操作得到0就正常.

有了CRC和Checksum, 就能实现之前说的冲突信号比特流判定了. 但是在此之前还有一个问题, 那就是CRC和Checksum都是局部性的东西, 为了这个, 我们必须把数据分开成一块一块地发, 于是就有了帧这个东西. 要做帧, 我们就要保存信息, 具体的帧怎么搞我也不讲了, 讲两个点, 一个是透明性, 透明性要求我们不能改比特流, 但是有帧要区分头尾CRC数据和实际的比特流, 那怎么办呢, 就用转义Escape 就行了.

流量控制

插入一个东西, 流量控制,互联网用的是TCP/IP 协议, 其中上层的针对进程端口的传输层TCP协议是面向连接的, 而IP(网络层)是无连接的Best-effort, 但是MAC的数据链路层又是点对点链路, 你还做了重传(流量控制), 这不是面向连接了吗?  我也不知道怎么理解, 数据链路层如果发错东西了就丢掉就好了, 但是考虑这样就会慢速扩散到上层, 上层知道丢失了才能重传数据, 这样代价可能太大了, 为了实现best-effort, OSI说要不能重发就重发吧. (实际上以太网是完全无连接的, CRC错了就丢掉了). 第二点是如果搞私有ad hoc协议的话, 想要快就要只用下三层, 甚至USB这种岂不是直接物理层, 所以实际保留对流控支持才是好选择, 实际这部分在802 Ethernet里是体现在LLC链路逻辑控制子层里面的, 有控制字段来要求数据链路层提供流控服务, 但是TCP/IP用的时候又没用到, 所以支持TCP/IP的设备又不需要具体实现这个LLC层, 说不定在adhoc上有用, 毕竟Ethernet也并不总是服务于TCP/IP协议的.

针对帧的重传机制, 提出ARQ 自动重传请求, 涉及停止等待, 就是每个都等ACK, 非常慢, 直接讲窗口吧, 回退N帧是接收方没收到一个就阻塞在那里, 往后的都要重传, 选择性重传是TCP那种收方缓存的方案. 到这里讲完了DLC数据链路控制了. (实际上Ethernet的数据链路层并没有流量控制，所以我们说 OSI 这个东西只是空有理论，不搞实践，一只靴子高高挂起，根本不落地).

HDLC 和 PPP （扩展）

除了Ethernet, 还有HDLC和PPP协议用于DLC, HDLC实现的是可靠的面向连接的数据链路层, 用了滑动窗口, 帧有序号. PPP后来也是实现在Ethernet层之上的一个中间层，其子层LCP是链路控制, AP是鉴别, NCP是网络控制. PPP没有用滑动窗口, 但是有ISP服务器和拨号用户之间的一个逻辑连接(这个叫数据链路), 实际连接的保证已经到应用层了. PPP的设计（1999）是在全双工网口即100Mbps RJ45出现（1992）之后，这时候普遍的局域网交换机也不用CSMA/CD 来检测冲突了，同样为了简单起见，PPP约定在全双工网络上提供支持，也就不用约定冲突检测的手段。但是既然可以通过over Ethernet 实现兼容，那PPP也没有必要做冲突检测了，PPPoE提出主要是为了让Ethernet支持AP等功能，PPPoE一开始是用在ADSL非对称用户数字线路上的，电话线路（接口4条线都是备用的）是全双工的，两路话音双绞线4芯，ADSL技术通过频分实现复用能用来上网。

继续补充, 以太网best-effort够用是基于他的有线链路稳定的基础上的. 我们实际上在信道质量差的无线网上是在数据链路层实现了可靠传输的, 这也是上面说的防止错误积累到上层. 这种区别对待的专家系统是很常见的(if决策).

解决冲突

还是讲回来我们搞CRC解决的那个多路访问冲突检测的问题, 我们实际是怎么检测的呢?  这是在半双工网络里, 我们直接一边往铜线给模拟信号, 一边检测模拟信号, 然后你一直比较是不是正在发的数据就行了, 这样实现也只用一些数字电路组合逻辑就行了吧. 这种方案不用ACK, 很方便. 涉及一个计算问题,  信号有传播时延, 保证在帧发送的同时我们能监听到最晚的冲突信号到达, 就会限定帧的长度最小值. 我们具体计算是选了局域网的5.12km有效长度倒推定下了帧长度至少512bits. 具体推导要专题复习了. 这个方案叫做CSMA/CD, 冲突检测. 无线的时候不能用了, 因为存在一些问题, 然后又引入了CSMA/CA冲突避免, 那个有竞争窗口和ACK, 还有分配向量让别人别发数据, 具体的我也不想看了，不过今天我们已经大部分的网用的物理全双工连接不用这个机制了. 总结一下, 这里我们采用冲突重发和错误丢弃的方法来实现差错控制. 当然无线的还是要用 CA 的，如果你购买一个无线网卡，说不定就能看到 CSMA/CA 字样出现在包装背后的规格说明上，看来计网这两层他的确不是白读的，至少能玩明白个包装纸。

非广播互联

到目前讲到的还是基于上面说的那个一层Hub设备, 他等于一个中介, 但是数据链路层实际发生在计算机的NIC网络接口卡里, 接下来引入一个二层设备, 也就是二层交换机, 他本质上也是一个计算机, 所以他也有NIC. 集线器的问题是他只能广播. 不过我们现在也只能广播, 为了能实现和特定的人说话, 基于解决错误检测的帧添加一些信息, 就能实现指定发收设备了, 这里我们添加的信息就是硬件地址. 在以太网里面, 这个地址叫MAC地址, 多路访问地址或者媒体访问地址. 为了方便, 交换机只用了一个学习发送者地址和端口的机制, 只要发送过帧给交换机的设备的MAC地址和端口将被记录在交换表里. 这是为了减少交换的性能损失, 首先必须基于对原来的广播方式的支持, 因为电脑并不需要知道交换机的硬件地址, 他只需要知道接收方的硬件地址, 但是他发给接收方的帧要能被交换机偷听,而且我们具体的网络连接并不总是星形的, 我们可能会有总线型等连接(总线型实际上泛洪严重), 所以必须仍然基于广播来传送帧. 我们将在三层路由上看到完全不一样的转发机制.( 另外还有多播和广播帧, 多播必须要在网络层讲, 这是因为硬件地址的多播是和IP的组密切相关的, 我认为MAC多播要自顶向下才能讲明白.  当然具体交换机还有很多扩展功能比如什么VLAN技术之类的.)

物理层总结说过交换技术无处不在, 这里, 可以发现以太网的数据链路层的交换技术也是使用了数据包/分组交换方法的即只指定目标地址和发送地址, 中间的寻址由中间设备完成, 不过实际上二层只是简单的广播而已(所以要避免做环路引发广播风暴), 三层才涉及路由技术技术.

为什么我们要用分组交换或者说一个无连接的方案呢？这是因为计算机里面用到通信链路的情况常常都是突发性的，并不是长时间连续的，建立连接的过程可能都足够完成一次数据传输了，以及维持一个连接也浪费链路，那就必须时不时地拆除电路了。

实际上在以太网这种分组交换技术之外还有一种虚电路技术, 虚电路的要点是实体电路存在环, 虚电路会有机制决定路径, 比如帧中继协议, 但是这个过时了

我们之后会讲一个很好用的虚电路模式ATM异步传输模式做的过时的异步传输网络ATM网络，如果你上中国电信 ChinaNet 的官方网站，就能看到这个 ATM 网络的字样出现在介绍骨干网 Backbone 的网络协议上. 我们上面讲解Ethernet的整个构建过程的时候我们是从解决问题直接给出一种方案来的, 实际上具体设计的话每一步都可能出现多种方案, 需要决策选用哪一种, 这种实际的先丰富的理论再实践的视角和我们刚才的简单的视角是不一样的.

回顾我们刚才所说的Ethernet, 我们可以想到, 分组交换实际上是无连接的, 这个就是常见的一个词尽最大努力交付Best-effort, 我们做的网络实际上是广播的, 就算是交换机, 也是偷听所有的帧, 然后实现广播或选择性发送出去(如果学习过的话).

这样的网络很明显是不可靠的, 发送方根本不知道能不能到达, 嗯发就完事了.

回想我们物理层的打电话要建立线路的过程, 那个就算可靠的网络了, 因为如果电话没有接通, 你就知道你说话也只有接线员能听见.

二层交换机还有一个点没有说, 以上的视角基本都是小局域网的视角, 事实上如果我们做一个广域网, 就涉及到两台交换机之间一个链路传输多个数据的问题, 即两个局域网之间只有一个链路时常见的情况, 这就涉及多路复用了, 以太网交换机采用的是异步的TDM, 也叫ATDM/STDM, 统计时分复用. 其他技术这里不说多了.

马上可以想到CSMA不就是TDM的一种吗, 的确. 但是CSMA是从单车道完成双向来车的问题(炸车), 这里说的TDM是完成单车道过多辆车的问题. CSMA两边信息不对称, 存在博弈。

长距离光纤

所以我们回来做广域网了. 考虑我们还在10Mbps的半双工网络时代, 这个时候你会发现我们的Ethernet局限性太大了, 首先我们设计的时候要解决冲突, 引入了CSMA/CD, 但是为了能在发完帧之前检测到冲突的传播时延, 我们限制了五千米下的512bits的最小帧长度, 这太离谱了吧, 也就是距离越长, 我们的帧长度就越大. 而且本来也只规定了最小帧, 实际的帧长度是变长的, 为什么讨厌长帧呢? 这里涉及到平等的问题。

考虑你是ISP（互联网服务供应商）, 你为好多客户提供了互联服务, 但是每个用户都想要尽快的速度, 在城际的交换机 TDM 时沦为了排队抢先了, 慢了1微秒就等一年…这样肯定不行. 我们在操作系统里实现作业调度的时候是通过分片执行的, 给用户一种大家在并行执行的假象. 这也是我们想要的. (这里不涉及限速部分, 讲限速必须讲PPPoE以及宽带接入服务器BAS和网络层的路由器).

目前的铜线半双工必须要用CSMA就有局限性, 而且铜线本来长距离衰减和干扰就很烦. 那就不用铜线了, 我们寻找新的介质光纤.  之前说的WDM分粗的Coarse和稠密的Dense, 还有一种光纤时分复用的技术SONET, SONET本来是利用光实现通信的一个网络模式, 后来扩展变成一个中间层了, 因为你局域网用了Ethernet, 广域网应该也兼容Ethernet才对. 所以SONET就演变成兼容各种数据链路协议的一个翻译而已. WDM也是这样.

然后我们讲曾经投入使用的一个网络叫ATM网络, 异步传输模式网络(注意这个是和LAN内的Ethernet技术并列的一种网络，我们讲他只是为了了解虚电路的存在，实际上我们已经不用这个东西了，但是这个可以作为一个学习的点提供解决一些别的问题的思路), 我们现在想要在光纤上建立一个可靠的二层, 点对点虚电路是很稳定的方案.

还是说一下为什么要用有连接的吧, 当时我们在骨干网希望能最大速率提高支撑服务。

我们学过网络层知道为了避免浪费和造成网络拥塞, 我们TCP/IP判断不可达是使用TTL限制和跳数为零未到达才返回不可达的. 在此时的低速骨干网我们不希望造成这种情况,  一个无效的帧飘散很占用通道和交换机的处理资源. 所以希望还是用有连接的网络. 比如打电话说了一大堆最后对方都收不到.

我们指定了 VirtualPath-VirtualCircuit 两级路径（和进程-线程的级别类似）, ATM交换机实现路径的路由和交换(通过路径表), 这样一旦连接建立了, 也不需要物理地址了. 建立连接的控制信息叫做信令, 和之前有线电话的过程差不多, ATM交换机会涉及路径的建立问题, 解释了ATM交换机昂贵复杂. 为了实现刚刚说的异步时分QoS网络质量管控, 我们限定ATM帧是定长的, 其中头5bytes, 数据48bytes, 共53bytes, 比Ethernet 的64bytes小, 这个帧结构叫做信元Cell, 因为他是固定的, 小室能体现这一点区分以太网帧. ATM成为骨干网的好选择, 但是非骨干部分是Ethernet的, 所以要在骨干网完成一个转换. 涉及混合体系结构和局域网仿真LANE, LANE就是让ATM交换机假装自己是以太网二层交换机,骨干网内全是ATM交换机, 骨干网内流通完到出口的时候又转回普通的以太网帧了, 也就是骨干网有连接, Ethernet整体还是无连接, 又是一个中间层的思想.

不过好景不长, 自从有了千兆和吉兆以及全双工技术之后, 我们在骨干网采用超高速率网, 这样 Ethernet 的best effort 都够用了, ATM又贵, 也就面临危机了.

然后是 Real World 部分, 这里篇幅主要讲CSMA去了, 实际上我们有两条线的全双工RJ45很久了, 都不用CD了…. 无线的网由于圆形区域的隐藏站与暴露站的问题导致无法正确监听不能用CD, 就需要CSMA/CA技术, 具体这里不讲了. 主要是串一下复习.

  所以讲了这么多都是没有用的，心态崩了, 实际上的以太网数据链路层日常就是出错了就丢, 不管什么帧都全部当广播发, 收到了再丢….实在是一个看起来很奢侈用起来却很好用的暴力美学。当然涉及到一些特殊情况这样搞可能弄瘫痪整个网络，实际的二层交换机也是可以配置一些机制来减少不必要的无效帧飘散的。

数据链路就这么多, 接下来的网络层和传输层涉及的算法比较多, 串讲的方法就不涉及具体内容了, 因为还要搞专题复习的. 从部件在整个系统的角度和整体上去观察一个东西的确能更加清楚他是什么, 但是涉及具体的每一个小点, 都是好多研究弄出来的. 很难一两句话去概括.

补充一个东西我觉得值得了解，用于Ethernet 的 RJ45和用于电话的RJ11都是做了多个线头，的接触点

但是实际用只用一两个，这一点是留冗余方便未来升级或者添加功能或者故障时保障传输。

USB3.0 兼容2.0则是套壳，做了一套2.0 4接触口和3.0 6接触口，多亏2.0的时候横向留了一些空间放第二套接触点。

逻辑地址

这次我们从网络层开始讲了，还是按谢希仁书来吧。

上回说到我们构建了一个下两层，这个下层的特点是，通过物理地址寻址, 实际传输帧是通过广播，然后他具备一些校验机制（CRC），能够 best effort 传送数据（retransmission, 这个主要是指针对冲突的,而不是收没收到的），而且我们已经能够进行局域网和广域网通信了（当然实际上并不是这样自底向上的思路的，基本是同步设计出来的）。

接下来我们出现了问题，我们希望建立一个和硬件地址无关的东西，思想实验很容易想到，可以通过一个 hashmap 来匹配一个假地址（逻辑地址）和一个物理地址，只需要我们分配这个逻辑地址的时候就填充我的 hashmap 就行了。这样我们就讲完了 DHCP 地址分配了，这个 hashmap 的组件则是 arp 地址解析协议。

ARP 寻址协议

然后就是网络层的构建，我们从逻辑地址开始做，有了前面的基础，直接套娃式的加一个 header 就行了，这样我们的 packet 就能辨析逻辑地址了。然后每台计算机都要具备 ARP 组件来完成寻址，这个东西就是 arp 表，所有的节点（包括路由器都要有 arp 表）。

但是我们还没有决定怎么管理这些 ip 地址，除了简单的手动设置，实际上很简单，我们可以做一个 CS 结构，在网络中设定一台服务器，就叫做 dhcp 服务器，他会维护一个地址池，他本身则需要作为一个固定 ip 地址可供其他设备访问，就是我们说的网关了，这一点很重要，如果我们不手动配 ip，就必须由网关指定我们的 ip 地址。那么这个固定 ip 地址怎么去获取呢？很简单，如果有人需要ip地址，他需要发一个dhcp发现请求广播到网络中，然后他本身又还没有 ip 地址，这一部分就必须通过数据链路的 mac 层广播实现了，服务器收到请求后会map 这个 mac 地址到他地址池的一个 ip 地址，然后返一个定向包回去，这样就有 ip 地址了。当然，有些时候每个子网都配备 dhcp 服务器是不现实的，所以可以让某个路由器做代理，去向更上层的dhcp服务器发请求，这样就不用泛滥广播了。（实际上 dhcp 是做在 udp 层上的，这一点很鸡蛋问题，但是没办法， 历史遗留了属于是）。

我们说了 ip 和 mac 要映射起来，那么怎么完成这个映射呢？参照上面 dhcp 的思路，我们要基于之前的物理地址层来做一套东西，这个东西就是 arp 请求和 arp 响应，回想之前说的广播，对我们就直接广播这个 arp 请求，然后谁是相应的就给他回一个包。他建立这个 arp 表。然后就有人说了，如果没有这样的主机怎么办呢？所以有必要定义一套 arp 请求响应的超集，这就是 ICMP ，这个东西能指示终点的可达性，时间的超时性，改路由等东西。像 ping 就是用 icmp 来实现的，注意 icmp 是和 udp tcp 平行的(他作为 ip 数据包的 payload)，然后 ping 里面的 ttl 就是一个允许的最大 hop 数量而已，traceroute 可以用来跟踪所有的 hop 点，这个原理是将 ttl 设置成 1，然后访问的是目标主机，这样到第一个点就会回报终点不可达，然后他再发第二个 TTL 为2 的继续去探（什么 BFS）。

路由这个东西怎么工作我不想讲了，实际就是一些算法策略而已。多播组播也不讲了，因为现在国内的运营商个人家庭宽带实际禁止多播的，IPTV 可能还会用，但是个人应用基本用不到。

NAT

直接讲 NAT 和 V*N 吧，为什么需要 NAT 呢，就是因为 IP 地址不够用，所以他划出了几种不同的地址，基本是内网和外网之分，主要的公网IP地址通过某个组织发放，然后比如一家网络运营商只分配到了1000个ip地址，但是他有10，000个用户，这时候就麻烦了，所以需要一种技术能够隔离开一个内网和外网。

先讲 V*N，为什么在校外访问校内的需要使用 V*N 呢，这是因为校内的很多服务器，网站服务是没有使用公网 IP 的，这不一定是 IP 地址不够用，比如公司等情况，还有一种因素是基于安全考虑，有些东西本来就不需要被外网访问。但是他们有可能需要远程建立这个内网，这就麻烦了，你不可能购买昂贵的物理专线去完成连接（学校教育网南北校区这种不算，这种财大气粗的），所以 V*N 技术诞生了，他通过在公共互联网上搭建一个加密隧道，即一个内网里有一台中断能够访问外网，其余的都可以通过他去访问一个隧道，完成远程内网的搭建。实现也很简单，就是通过一些元信息进行 ip地址替换或者套娃打包(比如把原数据包整个ip包加密打包,即 ip 地址也不会被别人看见, 保证了无法伪装连接进入内网)都可以。V*N 技术和某个技术不是同一个东西，这里不详细说了。

但是还有一个问题，内网设备太多了，他们想要和外网通信怎么办，这次不是想和远程的内网通信了，这样也很容易思想实验，只需要让有公网ip的主机作为 NAT 路由器,然后他维护一个表格实现转换就行了. 但是这里涉及一个问题就是多对一的情况我怎么知道哪些包是给哪些包的呢？所以这样的 NAT 没用，只能宏观上也时分多路，这下一次只能指定一台电脑去通信了，别的不能同时发接包，不然就不知道传给谁，所以新版的 NAT 利用上传输层的 UDP 和 TCP 的端口号，由于端口号可以实现多对多的模式，这样就能实现通过代理人（NAT路由器）对外通信了。

内网穿透

然而 NAT 有一个问题就是主机无法做服务器，有了多对多的 IP：port map 为什么不能实现呢？首先我们要清楚 nat 是怎么分配端口号的，我们必须要让内网主机向外发送网络连接请求（low level 看到的就是一个对外的 ip packet，但是 src ip addr 是内网地址）然后NAT路由才分配一个端口号并加到 map 里面。

由于我们面向实用速通，这里有必要详细讲解如今网络运营商提供的NAT的不同分类，以及网络穿透等概念还有NAT P2P 实现原理。

NAT 又分为 Cone 型和 Symmetric 型。我们下面具体讲解，但是注意下面说的都是NAPT，即带 port 的NAT，原始 NAT 的缺点我们说过了，所以 Real world 已经没有这个东西了，如果配置一些 adhoc 网络可能会用但是我们不讲。

补充一个点, 就是我们说 nat 的时候不说这些 cone 和 symmetric, 所以读完本文起码要知道 nat1 nat2 nat3 nat4 分别是什么, 他们依次是 full cone, ip 受限 cone, port 受限 cone, symmetric.

我们对外产生一个连接之后绑定一个 ip：port 对给一个连接，如果此时内网主机又产生一个连接， 那么路由器是再分配一个端口号还是维系用原来那个端口号呢？这就是区分 cone 和 symmetric 的要素了，cone 就像名字那样是一个锥地保留一对多，即内网主机分配一个 ip：port 对完成全部对外连接， symmetric 则是对等的产生新的 ip：port 对。这个东西怎么影响我们的 P2P 呢？我们知道 P2P 需要双方都做服务器（请注意单方请求建立连接之后的双方通信不属于P2P，这样就是集中式的了，等价于网盘，集中式IM 而不是 P2P 下载），而 Nat 的这个特性导致了无法响应外部请求，必须先内部发请求才能建立出对外连接，这样对方知道了这个 ip：port 对才能以这个为目标主机发送一个请求，所以理所当然我们想到用一个公网主机做总结来记录这个 ip：port 对，这样首先双方都向公网主机 register 自己的 ip：port 对，然后公网主机分发这些信息出去，这一点是可以接受的，因为试想实现一个 p2p 资源分享系统也本身就需要注册各主机的分布信息和公网ip地址，P2P im 同理，不可能能够直接知道对方ip地址。

这时候就又有一个安全问题了，如果提供了锥形nat，似乎就会很危险，因为本来建立的是对某个目标的连接，现在允许其他主机通过这个ip：port 对连接进来，所以nat cone 型下面又有 ip地址限制型和端口限制型，禁止其他我没有主动请求过的主机ip或端口通过该连接接进来。

然后就讲到内网穿透了，首先明确一个点，家用路由器本质上都是 nat 路由器，他经过运营商的一个 nat 之后再做了一层 nat，所以内网穿透实际上穿了好几层了属于是。

先考虑最简单的情况，只要有一方是公网不管是限制ip还是限制端口都不怕，考虑一方nat是cone限制型，我们让中介server承担这样的角色，先让A机（内）B机（公）建立 A《-》server（注册）B《-》Server，然后此时cone原因我们A的地址已经公开了，但是B（公网ip）还不能访问A，我们再让A机发一个对 B 机的请求（这是为什么需要B机公网，不然A无法向B请求，又是鸡蛋问题），这样B机就能访问A机了，同理。这种方法就叫做反向连接技术（connection reversal）。

但是我们一般的都是双方内网的，所以就需要打洞技术了。最轻松的情况是双方都是 full cone，即没有任何限制，这样register之后就允许互相请求访问了。但是实际上会有限制，需要让 nat 路由认为我是访问过对方的才能接受对方来包，很容易想到 A B（都是cone nat）同时建立请求就行了，A 请求 B的时候，B也请求A（as server），这时双方的 nat 都会无视对方发来的包，但是会响应这边发出去的包，于是在原来的 ip：port对的许可ip或者port表下添加一个条目，这样之后双方再请求，就成功通信了，然后双方就能做为网络上的服务器继续服务其他打洞（链式反应）。

当然具体的还要分同一个 nat 和不同 nat 的情况，同一个 nat 下可以通过一些判断建立内网连接，这里就不讲了。上面讲的P2P打洞实际是基于UDP的，为什么不是 TCP 呢？因为 TCP 涉及连接，主要问题就是 API 上，TCP 无法用一个端口实现两个连接，因为他的 socket api 设定认为需要创建一个连接就用一个端口号，这样就会导致 nat 两套地址出来，所以这里问题就 double了，即我们 A——》B请求之后建立了一条连接，根据 NAT 限制 cone，这时 B的确可以向 A 发包，但是这样就不是 P2P了，必须明确P2P需要如果A没有请求B，B能够请求A，一种思路就是如果 B 需要连接 A，他就向中介请求，让 A 主动连接B，但是这样是搞笑的，因为我们说过了，这是B还没有发送过向 A 的请求，所以A不能连接B。而之前的那个方案两条连接给 nat 提供信息之后，对方再过来的包无法被 socket api 访问tcp api 无法同时接受和发送，当然一些 hook 或者想办法端口复用（和udp一样都是服务套原来客户的端口），但是 NAPT 我们之前说了他要到运输层的了，运输层TCP包头是 四个字节源目port，然后紧接着是4个字节序号和确认号，安全因素我可以设计 nat 路由器让他nat映射表再配上一个序列号，实际也是这样. 部分NAT可以通过syn包打通连接(看nat怎么判断应该关闭一个映射)，部分NAT则需要三次握手TCP连接建立之后才行（这个是NAT协议RFC5382 规定要支持的Simultaneous TCP Open），有的不标准NAT又完全不行，所以笑死，根本打不通。（这部分内容的参考连接：匿名信使：木马隐蔽通信浅谈 - 博客 - 腾讯安全应急响应中心 (tencent.com)， [讨论]关于 TCP打洞的碎事，我提观点，你们喷。-编程技术-看雪论坛-安全社区|安全招聘|bbs.pediy.com, P2P通信原理与实现 - evilpan）.我然后看 TCP/IP 卷一, NAT 的端口映射建立很容易设想, 但是撤销就要一些手段了, 比如计时器(UDP), FIN + 计时器(TCP)等, 所以这里 NAT 映射的行为是不确定的, 他可能会再没有 ACK 的连接上计时清空之后马上就解除绑定了(不过他可能会 probe 一下内网终端看看是不是还在持续发送, 只不过是外网超时了), 所以一个方案是同时发起连接(SYN), 然后对方返回(SYN+ACK), 即内网到 nat 总是比外网过来要快的, 所以我打通洞之后, 外网包才到达, 就能进来了. 然而还是有可能有这个时间差问题, 最后结果是会有一个连接的 SYN 不能穿过(这边还没打通),  但是还是建立起了一个连接, 实际 NAT 规定(RFC5328) 可能会需要NAT设备支持延迟丢弃, 这个是保证 simultaneous tcp open 的规定, 即等 6s 中如果有打洞过来了, 就不丢弃. (什么cone 复用端口, 不是很理解!)

传输层

讲了这么久 napt 这个跨传输层的东西，接着讲传输层，传输层的本质不过是应对现代操作系统的多进程时间片复用模型而提出的又一层套娃东西而已. 我先一笔带过 TCP,因为TCP这个东西做了很多内容,实际是现代很多网络引用的基础,但是我们定制的时候一般不做 TCP,不然就要对抗他 kernel 层实现好的东西(除非定制驱动模块像 BBR 那种). 定制 UDP而不用 TCP 的原因看我的另一篇笔记讲 TCP 拥塞控制的, 里面讲了为什么要基于UDP定制用户栈协议.

我就讲 UDP 的,UDP 是不基于连接的,所以他可以一对一一对多等,实时应用不管拥塞的都很实用. 但是他没有拥塞控制(拥塞控制见另一篇笔记). UDP 头也很简单,就是端口号,长度,校验和, 值得注意的是这里的检验和是包括IP地址(这个nat要注意)头部以及 payload 的校验和 while ip 校验首部 ttl 那些但是没有ip地址, 实际上无非是分工而已,至于为什么IP的校验要放到transport layer,这一点试想一个 IP 层的 middle man  attack 马上就能理解了!端到端的transport layer 做这个校验更加安全, [e2e] purpose of pseudo header in TCP checksum (postel.org)这里有引用设计tcpip的人的解释. 然后如果端口号非法, 目地应该返回一个 ICMP 不可达,这个 ICMP 之前说了可以认为是平行(或者先于)于 UDP TCP 的.

域名与 DNS

至此所有的 TCP/IP 梳理也过了一遍, 接下来是再上一层, www 这个东西! 就是大名鼎鼎的 DNS! 主要是理解 DNS 缓存,递归查询和迭代查询. 然后重要的是 DNS 本身一般是通过 UDP 来传输的(不用握手开销, 不负责拥塞控制,因为 DNS 都查不到也不用上网了), 如果查询的结果很大, 可能会升级到 TCP. 下面主要讲解配置网站时可能遇到的知识点.

首先是 A 记录和 AAAA 记录, 这个东西是记录一个 ip 地址, 比如使用 nslookup, 然后查询 A/AAAA, 请求一个域名, 这样查询返回的就是一个 ip 地址. 随后终端就可以做 域名到 ip地址的绑定(实际是本地 dns 缓存). 然后是 CNAME 记录,记录的是一个 canonical name 的别名. 就讲这两个了.

然后是 DNS 查询的过程,首先全球共有 13 个根服务器, 然后近到本地 Isp 会配置多个缓存服务器(DHCP分配的 dns 就是 isp 提供的缓存服务器).终端设备进行 DNS 查询的时候, 首先是本机缓存,然后是 host文件(本质是user define), 如果都没有就会到(网络配置)指定的 DNS 服务器去查找, 比如是 a 服务器,那么就会在 a 的服务器去查询一个请求, 比如查询 xx.com, 如果 a 缓存了这个记录, 就返回了, 如果没有这个记录或者缓存过期, 他就会进行递归查询或者迭代查询, let 递归, 这样任务递归委托到 ISP 的上一层 DNS 服务器,本质还是一个缓存, 如果还是没有, 就会去请求13台根服务器中的一台, 根服务器不可能进行递归查询(性能问题), 所以他只会查询到顶级的, 比如 com 服务器, 而 com 服务器会有很多台,这些是授权服务器来的, ISP再向任意一台发查询请求, 之后如果还有多级的依次查询, 不然就查到了返回. 所以说你购买域名之后, 需要配置 A 记录和 CNAME 记录, 域名提供商就要把这个记录给添加到顶级域名的数据库里, 然后访问一会后等待全世界各级缓存超时更新之后就绑定好了你的域名. 这就是为什么顶级域名要这么多钱, 因为要维护全世界的顶级服务器(虽然就十几台), 而且很好理解为什么这些一定是迭代查询, 因为他们千万亿级高并发的.

CA 与 TLS

之后是到了现代网络,我们要讲一下安全, 先从证书开始, 我们需要认证一些网络服务器的安全性和真实性, 这就需要一些证书. 非对称加密这个数学课接触过了,这里不详细说了. 很理所当然的我们想到像 dns 查询那样构建一些根证书颁发机构, CA, 然后让浏览器和操作系统等出厂自带这些根证书颁发机构的证书(公钥), 从而保证对 CA的访问是可以认证的, 即你访问CA的时候那个非对称的公钥一定要和我出厂自带的那个吻合, 不然之后的 AP(鉴权)过程就不用做了(全是不安全的).

然后就是具体分层实现了,下层认证接入有 WAP 等. IP层有 IPSec, 运输层有 TLS, 应用层比如 DNSSEC… 我们主要讲 TLS, TLS 是 transport layer security 的缩写, 为什么要做到 transport layer , 这个其实和 pseudo header 是异曲同工之妙的, 因为我们必须保证 end-to-end 的安全, 这个当然就包括端口的认证, 而不是单验证 IP 地址!

TLS 实现类似于 TCP 三次握手, TLS 同样需要握手而决定一些元信息, 包括密钥, session id 等信息传授, 所以实际的 TCP + TLS 要经三次握手之后, 再进行 TLS 握手, 最后才能传输数据, 而且数据必须是加密的 (当然终端看到的可能会是明文). 所以为什么fiddler 还能抓 https?  https 过 fiddler 会让浏览器显示没有认证? 就是因为fiddler 配置的时候会往操作系统装一个证书, 就把自己变成 CA 了, 然后系统开启代理之后, 浏览器请求获取网站证书(公钥)进行 tls/ssl 认证的时候, fiddler 直接拦截, 并且返回自己的证书, 这样之后的加密全都委托到 fiddler上来了. 当然装了证书到操作系统之后可以拦截涉及系统直接通过底层 tls 的api联网的包, 但是浏览器的不行, 因为浏览器自己实际内置了证书, 直接就提示不安全访问了… 那么科网为什么能保留安全认证呢?这也很简单,,,因为科网又不抓包….他直接全部请求转发, 不涉及偷证书行为.

全四层总结

暂时留空, 先看前面的前二层总结我觉得我说得很好了.

后面的还有 TCP/IP 的具体协议上怎么处理差错流控和拥塞的内容，主要做在这两篇笔记里。TCP拥塞控制及其缺点 与 基于UDP应用层自定义可靠有连接协议_我说我谁呢 --CSDN博客https://blog.csdn.net/u010180372/article/details/119792353