【原创】IP摄像头技术纵览（七）—P2P技术—UDP打洞实现内网NAT穿透

本文属于《IP摄像头技术纵览》系列文章之一：

Author: chad
Mail: linczone@163.com

本文可以自由转载，但转载请务必注明出处以及本声明信息。

NAT技术的实际需求在10几年前就已经出现，为了解决这个问题，10几年来全世界的牛人早已经研究好了完整的解决方案，网上有大量优秀的解决方案文章，笔者自知无法超越，所以秉承拿来主义，将优秀文章根据个人实验及理解整理汇录于此，用于解释IP摄像头整个技术链路。

　　P2P（peer-to-peer，点对点技术）又称对等互联网络技术，研究该技术的原因在于：首先我们不希望我们的视频数据通过服务器中转，这样容易造成隐私泄漏；再者，如果我们自己是IP摄像头供货商，通过服务器中转的方式也会增加我们的产品成本，毕竟当用户数量非常庞大时，服务器数量以及带宽都是一笔不小的开销。基于这两点，可以说P2P通信方式是IP摄像头实现的最好方式。而P2P通信中最重要的一点就是NAT(Network Address Translation，网络地址转换)穿透。

　　本文主要内容包含：P2P通信与网络设备的关系、不同的网络设备特征对P2P产生的影响、网络地址转换（NAT）的类型、NAT类型的检测方法、协议防火墙的突破方法、隧道技术、对于不同的NAT类型采取的穿透方法。

　　目前P2P通信在穿透上至少存在着两个问题：防火墙穿透和NAT穿透，两者对于网络访问的限制是处于不同角度而实现的，其中防火墙是基于网络数据传输安全上的考虑，其行为主要表现为对网络协议和访问端口的限制，实际上每种限制都包含了两个方向：进和出。而NAT则是基于网络地址转换的实现对内网主机进行的保护，目前来说NAT的存在至少存在以下两方面的意义：解决IPV4地址匮乏的问题和保护网内主机的目的，所以即使将来IPV6解决了IP地址数量上的问题，但出于对内网主机的保护，NAT仍然有其存在的必要。
　　综上所述，要实现一个完善的P2P程序必须至少突破以上两个方面的限制，当然，实际情况会存在一些无法突破的情况，比如双方都是对称型NAT或对称型与端口限制型NAT的通信，对于此类问题在实际开发时可使用服务器转发或代理服务来处理。这篇文章的目的是提出一个能够在两个NAT设备内部的主机间建立直接的Internet连接的方法，同时又尽量不依赖于第三方主机。

1、NAT简介

　　NAT(Network Address Translation，网络地址转换)技术的出现从某种意义上解决了IPv4的32位地址不足的问题，它同时也对外隐藏了其内部网络的结构。NAT设备（NAT，一般也被称为中间件）把内部网络跟外部网络隔离开来，并且可以让内部的主机可以使用一个独立的IP地址，并且可以为每个连接动态地翻译这些地址。此外，当内部主机跟外部主机通信时，NAT设备必须为它分配一个唯一的端口号并连接到同样的地址和端口（目标主机）。NAT的另一个特性是它只允许从内部发起的连接的请求，它拒绝了所有不是由内部发起的来到外部的连接，因为它根本不知道要把这个连接转发给内部的哪台主机。
　　NAT必须考虑路由器的三个重要的特性：透明的地址分配、透明路由、ICMP包负载解析。
　　地址分配是指在一个网络会话开始的时候为内部不可以路由的地址建立一个到可路由地址的映射。NAT必须为原地址和目标地址都进行这样的地址分配。NAT的地址分配有静态的和动态的方式。静态的地址分配必须预先在NAT中定义好，就比如每个会话都指派一对<内部地址，外部端口>映射到某对<外部地址，外部端口>。相反地，动态的映射在每次会话的时候才定义的，它并不保证以后的每次会话都使用相同的映射。
　　
　　最后一个NAT必须实现的特性是当收到ICMP错误包的时候，NAT使用正常的数据包做出同样的转换。当在网络中发生错误时，比如当TTL过期了，一般地，发送人会收到一个ICMP错误包。ICMP错误包还包含了尝试错误的数据包，这样发送者就可以断定是哪个数据包发生了错误。如果这些错误是从NAT外部产生地，在数据包头部的地址将会被NAT分配的外部地址所代替，而不是内部地址。因此，NAT还是有必要跟对ICMP错误一样，对在ICMP错误包中包含的数据包进行一个反向的转换。
　　
　　为了能够进行直接的P2P连接，出现了针对UDP的解决方法。UDP打洞技术允许在有限的范围内建立连接。STUN（The Simple Traversal of User Datagram Protocol through Network Address Translators）协议实现了一种打洞技术可以在有限的情况下允许对NAT行为进行自动检测然后建立UDP连接。
　　
　　UDP打洞技术相对简单，但是UDP连接不能够持久连接。一般地，NAT建了的端口映射如果一段时间不活动后就会过期。为了保持UDP端口映射，必须每隔一段时间发送一次UDP心跳包，只有这样才能保持UDP通信正常。
　　
　　TCP打洞据说很牛，但是没见过具体的实现，本人水平有限，曾迷失在TCP打洞技术实现中，后来直接放弃，专门研究UDP打洞，世界瞬间明亮了。
　　

2、NAT类型及检测

　　
　　通过UDP打洞实现NAT穿越是一种在处于使用了NAT的私有网络中的Internet主机之间建立双向UDP连接的方法。由于NAT的行为是非标准化的，因此它并不能应用于所有类型的NAT。

　　从功能上来说，NAT可以分为：传统NAT，双向NAT(Bi-Directional NAT)，两次NAT(Twice NAT)，多宿主NAT(Multihomed NAT)，但是市场上现在最多的是传统NAT，尤其是NAPT设备，所以本文的穿透也是针对NAPT展开，NAT共分为两大类：非对称NAT(Cone NAT)和对称NAT(Symmetric NAT)。这两大类NAT又可细分为以下下四种类型：

1）非对称NAT(Cone NAT)

a) 全ConeNAT(Full Cone NAT)
　　内网主机建立一个UDP socket(LocalIP:LocalPort) 第一次使用这个socket给外部主机发送数据时NAT会给其分配一个公网(PublicIP:PublicPort),以后用这个socket向外面任何主机发送数据都将使用这对(PublicIP:PublicPort)。此外，任何外部主机只要知道这个(PublicIP:PublicPort)就可以发送数据给(PublicIP:PublicPort)，内网的主机就能收到这个数据包

b) 限制性ConeNAT (Restricted Cone NAT)
　　内网主机建立一个UDP socket(LocalIP:LocalPort) 第一次使用这个socket给外部主机发送数据时NAT会给其分配一个公网(PublicIP:PublicPort),以后用这个socket向外面任何主机发送数据都将使用这对(PublicIP:PublicPort)。此外，如果任何外部主机想要发送数据给这个内网主机，只要知道这个(PublicIP:PublicPort)并且内网主机之前用这个socket曾向这个外部主机IP发送过数据。只要满足这两个条件，这个外部主机就可以用自己的(IP,任何端口)发送数据给(PublicIP:PublicPort)，内网的主机就能收到这个数据包
c) 端口限制性 ConeNAT(Port Restricted Cone NAT)
　　内网主机建立一个UDP socket(LocalIP:LocalPort) 第一次使用这个socket给外部主机发送数据时NAT会给其分配一个公网(PublicIP:PublicPort),以后用这个socket向外面任何主机发送数据都将使用这对(PublicIP:PublicPort)。此外，如果任何外部主机想要发送数据给这个内网主机，只要知道这个(PublicIP:PublicPort)并且内网主机之前用这个socket曾向这个外部主机(IP,Port)发送过数据。只要满足这两个条件，这个外部主机就可以用自己的(IP,Port)发送数据给(PublicIP:PublicPort)，内网的主机就能收到这个数据包

2）对称NAT(Symmetric NAT)

　　内网主机建立一个UDP socket(LocalIP,LocalPort),当用这个socket第一次发数据给外部主机1时,NAT为其映射一个(PublicIP-1,Port-1),以后内网主机发送给外部主机1的所有数据都是用这个(PublicIP-1,Port-1)，如果内网主机同时用这个socket给外部主机2发送数据，第一次发送时，NAT会为其分配一个(PublicIP-2,Port-2), 以后内网主机发送给外部主机2的所有数据都是用这个(PublicIP-2,Port-2).如果NAT有多于一个公网IP，则PublicIP-1和PublicIP-2可能不同，如果NAT只有一个公网IP,则Port-1和Port-2肯定不同，也就是说一定不能是PublicIP-1等于 PublicIP-2且Port-1等于Port-2。此外，如果任何外部主机想要发送数据给这个内网主机，那么它首先应该收到内网主机发给他的数据，然后才能往回发送，否则即使他知道内网主机的一个(PublicIP,Port)也不能发送数据给内网主机，这种NAT无法实现UDP-P2P通信。
　　
类型识别
　　既然有着这些不同类型的NAT，那么我们在实际应用过程中就应该对处于不同NAT类型组合之后的终端给出不同的打洞策略。
　　所以，在给出具体的NAT穿透策略之前，我们需要先识别当前的NAT是什么类型，然后再根据对方的NAT是什么类型，由此得到一个具体的穿透策略。
　　STUN检测流程如下：
　　
　　类型检测的前提条件是：有一个公网的Server并且绑定了两个公网IP(IP-1,IP-2)。这个Server做UDP监听(IP-1,Port-1),(IP-2,Port-2)并根据客户端的要求进行应答。

第一步：检测客户端是否有能力进行UDP通信以及客户端是否位于NAT后？

　　客户端建立UDP socket然后用这个socket向服务器的(IP-1,Port-1)发送数据包要求服务器返回客户端的IP和Port, 客户端发送请求后立即开始接受数据包，要设定socket Timeout（300ms），防止无限堵塞. 重复这个过程若干次。如果每次都超时，无法接受到服务器的回应，则说明客户端无法进行UDP通信，可能是防火墙或NAT阻止UDP通信，这样的客户端也就不能P2P了（检测停止）。
　　当客户端能够接收到服务器的回应时，需要把服务器返回的客户端（IP,Port）和这个客户端socket的（LocalIP，LocalPort）比较。如果完全相同则客户端不在NAT后，这样的客户端具有公网IP可以直接监听UDP端口接收数据进行通信（检测停止）。否则客户端在NAT后要做进一步的NAT类型检测(继续)。

第二步：检测客户端NAT是否是Full Cone NAT？

　　客户端建立UDP socket然后用这个socket向服务器的(IP-1,Port-1)发送数据包要求服务器用另一对(IP-2,Port-2)响应客户端的请求往回发一个数据包,客户端发送请求后立即开始接受数据包，要设定socket Timeout（300ms），防止无限堵塞. 重复这个过程若干次。如果每次都超时，无法接受到服务器的回应，则说明客户端的NAT不是一个Full Cone NAT，具体类型有待下一步检测(继续)。如果能够接受到服务器从(IP-2,Port-2)返回的应答UDP包，则说明客户端是一个Full Cone NAT，这样的客户端能够进行UDP-P2P通信（检测停止）。

第三步：检测客户端NAT是否是Symmetric NAT？

　　客户端建立UDP socket然后用这个socket向服务器的(IP-1,Port-1)发送数据包要求服务器返回客户端的IP和Port, 客户端发送请求后立即开始接受数据包，要设定socket Timeout（300ms），防止无限堵塞. 重复这个过程直到收到回应（一定能够收到，因为第一步保证了这个客户端可以进行UDP通信）。
　　用同样的方法用一个socket向服务器的(IP-2,Port-2)发送数据包要求服务器返回客户端的IP和Port。
　　比较上面两个过程从服务器返回的客户端(IP,Port),如果两个过程返回的(IP,Port)有一对不同则说明客户端为Symmetric NAT，这样的客户端无法进行UDP-P2P通信（检测停止）。否则是Restricted Cone NAT，是否为Port Restricted Cone NAT有待检测(继续)。

第四步：检测客户端NAT是否是Restricted Cone NAT还是Port Restricted Cone NAT？

　　客户端建立UDP socket然后用这个socket向服务器的(IP-1,Port-1)发送数据包要求服务器用IP-1和一个不同于Port-1的端口发送一个UDP 数据包响应客户端, 客户端发送请求后立即开始接受数据包，要设定socket Timeout（300ms），防止无限堵塞. 重复这个过程若干次。如果每次都超时，无法接受到服务器的回应，则说明客户端是一个Port Restricted Cone NAT，如果能够收到服务器的响应则说明客户端是一个Restricted Cone NAT。以上两种NAT都可以进行UDP-P2P通信。

　　注：以上检测过程中只说明了可否进行UDP-P2P的打洞通信，具体怎么通信一般要借助于Rendezvous Server。另外对于Symmetric NAT不是说完全不能进行UDP-P2P达洞通信，可以进行端口预测打洞，不过不能保证成功。

我在家中的NAT类型如下图：

在公司的NAT类型如下图：

我的全部实验主要在家–公司–阿里云服务器–多个朋友家里完成。

3、UDP内网穿透实验

　　通过UDP打洞实现NAT穿越是一种在处于使用了NAT的私有网络中的Internet主机之间建立双向UDP连接的方法。由于NAT的行为是非标准化的，因此它并不能应用于所有类型的NAT。
　　其基本思想是这样的：让位于NAT后的两台主机都与处于公共地址空间的服务器相连，然后，一旦NAT设备建立好UDP状态信息就转为直接通信，这项技术需要一个圆锥型NAT设备才能够正常工作。对称型NAT不能使用这项技术。

UDP打洞的过程大体上如下：
主机A和主机B都是通过NAT设备访问互联网，主机S位于互联网上。
1. A和B都与S之间通过UDP进行心跳连接
2. A通知S，要与B通信
3. S把B的公网IP、port告诉A，同时把A的公网IP、port告诉B
4. A向B的公网IP、port发送数据（这个数据包应该会被丢弃，但是打开了B回来的窗户）
5. B向A的公网IP、port发送数据（这个数据包就会被A接受，之后A和B就建立起了连接）

理论非常简单，所以此处不再贴代码，我的linux代码实现请这里—————————>>>UDP打洞代码下载<<<——————————–。
程序中我调用了readline库函数，所以，编译前请保证系统中已经安装了readline库。
ubuntu安装readline库：

sudo apt-get install libreadline5-dev

实验截图如下（代码有改动，这个是实验中截图）：

程序工作流程说明：
1、在一个开放IP/PORT的主机上运行server程序，并设定监听端口。
2、两个客户端程序分别运行在两个网络环境中，并且使用login 命令登录服务器，登录时需要指定服务器ip信息以及自己的登录名。登录成功服务器会自动推送用户列表到客户端。
3、任何一方都可发起通信，通信时直接输入sendto 对方用户名数据。
4、链接会在第一次通信时建立，链接建立成功后服务器遍失去作用，此时关闭服务器后两个客户端依然能够正常通信。

4、公开的免费STUN服务器

下面的地址不一定管用，可以多试试。

    stun01.sipphone.comstun.ekiga.netstun.fwdnet.netstun.ideasip.comstun.iptel.orgstun.rixtelecom.sestun.schlund.destunserver.orgstun.softjoys.comstun.voiparound.comstun.voipbuster.comstun.voipstunt.comstun.voxgratia.orgstun.xten.com