“FCoE全解系列”之增强型以太网技术

FCoE起源于Brocade、IBM和HP提议一个名为FCoCEE (FC over Converged Enhanced Ethernet)协议标准，后来正式改名为FCoE；分别有Cisco、EMC、Emulex、HDS、HP、IBM、Intel、LSI、Marvell、Mellanox、Neoscale、Nuova、PMC-Sierra、Qlogic、Sun和Vitesse共16家公司积极参与。

T11.3-FC-BB-5完成于2009年6月，标准定型。
T11.3-FC-BB-6完成于2009年8月，规定FCoE点到点，端到端模型。

FC-BB-5版本必须要FCF(FC Forwarder可以理解为FCoE交换机)存在。我们原来采用FC的时候，主机的HBA卡可以直接连接到存储控制器的FC口上，支持点对点的连接。

但FCoE必须通过FCoE交换机(FCF)，中间的FSB是为了扩展端口用的，不是必须的。这个FSB是支持FIP(FCoE Initialization Protocol) Snooping的二层设备。FC-BB-6标准后，我们可以点对点组网。当然，也可以支持VN2VN的组网，中间用便宜的FDF设备连接。

什么是FCoE

FCoE(Fibre Channel over Ethernet)是基于以太网光纤通道协议；FCoE是将FC的架构映射到以太网上，基于以太网的成熟、演进快优势，克服FC协议兼容性问题，减少数据中心接口卡和电缆网络设备，FCoE包容FC，保护原有投资。

FCoE就是将FC的内容封装在以太网帧里，让其在以太网中传输。这个以太网(DCE)是无损的以太网，其协议是基于802.1Q作了补充，从而形成的802.1Qxx或802.3。

增强型以太网(CEE/DCE)

FCoE协议和标准的FC一样，要求底层的物理传输时无损失的、无损的以太网保证了FCoE无损失的传输。因此厂商已经开发了针对以太网标准的扩展器，特别是针对无损10Gb以太网的速度和数据中心架构。

这些数据中心架构，Brocade等厂商称之为CEE(融合型增强以太网)，思科称之为DCE(数据中心以太网)。我们统称为增强型以太网。FCoE需要增强型以太网。

FCoE为什么需要CEE

普通以太网都不支持FCoE，因为普通的以太网采用拥塞丢掉重传的机制，但FC说话不能中断，否则吞吞吐吐听不清。因此，必须改造，采用新的流控机制(如PFC、ETS和CN，统称DCB)来保证不丢包，这种改造好的以太网也叫增强以太网或者叫无损(Lossless)以太网，现在也叫DCB以太网。这样的FCoE交换机成本好像并不比FC交换机便宜多少。

FCoE的融合带来布线的方便主要体现在服务器侧。一般数据中心都是大量的服务器，少量的存储。因此，服务器采用CNA网卡连接到FCoE交换机上，每台服务器节省一半的连线。一般的FCoE交换机(FCF)也支持FC接口，因此存储采用FC接口连接到FCoE交换机上就可以了。不需要端到端的FCoE连接。因此，存储支持FCoE不迫切。

传统以太网在发生阻塞时会丢包
传统以太网并不关心是否丢包了(除非上层协议手动跟踪和重传，如TCP)
以太网是基于FIFO的机制起作用(FIFO)，存储QoS问题。

增强以太网支撑FCoE的基础特性主要包括以下内容。

全双工
顺序投递
Jumbo帧，每帧最小2.5KB的承载数据

增强以太网的特性如下，在实际增强以太网产品中，并非这些特性都要实现。

PFC(基于优先级的流控)Priority-based Flow Control (PFC、IEEE 802.1Qbb)，按照流量类型优先级启用Pause帧机制

传统的以太网

增强的以太网

PFC基于业务类型优先级启用Pause帧机制，多种类型流量共享同一条物理链路，某一类型的业务引起网络拥塞将被暂停，确保类型业务仍然继续，不会导致一种流量饱和其他类型流量饥饿导致业务中断的现象。

如图传统的以太网如果业务阻塞，将会导致整个链路都阻塞了，其他业务不能在这条链路上运行，而增强的以太网将同一物理链路根据流量类型分割为8个各自完全独立的虚拟通道，根据用户定义优先级分别在每个虚拟通道上启动Pause帧机制，如果一条业务阻塞中断，可以在同一物理链路上运行其他业务。

ETS(增强的传输选择) Enhanced Transmission Selection (ETS，IEEE 802.1 Qaz)，ETS为PFC创建的各虚拟链路进行最佳的带宽分配管理。ETS在各虚拟链路上增加带宽管理。

如图虚拟链路3指派的优先级最高，因此IP流量占用了剩余的带宽，并进一步占用了虚拟链路1的带宽。

DCBX(数据中心桥交换协议)是一个发现交换协议，在交换机和端点设备之间自动交换以太网参数和功能发现，包括检测错误配置，配置远端链路的功能。

如图以太网中的交换机会自动的与附近的交换机或设备进行一些参数的交换。发现以太网中的参数配置等信息。

CN(拥塞通知)Congestion notification (IEEE 802.1 Qau)，拥塞信息通知到该节点边沿，限制带宽。2层次流量管理系统通过通知速率限制将拥塞推动到边沿网络。

因为越到网络中心即图中集成级交换机的网络压力就越大，当网络中某一交换机的网络要发生拥塞时，交换机会向集成级交换机发起CN，集成级交换机通过发送控制帧到2个访问级交换机，要求他们调整他们的流量。这种方法保证了核心网络的完整性，将流控操作影响到引起拥塞的部分网络，更逼近拥塞源头。

FCoE标准协议模型

FCoE协议模型保留了FC-4(高级协议映射层)，FC-3(通用服务层)，FC-2(FC帧)；FC-0(物理接口)和FC-1(链路层)由以太网的物理层和MAC层替换；FC和以太网层之间通过FCoE映射。

在FC网络端，FC结点和FC交换机通过FC端口连接，FC连接包括PN2PF(结点与交换机)和PE2PE(交换机与交换机)。

在FCoE网络(即以太网)端，FCoE结点(ENODE)和FCoE交换机(FCF)在无损以太网上通讯是通过以太网的端口。通过将FC帧封装在以太网帧上的FCoE虚拟连接代替了FC的物理连接。FCoE支持VN2VN(ENODE与ENODE)、VN2VF(ENODE与FCF)和VE2VE(FCF与FCF)。

上图可知，FC协议前端传输是通过FC网络，速率在1、2、4、8Gbps。FCoE前端是通过增强的以太网传输，速率是10Gpbs；FC帧封装SCSI，再有FCoE封装FC帧，最后再被以太网封装就成了以太网的帧，这样就可以在以太网上传输了。FCoE是基于DCB也就是增强的以太网进行传输的，没有TCP/IP开销。

FCoE网络中的端口和FC网络类似，只是叫法不同。
N_Ports(HBA和存储FC前端口)在FCoE中叫做VN_Ports(CNA和存储FCoE端口)
F_Ports(Fabric端口)在FCoE中叫做VF_Ports(FCoE交换机的端口)
E_Ports(FC交换机到FC交换机)在FCoE中叫做VE_Ports(FCoE以太网交换机互联的端口)。

FCoE组网类型

ENODEH1、ENODE H2和FCF A、FCF B都有一条与无损以太网的物理连接，每个ENODE可能会实例多个VN端口与FCF实例的VF端口建立FCoE虚拟连接。

VN2VF网络结构图

如上图红色虚线；这样，通过P2P VN2VF的虚拟连接将无损以太网简化成了FC协议可以在上面操作的VN2VF模式。

FCF A、B、C都有一条与无损以太网的物理连接，每个FCF都会实例多个VE端口与其它FCF的VE端口建立FCoE的虚拟连接。

VE2VE网络结构图

如上图红色虚线。这样，通过P2P的VE2VE虚拟连接将无损以太网简化成了FC协议可以在上面操作的VE2VE模式。

ENODEH1，H2，H3通过一条物理连接与无损以太网相连，每个ENODE会实例一个VN端口与其他ENODE实例的VN端口建立FCoE虚拟连接。

VN2VN网络结构图

如上图绿色虚线。这样通过P2P的VN2VN虚拟连接将无损以太网简化成了FC的P2P协议可以在上面操作的VN2VN模式。中间用便宜的FDF设备连接。

温馨提示：
请搜索“ICT_Architect”或“扫一扫”下面二维码关注公众号，获取更多精彩内容。

阅读量又能说明什么

只专注做一个有情怀的技术分享平台