女

，

山东人

，

工程师

，

研究方向为计算机应用

；

孙大东

(１９８０

)

，

男

，

吉林辽源人

，

硕

士

，

高级工程师

，

研究方向为嵌入式系统网络

；

张明庆

(１９８０

)

，

男

，

黑龙江齐齐哈尔人

，

硕士

，

高级工程师

，

研究方向为嵌入式系统网

络

。

E

‐

mail

：１８９１１７９６４９５＠

１６３畅

com

Design

and

implementation

of

multi

‐

host

interconnection

system

based

on

PCIE

bus

ZOU

Yun

‐

xin

１

，

WU

Ji

‐

j

ie

２

，

WANG

Wei

３

，

SUN

Da

‐

dong

１

，

ZHANG

Ming

‐

q

ing

１

(１

．

Institute

７０６

，

Second

Academy

of

China

Aerospace

Science

and

Industry

Corporation

，

Beijing

１００８５４

，

China

；

２

．６１２０６

People

’

s

Liberation

Army

of

China

T

roops

，

Beijing

１０００８８

，

China

；３

．

China

Electronice

Technology

Group

Corporation

No

畅１５

Research

Institute

，

Beijing

１０００８３

，

China

)

Abstract

：

For

high

‐

p

erformance

computing

network

with

large

bandwidth

，

low

latency

characteristics

，

a

multi

‐

host

intercon

‐

nection

network

switching

system

based

on

PCIe

bus

was

presented

．

Differing

from

the

traditional

high

‐

speed

interconnection

network

，

a

method

for

separation

of

host

and

network

IO

was

used

，

multiple

conversions

of

data

signals

were

avoided

，

network

latency

was

reduced

，

and

the

utilization

of

network

bandwidth

was

increased

，

ensuring

the

high

availability

of

the

network

．

Test

results

show

that

the

system

has

larger

bandwidth

and

lower

latency

．

Key

words

：

PCIe

bus

；

multi

‐

host

interconnection

；

high

bandwidth

；

low

latency

；

switching

system

0

引

言

随着互联网信息技术爆炸式的发展

，

网络的数据量成

井喷式的增加

，

单路服务器千兆的网络带宽已经满足不了

当前信息处理需求

，

光纤卡和

InfiniBand

卡成了当前服务

器的主流网卡

［１］

。

由于需要实现多主机间的互通

，

因此各

主机的高速网卡对内需要挂载到系统的

PCIe

总线上

，

对外

需要连接到高带宽的交换机上

，

如光纤交换机或

Infiniband

交换机

，

这就形成了一个简单的星型交换网络

［２

，

３］

。

由此可

见

，

主机间通信是建立在网卡和以太网基础上

，

数据发送

过程为

：

主机

—

＞

PCIe

总线

—

＞

网卡

—

＞

以太网

—

＞

交换

机

，

数据接

收

过

程

为

：

交

换

机

—

＞

以

太

网

—

＞

网

卡

—

＞

PCIe

总线

—

＞

主机

。

这种高速网络互连的系统存在以下几个缺陷

：

首先

，

数据通信过程中信号在

PCIe

和以太网间经过了多次转换

，

增加了功耗和延迟

；

其次

，

数据通信的带宽受限于网卡

，

没有充分发掘

PCIe

总线的潜能

；

最后

，

交换机存在单节点

故障

，

需要采购冗余交换设备

，

增加了成本

。

本文研究一种基于

PCIe

总线的多主互连系统

，

将主机

与网络

IO

分离

，

并将网卡集成与芯片内部

，

实现主机间

PCIe

信号的高速互连

，

避免数据信号的多次转换

，

降低了

网络延迟

，

增加了网络带宽

，

确保网络的高可用性

。

万方数据