第三部分： ioctl管理网桥

3.1 通过ioctl系统调用创建网桥

仍然以前的配置作为例，我们分用户空间程序brctl是如何通过ioctl系统调用在kernel空间内创建上述的数据结构。创建网桥，我们不需要预知任

何网络设备信息，因此我们通过ioctl来创建网桥时不应该与任何网络设备绑定到一起。网桥模块为此ioctl函数提供了一个恰如其分的名字

br_ioctl_deviceless_stub。Brctl工具使用的ioctl系统调用最终会调用此函数，它相关代码如下：

[linux-2.6.24.4/net/bridge/br.c]

brioctl_set(br_ioctl_deviceless_stub);

[linux-2.6.24.4/net/socket.c]

void brioctl_set(int (*hook) (struct net *, unsigned int, void __user *))   {

mutex_lock(&br_ioctl_mutex);

br_ioctl_hook = hook;

mutex_unlock(&br_ioctl_mutex);

}

void brioctl_set(int (*hook) (struct net *, unsigned int, void __user *)) {

mutex_lock(&br_ioctl_mutex);

br_ioctl_hook = hook;

mutex_unlock(&br_ioctl_mutex);

}

用户空间程序使用网桥相关的命令来调用ioctl函数时，它经kernel依据命令所属的分类分派到sock_ioctl函数。在sock_ioctl函

数里面，当ioctl命令为SIOCGIFBR，SIOCSIFBR， SIOCBRADDBR

和SIOCBRDELBR，它将ioctl的请求转发到br_ioctl_deviceless_stub函数。

Br_ioctl_deviceless_stub函数代码和分析如下：

[linux-2.6.24.4/net/bridge/br_ioctl.c]

int br_ioctl_deviceless_stub(struct net *net, unsigned int cmd, void __user *uarg)   {

switch (cmd) {

case SIOCGIFBR:

case SIOCSIFBR:

// 这两个网桥命令是比较老式的，我们在这里不作讨论

return old_deviceless(uarg);

// 新式的网桥ioctl命令有两个，添加新网桥和删除现有的网桥

// 需要用户空间提供网桥的名字。

case SIOCBRADDBR:

case SIOCBRDELBR:

{

char buf[IFNAMSIZ];

if (!capable(CAP_NET_ADMIN))

return -EPERM;

if (copy_from_user(buf, uarg, IFNAMSIZ))

return -EFAULT;

buf[IFNAMSIZ-1] = 0;

if (cmd == SIOCBRADDBR)

return br_add_bridge(buf);

return br_del_bridge(buf);

}

}

return -EOPNOTSUPP;

}

int br_ioctl_deviceless_stub(struct net *net, unsigned int cmd, void __user *uarg) {

switch (cmd) {

case SIOCGIFBR:

case SIOCSIFBR:

// 这两个网桥命令是比较老式的，我们在这里不作讨论

return old_deviceless(uarg);

// 新式的网桥ioctl命令有两个，添加新网桥和删除现有的网桥

// 需要用户空间提供网桥的名字。

case SIOCBRADDBR:

case SIOCBRDELBR:

{

char buf[IFNAMSIZ];

if (!capable(CAP_NET_ADMIN))

return -EPERM;

if (copy_from_user(buf, uarg, IFNAMSIZ))

return -EFAULT;

buf[IFNAMSIZ-1] = 0;

if (cmd == SIOCBRADDBR)

return br_add_bridge(buf);

return br_del_bridge(buf);

}

}

return -EOPNOTSUPP;

}

该函数调用br_add_bridge和br_del_brdge函数的实现新建和删除网桥的功能。由于这两个函数所完成的事情刚好相反，在此，我们只讨论br_add_bridge的代码：

[linux-2.6.24.4/net/bridge/br_if.c]

int br_add_bridge(const char *name)   {

struct net_device *dev;

int ret;

// 创建网桥的核心工作，创建一个与网桥同名的网络设备。

// 可以通过该设备分配的IP地址来管理该网桥。 同时该设备

// 是虚拟的设备，它的接收包和发送包处理函数与一般的真实网卡

// 设备不同。

dev = new_bridge_dev(name);

if (!dev)

return -ENOMEM;

rtnl_lock();

if (strchr(dev->name, '%')) {

ret = dev_alloc_name(dev, dev->name);

if (ret < 0) {

free_netdev(dev);

goto out;

}

}

// 向kernel注册该网桥设备，这样在用户空间就以使用

// ifconfig来为之分配IP，或通ioctl来对该网桥添加新的接口。

ret = register_netdevice(dev);

if (ret)

goto out;

ret = br_sysfs_addbr(dev);

if (ret)

unregister_netdevice(dev);

out:

rtnl_unlock();

return ret;

}

int br_add_bridge(const char *name) {

struct net_device *dev;

int ret;

// 创建网桥的核心工作，创建一个与网桥同名的网络设备。

// 可以通过该设备分配的IP地址来管理该网桥。 同时该设备

// 是虚拟的设备，它的接收包和发送包处理函数与一般的真实网卡

// 设备不同。

dev = new_bridge_dev(name);

if (!dev)

return -ENOMEM;

rtnl_lock();

if (strchr(dev->name, '%')) {

ret = dev_alloc_name(dev, dev->name);

if (ret < 0) {

free_netdev(dev);

goto out;

}

}

// 向kernel注册该网桥设备，这样在用户空间就以使用

// ifconfig来为之分配IP，或通ioctl来对该网桥添加新的接口。

ret = register_netdevice(dev);

if (ret)

goto out;

ret = br_sysfs_addbr(dev);

if (ret)

unregister_netdevice(dev);

out:

rtnl_unlock();

return ret;

}

现在创建网桥设备的任务落到new_bridge_dev的身上。New_bridge_dev函数的功能与一般的网卡驱动初化为代码非常类似的。因为这里段代就创建一个网桥设备，从这个层面来说，这段代码也算是驱动代码，结构和真实驱动非常类似。

[linux-2.6.24.4/net/bridge/br_if.c]

static struct net_device *new_bridge_dev(const char *name)   {

struct net_bridge *br;

struct net_device *dev;

// 分配net_device结构，它的priv数据为net_bridge结构体。

// br_dev_setup函数初化了net_device结构的很多函数指针。

dev = alloc_netdev(sizeof(struct net_bridge), name,

br_dev_setup);

if (!dev)

return NULL;

br = netdev_priv(dev);

br->dev = dev;

spin_lock_init(&br->lock);

INIT_LIST_HEAD(&br->port_list);

spin_lock_init(&br->hash_lock);

br->bridge_id.prio[0] = 0x80;

br->bridge_id.prio[1] = 0x00;

….

return dev;

}

static struct net_device *new_bridge_dev(const char *name) {

struct net_bridge *br;

struct net_device *dev;

// 分配net_device结构，它的priv数据为net_bridge结构体。

// br_dev_setup函数初化了net_device结构的很多函数指针。

dev = alloc_netdev(sizeof(struct net_bridge), name,

br_dev_setup);

if (!dev)

return NULL;

br = netdev_priv(dev);

br->dev = dev;

spin_lock_init(&br->lock);

INIT_LIST_HEAD(&br->port_list);

spin_lock_init(&br->hash_lock);

br->bridge_id.prio[0] = 0x80;

br->bridge_id.prio[1] = 0x00;

….

return dev;

}

[linux-2.6.24.4/net/bridge/br_device.c]

void br_dev_setup(struct net_device *dev)   {

// 为该网桥设备随机分配MAC地址

random_ether_addr(dev->dev_addr);

// 初始化dev的部分函数指针，因为目前网桥设备主适用于以及网

// 以太网的部分功能对它也适用。

ether_setup(dev);

// 设置设备的ioctl函数为br_dev_ioctl。下面可以看到通过该ioctl函数

// 来为网桥添加网络接口。

dev->do_ioctl = br_dev_ioctl;

// 网桥与一般网卡不同，网桥统一统计它的数据包和字节数等信息。

dev->get_stats = br_dev_get_stats;

// 网桥接口的数据包发送函数，真实设备要向外发送数据时，是通过

// 网卡向外发送数据。而该网桥设备要向外发送数据时，它的处理逻辑与

// 网桥其它接口的基本一致。

dev->hard_start_xmit = br_dev_xmit;

dev->open = br_dev_open;

dev->set_multicast_list = br_dev_set_multicast_list;

dev->change_mtu = br_change_mtu;

dev->destructor = free_netdev;

SET_ETHTOOL_OPS(dev, &br_ethtool_ops);

dev->stop = br_dev_stop;

dev->tx_queue_len = 0;

dev->set_mac_address = br_set_mac_address;

dev->priv_flags = IFF_EBRIDGE;

dev->features = NETIF_F_SG | NETIF_F_FRAGLIST | NETIF_F_HIGHDMA |

NETIF_F_GSO_MASK | NETIF_F_NO_CSUM | NETIF_F_LLTX;

}

void br_dev_setup(struct net_device *dev) {

// 为该网桥设备随机分配MAC地址

random_ether_addr(dev->dev_addr);

// 初始化dev的部分函数指针，因为目前网桥设备主适用于以及网

// 以太网的部分功能对它也适用。

ether_setup(dev);

// 设置设备的ioctl函数为br_dev_ioctl。下面可以看到通过该ioctl函数

// 来为网桥添加网络接口。

dev->do_ioctl = br_dev_ioctl;

// 网桥与一般网卡不同，网桥统一统计它的数据包和字节数等信息。

dev->get_stats = br_dev_get_stats;

// 网桥接口的数据包发送函数，真实设备要向外发送数据时，是通过

// 网卡向外发送数据。而该网桥设备要向外发送数据时，它的处理逻辑与

// 网桥其它接口的基本一致。

dev->hard_start_xmit = br_dev_xmit;

dev->open = br_dev_open;

dev->set_multicast_list = br_dev_set_multicast_list;

dev->change_mtu = br_change_mtu;

dev->destructor = free_netdev;

SET_ETHTOOL_OPS(dev, &br_ethtool_ops);

dev->stop = br_dev_stop;

dev->tx_queue_len = 0;

dev->set_mac_address = br_set_mac_address;

dev->priv_flags = IFF_EBRIDGE;

dev->features = NETIF_F_SG | NETIF_F_FRAGLIST | NETIF_F_HIGHDMA |

NETIF_F_GSO_MASK | NETIF_F_NO_CSUM | NETIF_F_LLTX;

}

3.2 通过ioctl系统调用为网桥添加端口

仅仅创建网桥，还是不够的。实际应用中的网桥需要添加实际的端口(即物理接口)，如例子中的eth1, eth2等。应用程序在使用ioctl来为网桥增加物理接口，br_dev_ioctl的代码和分析如下：

[linux-2.6.24.4/net/bridge/br_ioctl.c]

// dev 为网桥接口，ifreq 为添加/删除的物理接口的参数

int br_dev_ioctl(struct net_device *dev, struct ifreq *rq, int cmd)   {

struct net_bridge *br = netdev_priv(dev);

switch(cmd) {

case SIOCDEVPRIVATE:

return old_dev_ioctl(dev, rq, cmd);

case SIOCBRADDIF:

case SIOCBRDELIF:

return add_del_if(br, rq->ifr_ifindex, cmd == SIOCBRADDIF);

}

pr_debug("Bridge does not support ioctl 0x%x\n", cmd);

return -EOPNOTSUPP;

}

// dev 为网桥接口，ifreq 为添加/删除的物理接口的参数

int br_dev_ioctl(struct net_device *dev, struct ifreq *rq, int cmd) {

struct net_bridge *br = netdev_priv(dev);

switch(cmd) {

case SIOCDEVPRIVATE:

return old_dev_ioctl(dev, rq, cmd);

case SIOCBRADDIF:

case SIOCBRDELIF:

return add_del_if(br, rq->ifr_ifindex, cmd == SIOCBRADDIF);

}

pr_debug("Bridge does not support ioctl 0x%x\n", cmd);

return -EOPNOTSUPP;

}

这段代码一目了然，通过add_del_if函数来控制网桥的物理接口，该函数的代码和分析如下：

[linux-2.6.24.4/net/bridge/br_ioctl.c]

// br 网桥，ifindex 添加/删除物理接口的index

static int add_del_if(struct net_bridge *br, int ifindex, int isadd)   {

struct net_device *dev;

int ret;

if (!capable(CAP_NET_ADMIN))

return -EPERM;

dev = dev_get_by_index(&init_net, ifindex);

if (dev == NULL)

return -EINVAL;

if (isadd)

ret = br_add_if(br, dev);

else

ret = br_del_if(br, dev);

dev_put(dev);

return ret;

}

// br 网桥，ifindex 添加/删除物理接口的index

static int add_del_if(struct net_bridge *br, int ifindex, int isadd)  {

struct net_device *dev;

int ret;

if (!capable(CAP_NET_ADMIN))

return -EPERM;

dev = dev_get_by_index(&init_net, ifindex);

if (dev == NULL)

return -EINVAL;

if (isadd)

ret = br_add_if(br, dev);

else

ret = br_del_if(br, dev);

dev_put(dev);

return ret;

}

具体的代码在br_add_if和br_del_if中，出于讨论的方便，我们只分析br_add_if函数。

[linux-2.6.24.4/net/bridge/br_if.c]

int br_add_if(struct net_bridge *br, struct net_device *dev)   {

struct net_bridge_port *p;

int err = 0;

// Kernel仅支持以太网网桥

if (dev->flags & IFF_LOOPBACK || dev->type != ARPHRD_ETHER)

return -EINVAL;

// 把网桥接口当作物理接口加入到另一个网桥中，是不行的。

// 逻辑和代码上都会出现 loop

if (dev->hard_start_xmit == br_dev_xmit)

return -ELOOP;

// 该物理接口加绑定到另一个网桥了。

if (dev->br_port != NULL)

return -EBUSY;

// 为该接口创建一个网桥端口数据，并初始化好该端口的相关

// 数据，详情可参阅该函数代码。

p = new_nbp(br, dev);

if (IS_ERR(p))

return PTR_ERR(p);

err = kobject_add(&p->kobj);

if (err)

goto err0;

// 将该接口的物理地址写入到 MAC-端口映射表中。

// 该MAC是属于网桥内部端口的固定MAC地址，

// 它在fdb中的记录是固定的，不会失效(agged)

err = br_fdb_insert(br, p, dev->dev_addr);

if (err)

goto err1;

err = br_sysfs_addif(p);

if (err)

goto err2;

rcu_assign_pointer(dev->br_port, p);

// 打开该接口的混杂模式，网桥中的各个端口必须处于

// 混杂模式，网桥才能正确工作。

dev_set_promiscuity(dev, 1);

// 加到端口列表

list_add_rcu(&p->list, &br->port_list);

spin_lock_bh(&br->lock);

br_stp_recalculate_bridge_id(br);

br_features_recompute(br);

if ((dev->flags & IFF_UP) && netif_carrier_ok(dev) &&

(br->dev->flags & IFF_UP))

br_stp_enable_port(p);

spin_unlock_bh(&br->lock);

br_ifinfo_notify(RTM_NEWLINK, p);

dev_set_mtu(br->dev, br_min_mtu(br));

kobject_uevent(&p->kobj, KOBJ_ADD);

return 0;

err2:

br_fdb_delete_by_port(br, p, 1);

err1:

kobject_del(&p->kobj);

err0:

kobject_put(&p->kobj);

return err;

}

int br_add_if(struct net_bridge *br, struct net_device *dev)  {

struct net_bridge_port *p;

int err = 0;

// Kernel仅支持以太网网桥

if (dev->flags & IFF_LOOPBACK || dev->type != ARPHRD_ETHER)

return -EINVAL;

// 把网桥接口当作物理接口加入到另一个网桥中，是不行的。

// 逻辑和代码上都会出现 loop

if (dev->hard_start_xmit == br_dev_xmit)

return -ELOOP;

// 该物理接口加绑定到另一个网桥了。

if (dev->br_port != NULL)

return -EBUSY;

// 为该接口创建一个网桥端口数据，并初始化好该端口的相关

// 数据，详情可参阅该函数代码。

p = new_nbp(br, dev);

if (IS_ERR(p))

return PTR_ERR(p);

err = kobject_add(&p->kobj);

if (err)

goto err0;

// 将该接口的物理地址写入到 MAC-端口映射表中。

// 该MAC是属于网桥内部端口的固定MAC地址，

// 它在fdb中的记录是固定的，不会失效(agged)

err = br_fdb_insert(br, p, dev->dev_addr);

if (err)

goto err1;

err = br_sysfs_addif(p);

if (err)

goto err2;

rcu_assign_pointer(dev->br_port, p);

// 打开该接口的混杂模式，网桥中的各个端口必须处于

// 混杂模式，网桥才能正确工作。

dev_set_promiscuity(dev, 1);

// 加到端口列表

list_add_rcu(&p->list, &br->port_list);

spin_lock_bh(&br->lock);

br_stp_recalculate_bridge_id(br);

br_features_recompute(br);

if ((dev->flags & IFF_UP) && netif_carrier_ok(dev) &&

(br->dev->flags & IFF_UP))

br_stp_enable_port(p);

spin_unlock_bh(&br->lock);

br_ifinfo_notify(RTM_NEWLINK, p);

dev_set_mtu(br->dev, br_min_mtu(br));

kobject_uevent(&p->kobj, KOBJ_ADD);

return 0;

err2:

br_fdb_delete_by_port(br, p, 1);

err1:

kobject_del(&p->kobj);

err0:

kobject_put(&p->kobj);

return err;

}

第四部分： 总结

网桥是2层的网格连接设备，它工作在协议栈的第二层。本文以简单的例子作为基础，分析网桥处理报文，更新MAC-端口映射表，和如何控制网桥和端口的功

能。文中帖上了大量的关键代码，并以代码加上注释这种贴近程序员的方式来分析代码。对于缺少kernel网络编程经验的朋友，在某些代码处，写了在背景知

识的分析和解释。