IPVS之Bypass转发模式

不同于NAT/DR/Tunnel转发模式，bypass模式不能够通过ipvsadm命令行显示的指定，而是在调度失败之后，可能进入的一种转发模式，由内核自动决定。

对于UDP、TCP和SCTP协议，在调度过程中，如果连接创建失败，例如由于未找到合适的目的调度服务器、内存不足等原因，ignored变量小于等于零的情况发生。其中ignored小于零，表明内存分配失败导致的连接创建失败，此时verdict设置为NF_DROP，结束执行。

如果ignored等于零，表明未找到合适的目的服务器，此种情况下由函数ip_vs_leave进行进一步处理。

static int udp_conn_schedule(struct netns_ipvs *ipvs, int af, struct sk_buff *skb,struct ip_vs_proto_data *pd, int *verdict, struct ip_vs_conn **cpp, struct ip_vs_iphdr *iph)
{/* Let the virtual server select a real server for the incoming connection, and create a connection entry.*/*cpp = ip_vs_schedule(svc, skb, pd, &ignored, iph);if (!*cpp && ignored <= 0) {if (!ignored)*verdict = ip_vs_leave(svc, skb, pd, iph);else*verdict = NF_DROP;return 0;

以下TCP协议的调度处理函数tcp_conn_schedule，涉及连接创建失败的处理与以上UDP协议的处理相同。

 34 static int tcp_conn_schedule(struct netns_ipvs *ipvs, int af, struct sk_buff *skb,36           struct ip_vs_proto_data *pd, int *verdict, struct ip_vs_conn **cpp, struct ip_vs_iphdr *iph)39 {90         *cpp = ip_vs_schedule(svc, skb, pd, &ignored, iph);91         if (!*cpp && ignored <= 0) {92             if (!ignored)93                 *verdict = ip_vs_leave(svc, skb, pd, iph);94             else95                 *verdict = NF_DROP;96             return 0;

以下SCTP协议的调度处理函数sctp_conn_schedule，涉及连接创建失败的处理与以上UDP协议的处理相同。

static int sctp_conn_schedule(struct netns_ipvs *ipvs, int af, struct sk_buff *skb,struct ip_vs_proto_data *pd, int *verdict, struct ip_vs_conn **cpp, struct ip_vs_iphdr *iph)
{*cpp = ip_vs_schedule(svc, skb, pd, &ignored, iph);if (!*cpp && ignored <= 0) {if (!ignored)*verdict = ip_vs_leave(svc, skb, pd, iph);else*verdict = NF_DROP;return 0;

未调度报文处理

如上所述，ip_vs_leave函数负责处理未成功调度的报文。首先通过函数frag_safe_skb_hp安全的获取到目的端口号，四层协议（如UDP、TCP等）的端口号信息的偏移位于IP头部之后，即offset为iph->len，此函数确保无论offset偏移是位于skb缓存的线性区，或者是共享缓存区都可安全的获取到端口号所在缓存的起始指针pptr。

/**  Pass or drop the packet.*  Called by ip_vs_in, when the virtual service is available but*  no destination is available for a new connection.*/
int ip_vs_leave(struct ip_vs_service *svc, struct sk_buff *skb, struct ip_vs_proto_data *pd, struct ip_vs_iphdr *iph)
{__be16 _ports[2], *pptr, dport;struct netns_ipvs *ipvs = svc->ipvs;struct net *net = ipvs->net;pptr = frag_safe_skb_hp(skb, iph->len, sizeof(_ports), _ports, iph);if (!pptr)return NF_DROP;dport = likely(!ip_vs_iph_inverse(iph)) ? pptr[1] : pptr[0];

如果IPVS虚拟服务是使用防火墙标记fwmark设定的，并且报文的目的地址为单播地址，而且此报文不是ICMP报文，其也不是回复方向的报文，即为原始请求报文，符合以上所有的条件，并且内核开启了cache_bypass功能，尝试将报文按照其IP头部的目的地址进行转发。

可通过PROC文件/proc/sys/net/ipv4/vs/cache_bypass修改sysctl_cache_bypass的值，默认情况下为零，即丢弃未找到目的服务器的报文。

    /* if it is fwmark-based service, the cache_bypass sysctl is up and the destination is a non-local unicast, then createa cache_bypass connection entry */if (sysctl_cache_bypass(ipvs) && svc->fwmark &&!(iph->hdr_flags & (IP_VS_HDR_INVERSE | IP_VS_HDR_ICMP)) &&ip_vs_addr_is_unicast(net, svc->af, &iph->daddr)) {int ret;struct ip_vs_conn *cp;unsigned int flags = (svc->flags & IP_VS_SVC_F_ONEPACKET && iph->protocol == IPPROTO_UDP) ? IP_VS_CONN_F_ONE_PACKET : 0;union nf_inet_addr daddr =  { .all = { 0, 0, 0, 0 } };

如果cache_bypass开启，以下创建一个新的连接结构，其中指定连接标志IP_VS_CONN_F_BYPASS标志，表示此链接为一个bypass类型连接，并为此连接绑定IP_VS_CONN_F_BYPASS类型的传输函数ip_vs_bypass_xmit。

        /* create a new connection entry */{struct ip_vs_conn_param p;ip_vs_conn_fill_param(svc->ipvs, svc->af, iph->protocol, &iph->saddr, pptr[0], &iph->daddr, pptr[1], &p);cp = ip_vs_conn_new(&p, svc->af, &daddr, 0, IP_VS_CONN_F_BYPASS | flags, NULL, skb->mark);if (!cp)return NF_DROP;}

以下调用连接绑定的packet_xmit发送函数，即ip_vs_bypass_xmit函数发送报文。

        /* set state */ip_vs_set_state(cp, IP_VS_DIR_INPUT, skb, pd);/* transmit the first SYN packet */ret = cp->packet_xmit(skb, cp, pd->pp, iph);/* do not touch skb anymore */if ((cp->flags & IP_VS_CONN_F_ONE_PACKET) && cp->control)atomic_inc(&cp->control->in_pkts);elseatomic_inc(&cp->in_pkts);ip_vs_conn_put(cp);return ret;}

以上的条件未满足，如果IPVS虚拟服务指定为FTP服务端口（21），但是当前报文的目的端口不等于21，表明为其它的服务，交由linux内核协议栈进行处理。再者，如果当前报文为ICMP报文，返回NF_DROP。

    /** When the virtual ftp service is presented, packets destined for other services on the VIP may get here (except services* listed in the ipvs table), pass the packets, because it is not ipvs job to decide to drop the packets.*/if (svc->port == FTPPORT && dport != FTPPORT)return NF_ACCEPT;if (unlikely(ip_vs_iph_icmp(iph)))return NF_DROP;

如果执行到ip_vs_leave函数最后，将向客户端发送ICMP的端口不可达消息报文。

    /** Notify the client that the destination is unreachable, and release the socket buffer.* Since it is in IP layer, the TCP socket is not actually created, the TCP RST packet cannot be sent, instead that* ICMP_PORT_UNREACH is sent here no matter it is TCP/UDP. --WZ*/
#ifdef CONFIG_IP_VS_IPV6if (svc->af == AF_INET6) {if (!skb->dev)skb->dev = net->loopback_dev;icmpv6_send(skb, ICMPV6_DEST_UNREACH, ICMPV6_PORT_UNREACH, 0);} else
#endificmp_send(skb, ICMP_DEST_UNREACH, ICMP_PORT_UNREACH, 0);return NF_DROP;

Bypass模式绑定发送函数

在创建bypass类型的连接时，函数ip_vs_conn_new调用ip_vs_bind_xmit为新创建的连接绑定发送函数。

struct ip_vs_conn *ip_vs_conn_new(const struct ip_vs_conn_param *p, int dest_af, const union nf_inet_addr *daddr, __be16 dport, ...)
{/* Bind its packet transmitter */
#ifdef CONFIG_IP_VS_IPV6if (p->af == AF_INET6)ip_vs_bind_xmit_v6(cp);else
#endifip_vs_bind_xmit(cp);

如下，根据连接的转发模式，函数ip_vs_bind_xmit为bypass类型连接绑定了发送函数ip_vs_bypass_xmit。

static inline void ip_vs_bind_xmit(struct ip_vs_conn *cp)
{switch (IP_VS_FWD_METHOD(cp)) {case IP_VS_CONN_F_BYPASS:cp->packet_xmit = ip_vs_bypass_xmit;break;

Bypass发送函数

如同所有的转发模式发送函数，首先查找出口路由，与其它模式不同的是，在调用路由查找函数__ip_vs_get_out_rt时，bypass模式指定了IP_VS_RT_MODE_NON_LOCAL标志，即要求查询到的出口路由一定要是外部目的地址。

/*  * Bypass transmitter* Let packets bypass the destination when the destination is not available, it may be only used in transparent cache cluster.*/
int ip_vs_bypass_xmit(struct sk_buff *skb, struct ip_vs_conn *cp, struct ip_vs_protocol *pp, struct ip_vs_iphdr *ipvsh)
{struct iphdr  *iph = ip_hdr(skb);if (__ip_vs_get_out_rt(cp->ipvs, cp->af, skb, NULL, iph->daddr, IP_VS_RT_MODE_NON_LOCAL, NULL, ipvsh) < 0)goto tx_error;ip_send_check(iph);

在报文发送之前，设置忽略禁止分片标志ignore_df，以避免在随后的分片函数ip_fragment中，遇到IP报头设置有DF标志的报文，并且其长度大于MTU，而引发icmp_send函数发送代码为ICMP_FRAG_NEEDED的ICMP报文。最后由函数ip_vs_send_or_cont发送报文。

    /* Another hack: avoid icmp_send in ip_fragment */skb->ignore_df = 1;ip_vs_send_or_cont(NFPROTO_IPV4, skb, cp, 0);return NF_STOLEN;

内核版本 4.15