内核版本：2.6.37

主要源文件：linux-2.6.37/ net/ ipv4/ tcp_bic.c

本文主要分析BIC算法实现

======================================================================================================

1. 相关结构体和参数

/* BIC TCP Parameters */struct bictcp {u32 cnt ; /* increase cwnd by 1 after ACKs */u32 last_max_cwnd ; /* last maximum snd_cwnd */u32 loss_cwnd ; /* congestion window at last loss */u32 last_cwnd ; /* the last snd_cwnd */u32 last_time ; /* time when updated last_cwnd */u32 epoch_start ; /* beginning of an epoch */
#define ACK_RATIO_SHIFT 4u32 delayed_ack ; /* estimate the ratio of Packets/ACKs << 4 */
} ;

/* Scale factor beta calculation * max_cwnd = snd_cwnd * beta*/#define BICTCP_BETA_SCALE 1024 /* In binary search ,* go to point (max+min) / N*/#define BICTCP_B 4   /*并不是真正的二分*/

2. 全局变量

static int fast_convergence = 1 ; /* BIC能快速的达到一个平衡值，开关*/

static int max_increment = 16 ; /* 每次增加的MSS 不能超过这个值，防止增长太过剧烈*/

static int low_window = 14 ; /* lower bound on congestion window , for TCP friendliness */

static int beta = 819 ; /* = 819 / 1024(BICTCP_BETA_SCALE) ，beta for multiplicative increase 。？*/

static int initial_ssthresh ; /* 初始的阈值 */

static int smooth_part = 20 ; /* log(B/(B*Smin))/log(B/(B-1))+B, # of RTT from Wmax-B to Wmax 。？*/

/* initial_ssthresh的初始值被设置成2^31-1=2147483647 */

bictcp结构体保存在：

struct inet_connection_sock {...u32 icsk_ca_priv[16] ;
#define ICSK_CA_PRIV_SIZE (16*sizeof(u32))
}static inline void *inet_csk_ca( const struct sock *sk )
{return (void *)inet_csk(sk)->icsk_ca_priv ;
}

============================================================================================================

tcp_is_cwnd_limited的实现没弄明白

/* Slow start with delack produces 3 packets of burst , so that it is* safe "de facto". This will be default - same as the default reordering* threshold - but if reordering increases , we must be able to allow * cwnd to burst at least this much in order to not pull it back when * holes are filled.*/static __inline__ __u32 tcp_max_burst ( const struct tcp_sock *sk )
{return tp->reordering ;
}
/* u8 reordering ; Packets reordering metric */

/* RFC2681 Check whether we are limited by application or congestion * window . This is the inverse of cwnd check in tcp_tso_should_defer*/
/* 返回0，不需要增加cwnd ; 返回1，cwnd被限制，需要增加 */int tcp_is_cwnd_limited ( const struct sock *sk , u32 in_flight )
{const struct tcp_sock *tp = tcp_sk(sk) ;u32 left ;if( in_flight >= tp->snd_cwnd ) /* 不是规定in_flight < snd_cwnd ? */return 1 ;left = tp->snd_cwnd - in_flight ;if( sk_can_gso(sk) && left * sysctl_tcp_tso_win_divisor < tp->snd_cwnd &&left * tp->mss_cache < sk->sk_gso_max_size )return 1 ;return left <= tcp_max_busrt( tp ) ;
}

=============================================================================================================

3. bictcp拥塞避免

static void bictcp_cong_avoid ( struct sock *sk , u32 ack , u32 in_flight )
{struct tcp_sock *tp = tcp_sk(sk) ;struct bictcp *ca = inet_csk_ca(sk) ;/* 如果发送拥塞窗口不被限制，不能再增加，则返回 */if( !tcp_is_cwnd_limited(sk , in_flight))return ;if( tp->snd_cwnd < tp->snd_ssthresh )tcp_slow_start( tp ) ;else {bictcp_update(ca , tp->snd_cwnd ) ;tcp_cong_avoid_ai( tp , ca->cnt ) ;}
}

从以上函数可以看出，BIC的慢启动和reno相同。在拥塞避免阶段，当snd_cwnd <= low_window ，两者也采用相同方法。

只有当snd_cwnd > low_window时，BIC才开始显示出它的特性。

在include/ net / tcp.h中，

/* TCP timestamps are only 32-bits */

#define tcp_time_stamps ((__u32)(jiffies))

 4. bictcp结构体的更新（BIC算法关键）

/** Compute congestion window to use.*/
static inline void bictcp_update( struct bictcp *ca , u32 cwnd )
{/* 31.25ms以内不更新ca！！！*/if ( ca->last_cwnd == cwnd &&(s32) ( tcp_time_stamp - ca->last_time) <= HZ / 32 )return ;ca->last_cwnd = cwnd ;ca->last_time = tcp_time_stamp ;if ( ca->epoch_start == 0 ) /* recording the beginning of an epoch */ca->epoch_start = tcp_time_stamp ;/* start off normal */if( cwnd <= low_window ) {  /*为了保持友好性*/ca->cnt = cwnd ;  /*这样14个以内的ack，可使snd_cwnd++ */return ;}/* binary increase */if ( cwnd < ca->last_max_cwnd ) {  /*上次掉包前一个snd_cwnd */__u32 dist = (ca->last_max_cwnd - cwnd) / BICTCP_B ; /* 四分之一 */if ( dist > max_increment ) /* linear increase *//*dist > 16，处于线性增长阶段，每收到16个ACK，会使snd_cwnd++ */ca->cnt = cwnd / max_increment ;else if ( dist <= 1U ) /* binary search increase *//* dist <=1 ， ca->cnt=5*cwnd，会造成snd_cwnd增长极其缓慢，即处于稳定阶段 */ca->cnt = (cwnd * smooth_part ) / BICTCP_B ; else /* binary search increase *//* 1 < dist <= 16 ，每收到dist个ACK，会使snd_cwnd++，故增长很快 */ca->cnt = cwnd / dist ; } else { /* 进入max_probing阶段 *//* cwnd < ca->last_max_cwnd + 4 */if ( cwnd < ca->last_max_cwnd + BICTCP_B ) /* ca->cnt = 5*cwnd ; slow start */ca->cnt = (cwnd * smooth_part ) / BICTCP_B ; else if ( cwnd < ca->last_max_cwnd + max_increment * ( BICTCP_B - 1))/* 增长率从5/(3*cwnd)~47/(3*cwnd)，snd_cwnd的增长加快*/ca->cnt = (cwnd * (BICTCP_B - 1)) / (cwnd - ca->last_max_cwnd) ;else ca->cnt = cwnd / max_increment ;/* 增长率为16/cwnd ，更快 */}/* if in slow start or link utilization is very low */if ( ca->loss_cwnd == 0 ) {  /* 没有发生过丢包，所以snd_cwnd增长应该快点*/if ( ca->cnt > 20 )/* increase cwnd 5% per RTT */ca->cnt = 20 ;}/* 相当于乘与delayed_ack的百分比，delayed得越严重，则snd_cwnd应该增加越快*//* 这样有无delayed对snd_cwnd的影响不大*/ca->cnt = (ca->cnt << ACK_RATIO_SHIFT) / ca->delayed_ack ;/* ca->cnt cannot be zero */if ( ca->cnt == 0)ca->cnt = 1 ;

}

5. 小结：

从以上函数可以看出，和reno相比，BIC在拥塞避免阶段snd_cwnd增长极快。

当ca->last_max_cwnd - snd_cwnd >= 4 时，snd_cwnd最快的增长率为 1/16 。

而当ca->last_max_cwnd - snd_cwnd <4 时，增长率非常低，可以使当前的snd_cwnd维持很长一段时间，

即以最合适的snd_cwnd发送数据。

这两点使BIC在高带宽、长时延的环境下能达到较高的吞吐量。

1. 搜索阶段

(1) cwnd < last_max_cwnd - 64， 则cnt = cwnd / 16

(2) last_max_cwnd - 64 <= cwnd < last_max_cwnd -4 ，则cnt = cwnd / dist

(3) last_max_cwnd - 4 <= cwnd < last_max_cwnd ，则cnt = 5*cwnd

总体来说，snd_cwnd增长先快后慢，趋于稳定。

2. max probing阶段

(1) last_max_cwnd <= cwnd < last_max_cwnd + 4，则cnt = 5*cwnd

(2) last_max_cwnd + 4 <= cwnd < last_max_cwnd + 48 ，则cnt = 3*cwnd / (cwnd - last_max_cwnd)

(3) cwnd >= last_max_cwnd + 48 ，则cnt = cwnd / 16

总体来说，snd_cwnd的增长先慢后快，越来越快。

=======================================================================================================

来看一下初始化和重置

static inline void bictcp_reset( struct bictcp *ca )
{ca->cnt = 0 ;ca->last_max_cwnd = 0 ;ca->loss_cwnd = 0 ;ca->last_cwnd = 0 ;ca->last_time = 0 ;ca->epoch_start = 0 ;ca->delayed_ack = 2 << ACK_RATIO_SHIFT ; // 默认50%的delayed包
}

bictcp_reset在两种情况下被调用：初始化时（bictcp_init ）、进入拥塞处理时（bictcp_state 状态为TCP_CA_Loss）。

static void bictcp_init( struct sock *sk )
{bictcp_reset( inet_csk_ca( sk) ) ;/* 加载模块时设置了。否则，其值 = 2^31 - 1 */if ( initial_ssthresh ) tcp_sk(sk)->snd_ssthesh = initial_ssthresh ;
}

=============================================================================================================

慢启动阈值调整

我们知道，对一个拥塞控制算法而言，有两个函数必不可少，除了上面分析过的bictcp_cong_avoid（拥塞避免），还有

bictcp_recalc_ssthresh（慢启动阈值重新计算）。RENO只是简单的把发生拥塞时的窗口除以2，而BIC则增加了一些东西。

/** behave like Reno until low_window is reached , * then increase congestion window slowly*/
static u32 bictcp_recalc_ssthresh( struct sock *sk )
{const struct tcp_sock *tp = tcp_sk(sk) ;struct bictcp *ca = inet_csk_ca(sk) ;ca->epoch_start = 0 ; /* end of epoch，平静的日子结束了 *//* Wmax and fast convergence* fast? 好像是更安全点吧。丢包点比上次低，说明恶化，则主动降低。* 丢包点比上次高，则说明更好，当然采用更大的。*/if ( tp->snd_cwnd < ca->last_max_cwnd && fast_convergence )/* 就是last_max_cwnd = 0.9 * snd_cwnd */ca->last_max_cwnd = (tp->snd_cwnd * (BICTCP_BETA_SCALE + beta ))/ ( 2 * BICTCP_BETA_SCALE ) ; esleca->last_max_cwnd = tp->snd_cwnd ;ca->loss_cwnd = tp->snd_cwnd ;/* snd_cwnd<=14时，同reno，保持友好性 */if ( tp->snd_cwnd <= low_window )return max( tp->snd_cwnd >> 1U , 2U ) ;esle/* 就是snd_ssthresh=0.8*snd_cwnd ，很大的一个数，能充分利用带宽 */return max( tp->snd_cwnd * beta ) / BICTCP_BETA_SCALE , 2U ) ;
}

bictcp_recalc_ssthresh做了两件事：重赋值last_max_cwnd、返回新的慢启动阈值。

特别值得注意的是，snd_ssthresh = 0.8 * snd_cwnd 。这个可比RENO的snd_ssthresh = 0.5 * snd_cwnd 大了很多。

所以说BIC能够更有效的利用大带宽。

=======================================================================================================
计算delayed packets ratio

/* Track delayed acknowledgement ratio using sliding window* ratio = (15*ratio + sample) / 16* sample是此时的cnt，而本来的ratio = delayed_ack / 16 * 按如下函数计算后，现在的ratio = (15*ratio) /16 + cnt /16* cnt = cnt - 原来的ratio*/static void bictcp_acked( struct sock *sk , u32 cnt , s32 rtt )
{const struct inet_connection_sock *icsk = inet_csk(sk) ;if ( icsk->icsk_ca_state == TCP_CA_Open ) {struct bictcp *ca = inet_csk_ca(sk) ;/* 作者似乎很注重delayed包对snd_cwnd的影响，要尽量削弱 */cnt -= ca->delayed_ack >> ACK_RATIO_SHIFT ; ca->delayed_ack += cnt ;}
}

在struct inet_connection_sock中，有__u8 icsk_ca_state，表示拥塞控制的状态。

在tcp.h中，

enum tcp_ca_state {TCP_CA_Open = 0,
#define TCPF_CA_Open    (1<<TCP_CA_Open)TCP_CA_Disorder = 1,
#define TCPF_CA_Disorder (1<<TCP_CA_Disorder)TCP_CA_CWR = 2,
#define TCPF_CA_CWR (1<<TCP_CA_CWR)TCP_CA_Recovery = 3,
#define TCPF_CA_Recovery (1<<TCP_CA_Recovery)TCP_CA_Loss = 4
#define TCPF_CA_Loss    (1<<TCP_CA_Loss)
};

============================================================================================================

static u32 bictcp_undo_cwnd( struct sock *sk )
{const struct tcp_sock *tp = tcp_sk(sk) ;const struct bictcp *ca = inet_csk_ca(sk) ;return max( tp->snd_cwnd , ca->last_max_cwnd ) ;
}

此函数在退出拥塞处理时调用，而下面的bictcp_state则是在进入拥塞处理时调用。

static void bictcp_state( struct sock *sk , u8 new_state )
{if ( new_state == TCP_CA_Loss )bictcp_reset( inet_csk_ca(sk) ) ;
}

============================================================================================================

bictcp算法结构体

static struct tcp_congestion_ops bictcp = {. init = bictcp_init ,. ssthresh = bictcp_recalc_ssthresh ,. cong_avoid = bictcp_cong_avoid ,. set_state = bictcp_state ,. undo_cwnd = bictcp_undo_cwnd ,. pkts_acked = bictcp_acked ,. owner = THIS_MODULE ,. name = "bic" ,
} ;

bictcp注册函数

static int __init bictcp_register(void)
{/* bic算法的参数不能太多，多于16个u32 */BUILD_BUG_ON( sizeof( struct bictcp) ) > ICSK_CA_PRIV_SIZE ) ;return tcp_register_congestion_control( &bictcp ) ;
}

OK，关于BIC的代码分析告一段落，接下来看看相关函数是在什么样的情况下，以什么顺序来调用的。

======================================================================================================

BIC函数的调用时机

1. 连接每收到一个ack，则调用tcp_ack

2. tcp_ack会调用bictcp_acked，用来更新cnt和delayed_ack（用来消除delay包的影响）

3. tcp_ack会调用bictcp_cong_avoid，这是分两种情况：

（1）snd_cwnd小于慢启动阈值，处于慢启动阶段，则调用tcp_slow_start

（2）snd_cwnd大于慢启动阈值，处于拥塞避免阶段，则调用bictcp_update来更新bictcp，再调用tcp_cong_avoid_ai

4. tcp_ack中如果检测到丢包，进入拥塞处理阶段，则调用bictcp_recalc_ssthresh来更新慢启动阈值。

5. tcp_ack中完成丢包重传后，退出拥塞处理阶段，则调用bictcp_undo_cwnd来更新snd_cwnd。

快速重传：tcp_ack中的丢包检测，即检测到连续3个重复ACK。

快速恢复：bictcp_undo_cwnd，直接把snd_cwnd更新为max(snd_cwnd，last_max_cwnd)，和掉包前相差不大。

更具体的可以看看tcp_ack（net/ ipv4/ tcp_input.c）。