定义

通常使用五元组来标识一条流。
⼤象流是通过⽹络链路进⾏⼤量的，持续的传递数据的过程。⽼⿏流是通过⽹络链路进⾏少量的，短时间的数据传递过程。
即大速率（占用大带宽），长时的流就是elephant flow ，小速率，短时的就是mouse flow。

举例

发邮件，看⽹⻚，聊微信，这些都属于⽼⿏流。
⽽虚机的迁移，数据的迁移，视频，存储，MapReduce等等，属于⼤象流。也可以按照2/8定律来理解这两类数据流，即20%的⼤象流占⽤了80%的⽹络带宽，现实中可能没有20%的⼤象流，带宽可能也没占到80%，不过整体趋势是这样的。

影响

目前网卡经常基于流进行hash的RSS，会将同一个流分配到同一个接收队列中。
对于DPVS这种网卡队列和CPU绑定的网关产品而言，同一个流会分给同一个线程来处理。如果某一个流是大象流，会将DPVS的某个线程的CPU打满，影响同样给这个线程的老鼠流的处理，造成老鼠流的imiss丢包等。
总结：大象流可能将某CPU打满，影响同样给该CPU的老鼠流。

测量方法

基于sketch的网络测量方法

参考：基于sketch的网络测量方法

解决方法

网络转发芯片进行转发

比如：基于barefoot 可编程交换芯片编程的LB，通过转发芯片进行转发。每个出口带宽达到百G，
这样即使是大象流也应该可以覆盖其带宽，不影响老鼠流的转发。

intel 带有dlb功能的cpu

DLB 介绍

Intel® Dynamic Load Balancer (Intel® DLB) is a hardware managed system of queues and arbiters connecting producers and consumers. It is a PCI device envisaged to live in the server CPU uncore and can interact with software running on cores, and potentially with other devices.

Intel has added a new CPU dynamic load balancer (DLB) to the recently released SOC processor, which can effectively improve the utilization rate of each core when using multi-core CPU for packet forwarding. At the same time, it provides a new solution for the network elephant flow (single stream and large traffic) that the network card cannot handle flexibly. This topic will start with the working principle of DLB and introduce the corresponding software development methods.

解决大象流的思路

硬件队列（类似于软件中的rte_ring）实现包的分发，同时也可以保证包的有序。

这个其中涉及到大象流的识别，以及将大象流引流到指定core。大象流的识别流程如下：

具体实现

老鼠流的处理
大象流的处理

DLB的效果

参考

Handling Elephant Flow on a DPDK-Based Load Balancer:
https://static.sched.com/hosted_files/dpdksummitapac2021/35/Handling%20Elephant%20Flow%20on%20a%20DPDK-Based%20Load%20Balancer.pdf

大象流的危害以及处理相关推荐

老鼠流和大象流：如何检测和监控周期性流量
大多数人习惯于top X:top发送者,top接收者和top协议.因此,从本质上讲,他们正在寻找大象流.虽然这是一种很好的做法,但是老鼠流也非常有趣,因为它们通常会隐藏在噪音中.在网络安全中,噪声对攻 ...
论文总结：Freeway：自适应地隔离大象流和老鼠流在不同的路径上传输
摘要-今天的数据用户之间的网络资源竞争非常激烈,长寿命的大象流和延迟敏感的老鼠流之间的竞争非常激烈.对于这两类流来说,分别实现高吞吐量和低延迟的目标需要妥协,目前还没有成功的研究是因为没有区别对待大象 ...
编程实现路由算法实验报告_lt;中国通信专刊gt; EARS：用于软件定义网络中自动路由的智能驱动体验网络架构...
题目:EARS:用于软件定义网络中自动路由的智能驱动体验网络架构摘要:软件定义网络(SDN)通过将控制平面与数据平面解耦来适应逻辑集中的控制,并提供对网络资源的有效利用.但是,由于传统路由策略依赖于 ...
阿里云飞天洛神2.0：高性能网络软硬一体化技术实践
云网络架构云计算从9年前被质疑为新瓶装旧酒,到经过多年的高速发展,正在成为水电煤一样的基础设施.云网络构建在物理网络之上,为云计算提供灵动.智能的网络连接.云网络的性能和稳定性是云计算的基石. VP ...
Fortinet不断践行安全平台的战略保持长效增长
IDC 曾对全球 TOP 2000 的企业 CEO 做调查,结果显示,全球 2/3 的CEO将数字化转型作为企业战略的核心.特别是在后疫情下,数字化如何帮助企业更好发展,已成为当下关键的发展趋势. 可 ...
《大数据》2015年第2期“研究”——大数据时代的数据传输网
大数据时代的数据传输网孙卫强,胡卫生上海交通大学区域光纤通信网与先进光通信系统国家重点实验室上海 200240 摘要:大数据时代数据传输需求呈爆炸式增长,如何充分利用数据流的新特征,发挥不同交换 ...
中国数据中心行业深度分析
中国数据中心行业深度分析 https://mp.weixin.qq.com/s/GfjhlWVUeDP9ciwa5dw5yA 艾瑞咨询架构师技术联盟今天数据中心(Data Center,简称DC ...
Neutron的SDN化
对于SDN大家估计都耳熟能详,这里首先讲讲虚拟化网络技术故事,当VM技术出现的时候,存储通过本地存储或远端挂载的形式基本没有太大变化,但是网络技术呈现形式一直不断翻新. OVS可以说是一个网络虚拟化里 ...
如果我们能正确预测基本面因子
转如果我们能正确预测基本面因子https://blog.csdn.net/myquant/article/details/86217033作者:石川,量信投资创始合伙人,清华大学学士.硕士,麻省理工 ...

大象流的危害以及处理

目录

定义

举例

影响