上网行为安全之流量管理技术

流量管理技术博客目录

1.流量管理需求背景
2.流量管理技术
- 2.1传统流量管理技术缺陷
- 2.2传统流控
- 2.3主流的流量管控技术
- - 2.3.1流量检测方法
  - 2.3.2应用检测技术
  - - （1）常用端口检测
    - （2）深度流检测（DFI）
    - （3）深度包检测（DPI）
  - 2.3.3应用控制技术
  - - (1)流量整形技术
    - （2）连接干扰(TCP)/信令干扰（UDP）
    - （3）应用控制技术对比
  - 2.3.4识别控制组网模式
  - - （1）直路串联流控模式
    - （2）旁路干扰流控模式
- 2.4网络流量控制系统
- - （1）流量分类
  - （2）队列管理
  - （3）分组调度
  - （4）流量整形
3.SANGFOR流控解决方案
- SANGFOR流控原理
- - 缓存流控
  - 队列调控（HTB分层令牌桶）
  - 单用户流量的公平调度（UCFQ:User&Fair Qdisc）
  - (1)P2P智能流控技术
  - (2)动态流控技术
  - - 流控黑名单
    - 流控通道匹配过程
    - - 流控通道优先级
4.流量管理应用场景
- 4.1P2P流量控制案例
- - 客户背景
  - 需求分析
  - 配置思路
- 4.2HTTP下载流量控制案例
- - 需求背景
  - HTTP下载流量控制技术
  - - 配置方法
    - 效果展示
- 4.3流量配额案例
- - 客户背景
  - 配置思路
  - 注意事项

1.流量管理需求背景

1、带宽资源被非关键应用大量占用: 单位内部人员上班时间使用P2P等软件下载与工作无关的资源、在线观看与工作无关的视频，导致办公期间带宽严重不足，ERP、邮件、OA、视频会议等系统因为带宽问题响应缓慢，严重影响了工作效率。

2、传统的缓存丢包式的流控无法控制P2P下行流量： P2P流量具有带宽侵蚀性，只要内部有对外P2P请求，即使流控设备能够丢掉部分P2P的下行报文，但是仍然会有大量的来自互联网的P2P下行报文会占满带宽，导致核心业务得不到有效的扩展。

3、空闲时带宽利用率低：为了保障核心业务，往往针对非业务相关但是常用的应用的带宽进行严格的限制，然而，业务高峰期过后，常用应用流量依然被限制在很小的带宽里，导致带宽利用率不高，且用户的使用体验较差。

4、一刀切的流量控制手段，影响员工使用体验：由于我单位的流控策略是配额制，每个员工的上网时长、流量等按配额使用。一旦用量超过配额，将导致网络不可用。不仅影响了正常的办公，还给员工不好的使用体验。

P2P流量占用大量带宽

在众多的网络应用中，尤以P2P应用的带宽侵蚀性最为强烈。
据调查统计，P2P应用对带宽占用比大致是40%~60%，在极端情况下占用比会达到 80%~90%。
同时，再加上其他与工作无关的应用占用了带宽资源。
核心业务应用得不到充分的带宽资源，员工在日常工作中反应网络慢，严重影响工作效率。因此，企业需要完善的上网流量管理方案，对带宽资源进行合理的分配。

2.流量管理技术

2.1传统流量管理技术缺陷

流量控制建立在流量识别的基础上，所以流量识别相当重要。==

传统的流控方式是基于网络协议的上4层及以下的内容（非有效负载内容）进行分析，通常可以基于固定的数据封装格式提取数据特征。

举例：使用QoS技术实现基于源地址、目的地址、源端口、目的端口以及协议类型等“五元组”的流量控制。
通过“五元组”定义各种流量，针对不同流量实施不同的排队机制和拥塞机制以实现控制流量的目的。
但这种传统的IP数据包流量识别和QoS技术，仅根据数据包头中的“五元组”信息进行分析，却无法识别出流量中所涉及的应用，因此，无法对应用进行精细的流控。

现在主流的流控已经能实现对流量的精准精细流控。

2.2传统流控

基于缓存丢包方式，UDP协议自身没有速率调整机制，且P2P传输模式具有特殊性，外网线路依然被大量的P2P数据报文所占用，导致带宽浪费
传统流控能够丢弃P2P报文，但是保障不了核心业务！

2.3主流的流量管控技术

2.3.1流量检测方法

2.3.2应用检测技术

（1）常用端口检测

1.端口检测法是依赖于端口来识别流量，在应用较少的互联网初期作用效果较好。
2.随着互联网发展的多样化，应用的常用端口越来越不明显，因此，该方法识别能力非常有限。

（2）深度流检测（DFI）

深度流检测方法主要采用基于流量行为的应用识别技术，即不同的应用类型体现在会话连接或数据流上的状态不同。

主要识别指标包括：数据包的大小、速率、延时、持续时间、发送频率、上下行流量的比例关系以及IP地址的连接方式等。

（3）深度包检测（DPI）

深度包检测不仅检测源地址、目的地址、源端口、目的端口以及协议类型，还增加了应用层分析，另外识别各种应用及其内容，包括关键字检测、应用网关检测、行为模式检测等。

2.3.3应用控制技术

(1)流量整形技术

根据数据流识别的结果，对数据流量采用阻塞、随机丢包、或者提供QoS保证等方式，对符合策略控制条件的数据流进行流量管理和资源调度，达到流量控制的目的。

举例：TCP整形技术—滑动窗口允许根据自己的接受速率动态调整窗口大小来调整发送方的数据传输速率

（2）连接干扰(TCP)/信令干扰（UDP）

a) 连接干扰—根据数据流识别的结果，针对TCP流量，复制数据流的IP五元组信息，并交换源/目的IP、端口，伪造成为数据流连接的对端，发送标准的TCP Reset/FIN数据包，中断该数据流连接，或者引发TCP重传，达到流量控制的目的。

b) 信令干扰—针对UDP流量，由于UDP为无状态协议，因此无法从4层对数据流进行干扰，只能通过7层的协议信令进行干扰，达到流量控制的目的。

（3）应用控制技术对比

2.3.4识别控制组网模式

（1）直路串联流控模式

a)串联在网络中，控制方式比较直接，可以灵活的对不同流量使用不同策略。
b)串联使得控制设备成为被控网络的一部分，控制设备可能会影响整个被控链路。

（2）旁路干扰流控模式

1)TCP截断，通过伪造并发送TCP  RST报文来截断TCP连接。
2)TCP降速，通过伪造并发送特殊sequence报文来减小TCP的滑动窗口值。
3)UDP截断，通过伪造并发送P2P应用层特殊控制命令方式来截断UDP连接。
4)UDP降速，通过伪造并发送P2P应用层特殊控制命令方式来降低UDP连接的传送速率。

优势：对链路影响较小，可扩展性（扩展其他功能)较强
劣势：目前只能对应地使用连接干扰、信令干扰技术进行数据流控制，控制能力受到较大影响

2.4网络流量控制系统

当前广泛部署的网络流量控制系统主要由四个部分：流量分类，队列管理，分组调度，流量整形。

（1）流量分类

按照不同的优先级或控制策略，将数据包注入到不同队列。

当前的流量分类技术主要分为基于端口、会话、内容的识别方式。

（2）队列管理

指对网络传输节点中队列缓冲资源的管理和分配，即缓冲管理。
通过控制队列的平均深度来避免拥塞发生。

（3）分组调度

分类器根据分组的上下文和粒度确认它所在的队列，分组进入相应队列排队等候，直至调度器将其选择发送。
可以控制不同类型的分组对链路带宽的利用，使不同的数据流得到不同等级的服务

（4）流量整形

使经过网络瓶颈的数据包平缓的注入主干网，减少数据包在边缘网关排队等待的时间，从而减少边缘网关缓存的大小和数据包丢失率。
流量整形主要采用两种基本方法：漏桶算法和令牌桶算法。

3.SANGFOR流控解决方案

SANGFOR流控原理

缓存流控

以前的流控的效果是通过直接丢包来实现的，导致了丢包率比较高。
SANGFOR使用缓存的方式，可以有效的解决丢包的问题。

队列调控（HTB分层令牌桶）

1.可以使每个连接的数据包得到更为公平的调度。
2.避免的因为某个连接速率过高导致其他连接得不到带宽的问题。使保证带宽更准确。

单用户流量的公平调度（UCFQ:User&Fair Qdisc）

对当前有流量的用户进行公平调度，而不是根据在线用户进行带宽分配，因为在线的用户不一定有流量。对用户的流量进行公平调度，避免某个用户的流量很大，导致其他用户只能使用很少的带宽。保证同一通道的用户流量可以平均分配

(1)P2P智能流控技术

P2P流量上传速度和下载速度具有正相关性，通过抑制上行流量来达到控制下载速度的效果

(2)动态流控技术

设定阈值(%)来区分空闲和繁忙状态，当整体带宽利用率低于阈值时，通道的最大带宽限制将上浮，直到整体利用率超过了阈值，才回收上浮的部分，实现带宽利用率最大化

流控黑名单

当某个用户应用的流量、流速、时长超过了限额时：
堵：将该用户“业务无关的应用”流量划分到流量惩罚通道中进行限速
疏：将该用户“必要业务应用”流量划分到保障通道，确保业务不受影响

流控通道匹配过程

1.同级通道从上往下匹配
2.匹配到父通道后如果有下级子通道，则继续往下级匹配，直到匹配到最后一级
3.如果无法匹配到任何自定义的通道，则匹配到所在级别的默认通道

流控通道优先级

1.保证通道和限制通道都可以设置优先级
2.优先级别相同时，如果都需要借用带宽，则按照保证带宽的比例借用
3.优先级别不同，都需要借用带宽时，带宽优先给优先级高的通道使用，剩下的带宽才给低级别的通道借用。

4.流量管理应用场景

为了更好的理解流量管理技术，理解下列案例

4.1P2P流量控制案例

客户背景

客户10M上网线路，内网有200人，网络管理员反映内网上网较慢，AC设备以路由模式部署在公网出口，从AC设备应用流量排名观察，p2p下载，在线流媒体等占用带宽很大。
客户不想封堵任何人的任何应用，希望全天能优先保证上网及邮件收发等关键应用的流量，如果没有这些关键应用，p2p下载，在线流媒体等应用可以尽量使用线路带宽，避免带宽浪费

需求分析

由背景分析得客户上网慢是由于高带宽软件(P2P，迅雷，在线视频)吞噬了带宽导致，但客户不希望封堵这些应用。
所以我们可以使用流控功能把不合理的应用带宽控制在一个合理的范围，把关键应用优先保证下带宽，当没有关键应用时，高带宽软件可以突破限制，从而实现智能动态调整带宽

配置思路

配置建议
根据客户的情况，我们需要建立两种通道，保证通道和限制通道。
1、保证通道针对所有员工，访问网站，邮件，DNS，IM，办工OA，微博论坛网上银行等常见应用保证带宽最低50%，最高100%
2、限制通道针对所有员工对P2P，P2P流媒体，文件下载，MEDIA进行带宽限制，控制为总带宽的20%，且同时勾选“抑制P2P下行丢包”和“当线路空闲时，允许突破限制”

4.2HTTP下载流量控制案例

需求背景

客户需要对HTTP下载进行流控（即浏览器目标另存为）的方式下载，但又不想影响打开网页的速度。

HTTP下载流量控制技术

下载网关升级客户端，右键点击下载然后复制下载链接，可以得到下列URL： http://download.sangfor.com.cn/download/product/tools/SANGFOR_U pdater6.0.zip

数据包格式如下，可以看到下载文件的数据包和正常打开网站的数据包格式一模一样！

那么如何才能只限制下载的速度，而不限制打开网站的速度呢？

配置方法

这种需求下，对于HTTP文件下载流控需要通过文件类型流控，如下图：

效果展示

流量管理效果验证方法：
1、流控生效后，可以在客户端电脑验证流控效果

2、可以从设备流量管理状态查看流控效果。

4.3流量配额案例

客户背景

客户做了用户限额策略，针对员工每天每月的流量、时长、流速等都是有限的，超限后直接封堵用户的上网行为会影响员工的正常办公，现想实现超限后给予低速通道上网，满足基本上网需求

配置思路

1、首先在流控管理新增一条惩罚通道，把通道限制一个范围
2、在用户限额策略中，设置“限额超出处理”为“处罚”并且勾选 “添加到流控通道”，选择第一步设置的惩罚通道

注意事项

注意：
1、惩罚通道只能是限制通道，且此通道不可再建子通道
2、惩罚通道要按应用来匹配，即一个用户流量可以跑到多个惩罚通道
（最多20），没匹配上惩罚通道的流量继续走原有的通道配置流程
3、惩罚通道的生效时间、目的IP组、线路号也要有效