浅析网络流量分析原理:如何把二进制“天书”变成“人话”
网络流量贯穿业务流转的各个环节,从我们电脑、手机,到数据中心、WEB组件和应用等都需要通过网络流量完成数据交互。因此,网络流量存在着巨大的应用价值。
但原始的网络流量以二进制方式呈现,无法直接读取和应用,因此需要通过相关工具和技术,把网络流量变成更加容易读取的数据信息,进而更好地应用在业务场景中,实现其价值最大化。在这过程中就要对网络流量进行采集、解码和分析。
接下来,我们就来看看如何把天书般的网络流量翻译成“人话”,更好地为我们所用。
本文字数:1639字
不想看文字的同学可以观看视频直接听技术专家讲解
第一步:网络流量采集
采集网络流量需要借助相关工具来实现,如果是临时性抓取网络流量,可以采用一些开源工具,例如Wireshark、Tcpdump等;但如果需要长期对网络流量进行捕获和分析,就需要一些专业的工具了,例如专业的探针设备。
第二步:网络数据包解码
在完成网络流量的采集之后,就要对数据包进行解析。数据包解析的过程,是对二进制比特流中各个位置的字段进行提取和解析的过程。在不同的分析工具和应用场景下,所需要分析的层级是不同的。
首先,根据使用场景的不同,需要解析的层级是不同的
1、网络性能监控场景:如果是用做网络性能的分析,只需要对网络相关层级进行解析即可。对应上图TCP/IP协议模型,即需要对链路层、网络层、传输层进行解析。按照各个字段所在的位置和长度,可以获取报文长度、流量大小、连接数、源IP、目的IP、源端口、目的端口、TCP建连、TCP断连、TCP耗时等网络性能指标。
通过对TCP/IP的解析,可以精准地分析某一个IP、端口、连接的交互状况,这也是网络故障分析至关重要的一个使用场景。例如连接中是否存在网络耗时过长、TCP三次握手成功率低、丢包、传输效率低等情况。
2、应用性能监控场景:如果用作应用性能、交易性能的监控分析,则需要对TCP/IP协议所承载的应用层报文进行解析。从而获得交易渠道、交易代码、交易流水号、交易金额、返回码、交易类型等等业务相关指标信息,经过计算,还可以获得交易量、交易耗时、交易成功率、交易响应率等指标,甚至可以做到单笔交易流水的全流程追踪。
其次,不同数据包类型的解码分析也有所不同
1、通用协议的解码分析:
通用协议的解码分析相对容易,TCP/IP作为标准的通信协议,在对数据包链路层、网络层、传输层进行解码时,只需要参照标准格式规范进行解码分析即可;
HTTP、DNS等通用的应用层协议,也可以参照标准的规范进行解码分析。
2、私有协议解码分析:
不同的行业都存在着私有应用层协议,如果协议采用的是标准接口格式,只需要参照标准的格式进行解码分析即可。但并非所有私有协议都会采用标准接口格式进行消息的传输,如果是非标准接口的协议,则需要按照接口规范进行协议解码。
对于行业或者用户私有的报文格式,则需要按照其报文封装格式规范进行单独的解码。
此外,TCP或者UDP所承载的应用层消息部分,其实包含了大量有价值的信息,例如交易渠道、交易代码、交易流水号、交易金额、返回码、交易类型等等,这是通常解码中容易被忽略的地方。
私有协议解码相对较复杂,为了提升网络数据分析效率,天旦基于大量协议解码经验积累,融和AI技术,开发了Smart Decoder智能解码引擎,无需专业代码编写,即可实现大部分私有协议的可视化智能解码。
部分天旦智能解码支持的协议
第三步:网络流量数据的应用
对网络流量进行解码分析后,就可以进一步应用在很多场景中了。例如:
1、网络性能监控:利用网络流量数据,可以建立覆盖数据中心重要链路、关键设备、核心服务的监控视图,实时提炼网络性能的关键监控指标,实现精准故障告警与自动化故障诊断。
2、业务性能监控:通过网络流量镜像技术,即可全网采集数据,覆盖传统网络、虚拟化、云环境,实现端到端的一体化业务性能监控,精准及时告警。
3、数据库性能监控:从数据库通讯报文解析的相关指标,可以用于数据库监控,利用网络流量零侵入的方式对数据库的每一笔SQL语句进行监控。
4、业务创新:对网络流量数据中应用层协议进行解码分析,可以获得高价值的业务数据。通过活用业务大数据,实现实时风控、精准营销、商业智能等创新应用。
相关视频推荐:
TCP/IP协议简介及基本原理
扫码即刻观看视频
浅析网络流量分析原理:如何把二进制“天书”变成“人话”相关推荐
- 网络流量分析与Android逆向小结
本章对之前的网络流量分析与Android逆向做个小结. 网络流量分析 原理解析 分析原理前之前先了解中间人攻击的概念:在中间人攻击中,攻击主机通常截断客户端和服务器的加密通信.攻击机以自己的证书替代服 ...
- 网络流量分析详解(包含OSI七层模型、TCP协议及Wireshark工具用法)
网络流量分析 Network Traffic Analysis(NTA) 这个系列讲的是整个网络流量分析流程,其中包含TCP协议.HTTP协议详解和Wireshark.Tcpdump的详细用法,现在只 ...
- 网络流量分析利器-可视化网络-netflow【6】-生产网流量监控架构设计
拓扑图 监控点选择 监控点的选择主要取决于要监控的数据流,如果将监控点放在公网口,则捕获的地址均为公网地址,如果监控点部署在负载均衡内网口,则捕获的数据有公网地址和内网地址两种. 选在公网口,此时要注 ...
- 移动端测试 APP启动性能分析 WebView性能分析 H5性能分析 卡顿分析 帧分析 CPU统计 网络流量分析 耗电量指标 弱网测试 健壮性测试 兼容性测试 Amdahl
Android官网使用指南性能:https://developer.android.com/topic/performance 一.APP启动性能分析 APP的启动过程 调用起APP.创建一个空白窗口 ...
- 企业为什么需要网络流量分析
摩卡网络流量分析(Mocha Network Traffic Analyzer)是一个综合网络分析系统,它通过捕获并分析网络中传输的数据包,有效反映网络通讯状况,帮助网络管理人员或非网络管理人员快速准 ...
- 网络管理员在预先分配和识别作为_14个网络管理员必备的最佳网络流量分析工具,收藏了...
企业网络每天都会产生大量数据.企业可以分析这些数据,以深入了解网络运行情况或发现安全威胁.网络流量分析(NTA)解决方案允许网络管理员收集流经网络的流量数据.这些工具通常用于识别性能问题和/或发现安全 ...
- IOTA--最便捷的网络流量分析工具
IOTA–最便捷的网络流量分析工具 近年来5G技术迅速的发展,整个我们整个的网络环境将迎来巨大变革,其中网络流量和宽带的剧增是其中的重要变革.这样的变化虽然给我们的工作和生活带来诸多便利,但是也带来了 ...
- 网络协议分析与仿真课程设计报告:网络流量分析与协议模拟
公众号:CS阿吉 网络协议分析与仿真课程设计报告 题 目:网络流量分析与协议模拟 专业名称: 网络工程 班 级: 学生姓名: 阿吉 学号(8位): 指导教 ...
- 开源 | 爱奇艺网络流量分析引擎QNSM及其应用
▌导读 一定业务规模的互联网公司的基础设施的网络边界通常都呈现一定程度的复杂多分区的情况,如何进行有效的安全防护和控制会成为安全体系建设的重点和难点.面对这一挑战,爱奇艺安全团队自研了网络流量分析引擎 ...
最新文章
- 腾讯云存储产品矩阵全面升级,发布三维生态战略
- 发展通用智能,需要无监督学习
- 三步解决C语言中struct字节对齐问题,Python进阶篇-struct字节对齐问题
- 中国牡蛎碳酸钙市场需求现状调研及十四五投资风险评估报告2022-2028年版
- Pandas练习题-提高你的数据分析技能
- 远程桌面连接提示“您的凭据不工作”
- 前端常用linux命令
- android交互功能,Android 用户界面交互---拖放(OnDragListener)
- java web判断服务器是否是本机
- 存储过程双层循环_别出心裁,为锂金属负极贴上“双层保护膜”!
- select下拉框带模糊查询_如何实现参数级联查询
- 探寻 JavaScript 逻辑运算符(与、或)的真谛
- mac版本的pycharm如何设置成中文
- 逗娱-游戏程序开发实习生测试题
- 【SAP消息号KD503】
- 一文读懂支付通道背后的江湖!——下
- (10.3.5.6)软件验收报告文档模版
- Android自定义Activity切换动画完全解析
- 建站的原型图是什么意思?
- Mac终端自带screen连接串口终端