mysql报文格式_GitHub - YMBo/sflow_traffic: python解析报文(支持格式sflow、gre等)并存储到mysql...

sflow_traffic

python解析sflow或TCP报文(多种格式)并存储到mysql，可多个机器部署

说明

sflowtool version: 5.02

Python version 2.7.5

抓包程序获取的数据，根据ip+port获取服务之间的调用关系，并存储到mysql

可以抓取两种报文

sflow报文调用start.sh的sflowactive ，同时需要下载sflowtool

sflowtool将sflow报文转为netsFlow报文并发到本机指定端口(udp)

getTraffic文件getIp函数里调用parseSflow函数

经过GRE封装过的报文调用start.sh的trafficActive函数即可

getTraffic文件getIp函数里调用parseTCP函数

补充

关于两种GRE格式解析，我遇到的问题

如果遇到类似dpkt解析不了的GRE报文(不限于GRE)，可以按照以下方式进行扩展：

ETH_TYPE_ERSPAN1 = 0x88be # 指的是protocol Type的值

...

Ethernet.set_type(ETH_TYPE_ERSPAN1, Ethernet)

启动

sh start.sh

定时设定

格式：'HH:mm:ss'，例'1:20:00'表示凌晨1点20，

如果设定时间的小时数大于当前时间的小时数则，会在当天执行一次，例当前时间'10:20:00',设定时间11:00:00，则会在40分钟后第一次执行。如果设定时间为10:59:00,则会在第二天开始的10:59:00第一次执行

tip: 每天都会在指定时间执行

目录结构

├── addpath.py //环境变量配置

├── conf.py //配置文件

├── dao.py //数据库操作

├── formart_server

│ ├── __init__.py

│ └── f_s.py //对数据格式化以便存储到对应表里

├── getDefaultIp

│ ├── __init__.py

│ ├── getDefaultIp.py //获取抓包网卡ip

├── getTraffic.py //主程序

├── get_service

│ ├── __init__.py

│ └── get_data.py //根据ip+port获取对应服务

├── log.py //日志配置

├── log_history //日志文件存储目录

├── intervalTime.py //自定义定时器，每天指定时间执行任务

├── requirements.txt

├── start.sh //启动文件

mysql报文格式_GitHub - YMBo/sflow_traffic: python解析报文(支持格式sflow、gre等)并存储到mysql...相关推荐

ISO8583报文工具类（组装和解析报文）
很久没来csdn了.现在的工作地点在银行,妈的,不让上网啊. 写写博客其实是对自己知识的总结,这么长时间了,也该写点东西了.接触银行的项目,避免不了遇上8583报文.具体介绍就不细讲了,这个网上一大 ...
java 8583报文解析_ISO8583报文工具类（组装和解析报文） | 学步园
很久没来csdn了.现在的工作地点在银行,妈的,不让上网啊. 写写博客其实是对自己知识的总结,这么长时间了,也该写点东西了.接触银行的项目,避免不了遇上8583报文.具体介绍就不细讲了,这个网上一大 ...
java发送iso8583报文接口框架,ISO8583报文工具类（组装和解析报文）
package com.lsy.common.util; import java.io.FileInputStream; import java.io.UnsupportedEncodingExcep ...
猫眼电影票房爬取到MySQL中_猫眼电影爬取(一)：requests+正则，并将数据存储到mysql数据库...
前面讲了如何通过pymysql操作数据库,这次写一个爬虫来提取信息,并将数据存储到mysql数据库 1.爬取目标爬取猫眼电影TOP100榜单要提取的信息包括:电影排名.电影名称.上映时间.分数 2 ...
python批量音频转格式_GitHub - shede333/SWConvertVideoToAudio: Python批量转换视频为音频MP3（即提取音频文件）...
Python批量转换视频为音频MP3(即提取音频文件) 输入文件格式:ffmpeg支持的视频文件输出格式格式:mp3文件使用方法: 注意:使用前需要先安装 ffmpeg 才行(Python最 ...
python项目方案书模板格式_GitHub - petterobam/python_tpl: Python项目规范模板
Python项目规范模板快速开始方法一: git clone https://github.com/petterobam/python_tpl.git cd python_tpl/bin # 运行 ...
python解析log文件_python解析基于xml格式的日志文件
大家中午好,由于过年一直还没回到状态,好久没分享一波小知识了,今天,继续给大家分享一波Python解析日志的小脚本. 首先,同样的先看看日志是个啥样. 都是xml格式的,是不是看着就头晕了??没事,我 ...
Python解析CANoe录制的blf文件asc文件通用方法
Python解析CANoe录制的blf文件&asc文件通用方法一.背景由于很多时候我们在录制日志文件的时候更愿意选择BLF文件,至少目前我见到的很多公司都是使用的BLF文件来作为最 ...
Python解析CANoe录制的asc文件
Python解析CANoe录制的asc文件一.背景由于很多时候我们需要单纯分析一些报文数据,筛选或者一些故障报文,这个时候,用CANoe打开太占用设备了,而且只能过滤到某一帧报文,当我们能 ...

mysql报文格式_GitHub - YMBo/sflow_traffic: python解析报文(支持格式sflow、gre等)并存储到mysql...

mysql报文格式_GitHub - YMBo/sflow_traffic: python解析报文(支持格式sflow、gre等)并存储到mysql...相关推荐

最新文章

热门文章