Linux下快速解析nf_conntrack
1. 背景
回顾了项目需求是系统的统计tcp连接数;
于是想到了 nf_conntrack
这个Linux内核提供的记录和跟踪连接状态的功能;
然后写了个程序解析 /proc/net/nf_conntrack
这个映射文件,后来悲剧就发生了,当conntrack表记录变增加到1w以上之后,解析速度急速下降,到了10w规模后,解析耗时几十秒都不能完成,,,
终于后来翻到了netfilter的老巢,发现了解决方法:libnml、libnetfilter_conntrack
2. 使用
核心原理是通过netlink套接字
的方式,与内核交互,查询得到结果
libmnl基本方法:
extern struct mnl_socket *mnl_socket_open(int bus);
extern int mnl_socket_bind(struct mnl_socket *nl, unsigned int groups, pid_t pid);
extern int mnl_socket_close(struct mnl_socket *nl);
extern ssize_t mnl_socket_sendto(const struct mnl_socket *nl, const void *req, size_t siz);
extern ssize_t mnl_socket_recvfrom(const struct mnl_socket *nl, void *buf, size_t siz);
libnetfilter_conntrack则主要是对获取的结果进行解析,比如拿出源地址、协议簇信息
/* conntrack attributes */
enum nf_conntrack_attr {ATTR_ORIG_IPV4_SRC = 0, /* u32 bits */ATTR_IPV4_SRC = ATTR_ORIG_IPV4_SRC, /* alias */ATTR_ORIG_IPV4_DST, /* u32 bits */ATTR_IPV4_DST = ATTR_ORIG_IPV4_DST, /* alias */ATTR_REPL_IPV4_SRC, /* u32 bits */ATTR_REPL_IPV4_DST, /* u32 bits */ATTR_ORIG_IPV6_SRC = 4, /* u128 bits */ATTR_IPV6_SRC = ATTR_ORIG_IPV6_SRC, /* alias */ATTR_ORIG_IPV6_DST, /* u128 bits */ATTR_IPV6_DST = ATTR_ORIG_IPV6_DST, /* alias */ATTR_REPL_IPV6_SRC, /* u128 bits */ATTR_REPL_IPV6_DST, /* u128 bits */ATTR_ORIG_PORT_SRC = 8, /* u16 bits */ATTR_PORT_SRC = ATTR_ORIG_PORT_SRC, /* alias */ATTR_ORIG_PORT_DST, /* u16 bits */ATTR_PORT_DST = ATTR_ORIG_PORT_DST, /* alias */ATTR_REPL_PORT_SRC, /* u16 bits */ATTR_REPL_PORT_DST, /* u16 bits */ATTR_ICMP_TYPE = 12, /* u8 bits */ATTR_ICMP_CODE, /* u8 bits */ATTR_ICMP_ID, /* u16 bits */ATTR_ORIG_L3PROTO, /* u8 bits */ATTR_L3PROTO = ATTR_ORIG_L3PROTO, /* alias */ATTR_REPL_L3PROTO = 16, /* u8 bits */ATTR_ORIG_L4PROTO, /* u8 bits */ATTR_L4PROTO = ATTR_ORIG_L4PROTO, /* alias */ATTR_REPL_L4PROTO, /* u8 bits */ATTR_TCP_STATE, /* u8 bits */ATTR_SNAT_IPV4 = 20, /* u32 bits */ATTR_DNAT_IPV4, /* u32 bits */ATTR_SNAT_PORT, /* u16 bits */ATTR_DNAT_PORT, /* u16 bits */ATTR_TIMEOUT = 24, /* u32 bits */ATTR_MARK, /* u32 bits */ATTR_ORIG_COUNTER_PACKETS, /* u64 bits */ATTR_REPL_COUNTER_PACKETS, /* u64 bits */ATTR_ORIG_COUNTER_BYTES = 28, /* u64 bits */ATTR_REPL_COUNTER_BYTES, /* u64 bits */ATTR_USE, /* u32 bits */ATTR_ID, /* u32 bits */ATTR_STATUS = 32, /* u32 bits */ATTR_TCP_FLAGS_ORIG, /* u8 bits */ATTR_TCP_FLAGS_REPL, /* u8 bits */ATTR_TCP_MASK_ORIG, /* u8 bits */ATTR_TCP_MASK_REPL = 36, /* u8 bits */ATTR_MASTER_IPV4_SRC, /* u32 bits */ATTR_MASTER_IPV4_DST, /* u32 bits */ATTR_MASTER_IPV6_SRC, /* u128 bits */ATTR_MASTER_IPV6_DST = 40, /* u128 bits */ATTR_MASTER_PORT_SRC, /* u16 bits */ATTR_MASTER_PORT_DST, /* u16 bits */ATTR_MASTER_L3PROTO, /* u8 bits */ATTR_MASTER_L4PROTO = 44, /* u8 bits */ATTR_SECMARK, /* u32 bits */ATTR_ORIG_NAT_SEQ_CORRECTION_POS, /* u32 bits */ATTR_ORIG_NAT_SEQ_OFFSET_BEFORE, /* u32 bits */ATTR_ORIG_NAT_SEQ_OFFSET_AFTER = 48, /* u32 bits */ATTR_REPL_NAT_SEQ_CORRECTION_POS, /* u32 bits */ATTR_REPL_NAT_SEQ_OFFSET_BEFORE, /* u32 bits */ATTR_REPL_NAT_SEQ_OFFSET_AFTER, /* u32 bits */ATTR_SCTP_STATE = 52, /* u8 bits */ATTR_SCTP_VTAG_ORIG, /* u32 bits */ATTR_SCTP_VTAG_REPL, /* u32 bits */ATTR_HELPER_NAME, /* string (30 bytes max) */ATTR_DCCP_STATE = 56, /* u8 bits */ATTR_DCCP_ROLE, /* u8 bits */ATTR_DCCP_HANDSHAKE_SEQ, /* u64 bits */ATTR_TCP_WSCALE_ORIG, /* u8 bits */ATTR_TCP_WSCALE_REPL = 60, /* u8 bits */ATTR_ZONE, /* u16 bits */ATTR_SECCTX, /* string */ATTR_TIMESTAMP_START, /* u64 bits, linux >= 2.6.38 */ATTR_TIMESTAMP_STOP = 64, /* u64 bits, linux >= 2.6.38 */ATTR_HELPER_INFO, /* variable length */ATTR_CONNLABELS, /* variable length */ATTR_CONNLABELS_MASK, /* variable length */ATTR_ORIG_ZONE, /* u16 bits */ATTR_REPL_ZONE, /* u16 bits */ATTR_SNAT_IPV6, /* u128 bits */ATTR_DNAT_IPV6, /* u128 bits */ATTR_SYNPROXY_ISN, /* u32 bits */ATTR_SYNPROXY_ITS, /* u32 bits */ATTR_SYNPROXY_TSOFF, /* u32 bits */ATTR_MAX
};
3. 例子
以下例子为打印TCP当前连接情况
main函数主要就是创建一个netlink套接字,发送请求IPCTNL_MSG_CT_GET
获取整个conntrack表信息
最终结果接收在buf中,使用mnl_cb_run
进行循环解析。
int main(void)
{struct mnl_socket *nl;struct nlmsghdr *nlh;struct nfgenmsg *nfh;char buf[MNL_SOCKET_BUFFER_SIZE];unsigned int seq, portid;int ret;nl = mnl_socket_open(NETLINK_NETFILTER);if (nl == NULL) {perror("mnl_socket_open");exit(EXIT_FAILURE);} if (mnl_socket_bind(nl, 0, MNL_SOCKET_AUTOPID) < 0) {perror("mnl_socket_bind");exit(EXIT_FAILURE);} portid = mnl_socket_get_portid(nl);nlh = mnl_nlmsg_put_header(buf);nlh->nlmsg_type = (NFNL_SUBSYS_CTNETLINK << 8) | IPCTNL_MSG_CT_GET;nlh->nlmsg_flags = NLM_F_REQUEST | NLM_F_DUMP;nlh->nlmsg_seq = seq = time(NULL);nfh = mnl_nlmsg_put_extra_header(nlh, sizeof(struct nfgenmsg));nfh->nfgen_family = AF_INET;nfh->version = NFNETLINK_V0;nfh->res_id = 0;ret = mnl_socket_sendto(nl, nlh, nlh->nlmsg_len);if (ret == -1) {perror("mnl_socket_recvfrom");exit(EXIT_FAILURE);}ret = mnl_socket_recvfrom(nl, buf, sizeof(buf));while (ret > 0) {ret = mnl_cb_run(buf, ret, seq, portid, data_cb, NULL);if (ret <= MNL_CB_STOP) {break;}ret = mnl_socket_recvfrom(nl, buf, sizeof(buf));}if (ret == -1) {perror("mnl_socket_recvfrom");exit(EXIT_FAILURE);}mnl_socket_close(nl);return 0;
}
以下为 回调函数的实现,在本例子中,则筛选出TCP连接进行展示
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <time.h>
#include <arpa/inet.h>#include <libmnl/libmnl.h>
#include <libnetfilter_conntrack/libnetfilter_conntrack.h>static int data_cb(const struct nlmsghdr *nlh, void *data)
{struct nf_conntrack *ct;char buf[4096];ct = nfct_new();if (ct == NULL) {return MNL_CB_OK;} nfct_nlmsg_parse(nlh, ct);switch (nfct_get_attr_u8(ct, ATTR_ORIG_L4PROTO)) {case IPPROTO_TCP:nfct_snprintf(buf, sizeof(buf), ct, NFCT_T_UNKNOWN, NFCT_O_DEFAULT, 0); printf("%s\n", buf);break;} nfct_destroy(ct);return MNL_CB_OK;
}
运行结果涉及本机一些地址,就不展示了,结果与 /proc/net/nf_conntrack
一致,但到10w记录的环境下,并不会有巨大的开销。
4. 总结
只要不设置notrack标识的连接,就可以通过 nf_conntrack进行获取连接数;
而使用libnml+libnetfilter_conntrack的netlink套接字的方式,比直接cat文件速度快很多;
查看了官方手册,发现libnetfilter_conntrack不仅可解析conntrack表,还能够进行监控、修改等高级操作,功能十分强大!
参考文章:
[1] https://en.wikipedia.org/wiki/Netfilter
[2] https://www.netfilter.org/projects/libnetfilter_conntrack/index.html
Linux下快速解析nf_conntrack相关推荐
- linux getfattr中文乱码,Linux下快速解析nf_conntrack
1. 背景 回顾了项目需求是系统的统计tcp连接数; 于是想到了 nf_conntrack 这个Linux内核提供的记录和跟踪连接状态的功能; 然后写了个程序解析 /proc/net/nf_connt ...
- linux列举网卡,linux下快速列出局域网中所有主机名(计算机名)的脚本
linux下快速列出局域网中所有主机名(计算机名)的脚本,脚本,主机名,网中,站长站,命令 linux下快速列出局域网中所有主机名(计算机名)的脚本 易采站长站,站长之家为您整理了linux下快速列出 ...
- linux怎样搭建DNS服务器,Linux下快速搭建DNS服务器
摘要 腾兴网为您分享:Linux下快速搭建DNS服务器,作业盒子,优学堂,湘税社保,悟空识字等软件知识,以及初中英语app,新榜编辑器,神界原罪2,少儿英语点读app,minecraft皮肤编辑器, ...
- linux系统修改bond的ip,Linux下快速设定ip bond,linux设定ipbond
Linux下快速设定ip bond,linux设定ipbond 在计算机网路普及的初期,很多OS系统都使用的为单网卡方式,即一个网卡使用一个IP地址.随着网络要求的不断提高,我们可以对多个网卡进行绑定 ...
- linux进行校时ntp,Linux下快速搭建ntp时间同步服务器
Linux下快速搭建ntp时间同步服务器 背景: 服务器多了,时间是否一致以及是否准备就显得格外重要,虽然这个问题总是被忽略,但是统一时间是很有必要的,因为时间问题导致服务出现问题也是司空见惯,本文简 ...
- Linux下快速查看CPU使用情况的相关命令
Linux下快速查看CPU使用情况比较常用的命令是free.top.ps.这篇文章来看下如何在Linux下检查服务器的CPU使用情况.我的Linux是Linux-Ubuntu-server-15.04 ...
- Linux下快速删除大量文件/文件夹方法--rsync
假如你要在linux下删除大量文件,比如100万.1000万,像/var/spool/clientmqueue/的mail邮件, 像/usr/local/nginx/proxy_temp的nginx缓 ...
- linux下快速打包/多线程压缩文件的方法
文章目录 打包大量文件 2. 多线程压缩文件 2.1 与tar配合使用 2.2 更多用法 今日遇到一个问题,就是把一个远程主机生成的10万个图片文件(训练集)传到kaggle.所以第一个遇到的问题,就 ...
- Linux下快速分区格式化大于2T大容量存储
在生产环境中,我们会遇到分区大于2T的磁盘(比如:添加一个10TB的存储),由于MBR分区表只支持2T磁盘,所以大于2T的磁盘必须使用GPT分区表,而我们在做raid时会划分多个VD来进行装系统,但系 ...
最新文章
- 网站集成支付宝的方法和所需资料下载
- matlab Tips
- ELK日志管理之——kibana部署
- 当session会话结束时,重定向到登录页显示在iframe框内的问题
- mysql查看触发器_在mysql中如何查看和修改触发器的代码?请问各位大师,小弟先谢谢了!!!!!!!!!...
- 【算法刷题3】二叉树的最大深度
- ES6新特性_ES6的数值扩展---JavaScript_ECMAScript_ES6-ES11新特性工作笔记039
- php sort函数,php中sort函数的功能起什么作用呢?
- three几何线在mapbox地图显示
- mysql 无法退出sql命令行编辑
- 周志华机器学习西瓜书速记第二章绪论模型评估与选择(一)
- kodi教程_KODI添加电视直播+修改台标教程
- web前端优化一些看法
- 全志V853开发板硬件框图及各模块原理图【内附PDF版本】
- golang tomb_古墓丽影》(Tomb Raider)的补丁可改善Linux的游戏性和新游戏
- 系统设计题面试八股文背诵版
- Spring Data 数据库建模最佳实践
- 加入云上江湖—蚂蚁 SOFAStack
- 陀螺仪、加速度计与MPU6050的关系
- 从一个表格render方法问题看React函数组件的更新
热门文章
- 乡郎桑黄:什么是桑黄?桑树的价值有哪些?
- 超分辨率 | 综述!使用深度学习来实现图像超分辨率
- html页面放大缩小样式不变,网页缩小放大后错位的解决方法
- 计算机备份应用程序无法启动,由于内部错误,备份应用程序无法启动如何解决-解决“由于内部错误,备份应用程序无法启动”的方法 - 河东软件园...
- RabbitMQ ACK消息确认机制 快速入门
- Linux下useradd与adduser的区别
- 解除Word文档保护方法汇总
- 浅谈大数据任务调度平台
- 由一个日期, 怎样知道是星期几?
- 【Tableau 设计提示16】如何在 Tableau 中使用标记(批注)