Doris之审计日志插件
审计日志插件
Doris 的审计日志插件是在 FE 的插件框架基础上开发的。是一个可选插件。用户可以在运行时安装或卸载这个插件。
该插件可以将 FE 的审计日志定期的导入到指定 Doris 集群中,以方便用户通过 SQL 对审计日志进行查看和分析。
编译、配置和部署
FE 配置
FE的插件框架当前是实验性功能,Doris中默认关闭,在FE的配置文件中,增加plugin_enable = true启用plugin框架
AuditLoader 配置
auditloader plugin的配置位于${DORIS}/fe_plugins/auditloader/src/main/assembly/.
打开 plugin.conf 进行配置。配置项说明参见注释。
编译
在 Doris 代码目录下执行 sh build_plugin.sh 后,会在 fe_plugins/output 目录下得到 auditloader.zip 文件。
部署
您可以将这个文件放置在一个 http 服务器上,或者拷贝auditloader.zip(或者解压auditloader.zip)到所有 FE 的指定目录下。这里我们使用后者。
安装
部署完成后,安装插件前,需要创建之前在 plugin.conf 中指定的审计数据库和表。其中建表语句如下:
create table doris_audit_tbl__
(query_id varchar(48) comment "Unique query id",time datetime not null comment "Query start time",client_ip varchar(32) comment "Client IP",user varchar(64) comment "User name",db varchar(96) comment "Database of this query",state varchar(8) comment "Query result state. EOF, ERR, OK",query_time bigint comment "Query execution time in millisecond",scan_bytes bigint comment "Total scan bytes of this query",scan_rows bigint comment "Total scan rows of this query",return_rows bigint comment "Returned rows of this query",stmt_id int comment "An incremental id of statement",is_query tinyint comment "Is this statemt a query. 1 or 0",frontend_ip varchar(32) comment "Frontend ip of executing this statement",cpu_time_ms bigint comment "Total scan cpu time in millisecond of this query",sql_hash varchar(48) comment "Hash value for this query",peak_memory_bytes bigint comment "Peak memory bytes used on all backends of this query",stmt string comment "The original statement, trimed if longer than 2G "
) engine=OLAP
duplicate key(query_id, time, client_ip)
partition by range(time) ()
distributed by hash(query_id) buckets 1
properties("dynamic_partition.time_unit" = "DAY","dynamic_partition.start" = "-30","dynamic_partition.end" = "3","dynamic_partition.prefix" = "p","dynamic_partition.buckets" = "1","dynamic_partition.enable" = "true","replication_num" = "3"
);
注意
上面表结构中:stmt string ,这个只能在0.15及之后版本中使用,之前版本,字段类型使用varchar
其中 dynamic_partition 属性根据自己的需要,选择审计日志安保留的天数。
之后,连接到 Doris 后使用 INSTALL PLUGIN 命令完成安装。安装成功后,可以通过 SHOW PLUGINS 看到已经安装的插件,并且状态为 INSTALLED。
完成后,插件会不断的以指定的时间间隔将审计日志插入到这个表中
Doris之审计日志插件相关推荐
- mysql5.7安装审计日志插件audit-plugin
1. 插件说明 原来在mysql5.7.33版本中,使用server_audit.so插件审计日志插件(来源MariaDB )无问题,但从5.7.34版本开始,该插件停止使用,针对5.7.34及之后的 ...
- dba+开源工具:轻量级数据库审计日志平台,违规操作无所遁形(附下载)
工具研发者介绍 贺春旸, 凡普金科和爱钱进DBA团队负责人,<MySQL管理之道:性能调优.高可用与监控>第一.二版作者,曾任职于中国移动飞信.安卓机锋网.四次荣获dbaplus年度MVP ...
- Hadoop的log4j审计日志文件
自定义修改hadoop/conf/log4j.properties hdfs审计日志(Auditlog)记录了用户针对hdfs的所有操作,详细信息包括操作成功与否.用户名称.客户机地址.操作命令.操作 ...
- MySQL审计之插件
通过审计插件可以记录服务器活动,记录谁连接到服务器,运行了什么查询,访问了哪些表,能存储到日志文件或发送到本地syslogd守护进程.目前可用的插件有mariaDB的插件.percona的插件.和ma ...
- hdfs auditlog(审计日志)
hdfs审计日志(Auditlog)记录了用户针对hdfs的所有操作,详细信息包括操作成功与否.用户名称.客户机地址.操作命令.操作的目录等.对于用户的每一个操作,namenode都会将这些信息以ke ...
- 日志审计系统如何和服务器互联,服务器如何查看审计日志
服务器如何查看审计日志 内容精选 换一换 云审计CTS与LTS进行系统对接后,系统自动在云日志服务控制台创建的日志组和日志流,如果需要将CTS的日志转储至OBS中,您需要进行以下操作:在云审计服务管理 ...
- linux系统审计日志和数据库审计
系统审计 系统审计日志 #将下面这段内容添加在/etc/profile文件末尾,完事后执行 source /etc/profile HISTSIZE=1000 HISTTIMEFORMAT=" ...
- android审计日志,hdfs auditlog(审计日志)
hdfs审计日志(Auditlog)记录了用户针对hdfs的所有操作,详细信息包括操作成功与否.用户名称.客户机地址.操作命令.操作的目录等.对于用户的每一个操作,namenode都会将这些信息以ke ...
- java audit模块实现_Apollo 源码解析 —— Config Service 操作审计日志 Audit
> 摘要: 原创出处 http://www.iocoder.cn/Apollo/config-service-audit/ 「芋道源码」欢迎转载,保留摘要,谢谢! 1. 概述 本文分享 Conf ...
最新文章
- 生成器、迭代器的区别?
- php.ini网站空白,php配置问题:拷贝php.ini后,测试页面无法显示(显示空白)
- 大疆口袋云台存储卡_让拍摄更加安心,大疆无人机与口袋相机的存储卡选择:东芝M303E...
- des加密去掉特殊字符_对称加密中的数据填充
- WIX(20121031) 应用设置默认变量
- Magicodes.IE 2.5版本发布
- C语言课后习题(7)
- 货物被偷把沃尔玛逼急了 将在逾1000家门店安装AI相机
- android刷机方法,介绍一种android的裸刷机方法(fastboot刷机实质)
- TCP的可靠传输机制
- 12864c与语言字符显示,12864液晶显示C语言程序设计实例
- vb程序设计基础笔记
- TimesTen Classic 18c 卸载 (uninstall)全过程
- 《Java 面经手册》PDF,全书5章29节,417页11.5万字,完稿发版!
- OBS Studio录制腾讯会议
- centos yum 国内源
- Notification基本通知的两种写法
- epub转pdf网站推荐
- python-模块使用方法
- StateFlow 状态流
热门文章
- 各种经典java小游戏_Java是这个世界上最好的语言!
- style, currentStyle, getComputedStyle的区别
- python字符串split()函数
- html三列布局和两列布局,CSS 常见两列布局、三列布局
- 用php做颜色表格,如何使用纯PHP格式化excel文件的样式,字体,颜色,表格等?
- TY_GASPX SQL
- 【NetApp】exportfs命令的使用
- RandomAccess接口
- android layout 渲染,java – 渲染android.support.design.widget.CoordinatorLayout的问题
- 修改mysql_MySQL UPDATE:修改数据(更新数据)