agent开发之oneAgent

agent-one 集成多个agent为一个agnet的工具集成包

背景

当前存在多个Agent：JMX、skywalking、在线压测、安全agent等

多Agent存在，每个Agent的注入方式、加载参数加载顺序不固定，用户注入过程复杂。
没有统一的状态监控界面，不利于管理。

oneagent 需要支持的功能：
支持加载指定目录下的jar，并执行其指定的agentStartMethod，默认是premain
支持指定加载的agent顺序。通过agentEnableList设置
支持用户设置classLoader 的类型，默认是系统类加载器
支持将jar包添加到bootstrap里面
支持设置jvm参数、agent args运行参数

设计

整体包结构设计

整体流程

配置设计

系统配置加载优先级

项目启动的时候会加载系统配置agent_one_sys-{agent_env}.properties。可以通过-Dagent_env 设置环境
加载优先顺序：
1 jvm参数/系统环境变量中的sys_config_path
2 {agent jar所在路径}/agent-one/agent-conf/
3 {agent jar包内部}/META-INF/agentone/

系统配置内容

系统配置的配置项都可以支持环境变量/jvm -D参数设置

# 启动列表，多个agent逗号分隔
agent_enable_list=jmx
# agent的默认配置目录，会去加载xx_agent_conf.properties文件
agent_default_conf_dir=#{agent_one_class_path}/agent-one/agent-conf/
# 全局设置 是否以线程方式启动agent
agent_default_enable_thread=true
#类加载器类型 system:系统类加载器  url：自定义的urlClassLoader  默认是system
agent_default_class_type=system# agent的配置路径，可以在系统配置里面配置某个agent的配置 格式：{agent名称}.{配置属性}
# 定制插件配置地址
jmx.conf_dir=#{agent_one_class_path}/agent-one/agent-conf/
jmx.agent_path=#{agent_one_class_path}/agent-one/agent-modules/jmx_prometheus_javaagent-0.16.2-SNAPSHOT.jar
# agent的类名称
jmx.agent_class_name=io.prometheus.jmx.shaded.io.prometheus.jmx.JavaAgent
# agent的参数
jmx.agent_param=19090:#{jmx_agent_class_path}/config.yaml
# agent的启动函数
jmx.agent_start_method=premain
jmx.jvm_param=
#internal 内部的 agent 外部agent  file 文件  url 下载文件
jmx.agent_type=agent
# 文件/下载地址
jmx.filePath=

agent配置

加载完系统配置根据agent_default_conf_dir/xx.conf_dir配置的目录地址加载xx_agent_conf.properties文件，如果文件不存在则不加载。

不支持环境变量/jvm -D参数设置

agent配置内容

name=jmx
agent_path=#{agent_one_class_path}/agent-one/agent-modules/jmx_prometheus_javaagent-0.16.2-SNAPSHOT.jar
# agent的类名称
agent_class_name=io.prometheus.jmx.shaded.io.prometheus.jmx.JavaAgent
# agent的参数
agent_param=19090:#{jmx_agent_class_path}/config.yaml
# agent的启动函数
agent_start_method=premain
jvm_param=
#internal 内部的 agent 外部agent  file 文件  url 下载文件
agent_type=agent
# 文件/下载地址
file_path=

配置环境变量支持

格式#{lable}
系统的环境变量、jvm -D参数都支持
“#{agent_one_class_path} 代表整个agent one的jar包路径”
“#{xx_agent_class_path} 代表 xx agent的jar包路径,例如#{jmx_agent_class_path}”

配置优先级

系统配置支持jvm和环境变量设置，agent配置不支持

例如：可以通过jvm参数或者系统环境变量设置agent_enable_list 来控制启动agent列表

jvm > 系统环境变量 > agent配置 > 系统配置

classLoder加载方式

类加载器类型 system:系统类加载器 url：自定义的urlClassLoader 默认是system

system: 使用系统的类加载器

url: 每个agent都新建一个URLClassLoader，其父类是Thread.currentThread().getContextClassLoader()。

第三方插件接入方式

方式一：url下载方式

配置自己的下载agent的脚本，放到文件服务器(oss)
将下载地址配置到agent的配置文件中
新agent的配置文件，可以通过xx.conf_dir 环境变量设置。或者直接内置到agent的包
agent_enable_list 开启agent

安全iast接入agent配置案例：

name=iast
agent_path=/app/deploy/iast/agent.jar
agent_class_name=cn.xmirror.iast.agent
agent_jvm_param=xmiast.ip=xxx;xmiast.port=xxxx;xmiast.projectname=#{SYSTEM_CODE}+#{SERVICE_NAME};xmiast.writeconfig=false;xmiast.nodename=#{IMAGE_ADDRESS}
agent_start_method=premain
agent_class_type=system
agent_type=url
agent_file_path=http://itao-ujp-core-shenzhen-xili1-oss.sit.sf-express.com:8080/v1/AUTH_ITAO-UJP-CORE/ujp/iast.sh

方式二：挂载file方式

配置自己的下载agent的脚本，挂载到k8s
将file地址配置到agent的配置文件中
新agent的配置文件，可以通过xx.conf_dir 环境变量设置。或者直接内置到agent的包
agent_enable_list 开启agent

安全iast接入agent配置案例：

name=iast
agent_path=/app/deploy/iast/agent.jar
agent_class_name=cn.xmirror.iast.agent
agent_jvm_param=xmiast.ip=xxxx;xmiast.port=xxxx;xmiast.projectname=#{SYSTEM_CODE}+#{SERVICE_NAME};xmiast.writeconfig=false;xmiast.nodename=#{IMAGE_ADDRESS}
agent_start_method=premain
agent_class_type=system
agent_type=file
agent_file_path=/app/deploy/iast.sh

系统配置类

package com.sf.cnp.agent.config;import java.util.List;
import java.util.Map;public class SysConfig {/*** 启动agent列表*/List<String> agentEnableList;/*** agent所在的默认路径*/String agentConfDir;/*** key:agentName  value:AgentConfig*/Map<String,AgentConfig> agentConfigMap;/*** 以线程方式启动*/String enableThread;/*** 类加载器类型 system:系统类加载器  url：自定义的urlClassLoader*/String classLoaderType;
}

某个agent的配置类

package com.sf.cnp.agent.config;public class AgentConfig {String name;/*** 配置目录*/String confDir;/*** agent jar路径*/String agentPath;/*** agent class name*/String agentClassName;/*** 参数*/String agentParam;/*** jvm参数*/String jvmParam;/*** 启动方法*/String agentStartMethod;/*** 销毁方法*/String agentStopMethod;/*** internal 内部的 agent 外部agent  file 文件  url 下载文件*/String type;/*** file 或url地址*/String filePath;/*** 以线程方式启动*/String enableThread;/*** 类加载器类型 system:系统类加载器  url：自定义的urlClassLoader*/String classLoaderType;/*** 是否加到bootstrap path*/String addBootStrapPath;public AgentConfig(){//默认值this.type = "agent";this.agentStartMethod = "premain";this.addBootStrapPath = "false";}}