作者:个推应用平台基础架构高级研发工程师 阿飞

在微服务架构体系中,由于微服务众多,服务之间又有互相调用关系,因此,一个通用的分布式配置管理是必不可少的。一般来说,配置管理需要解决配置集中管理、在系统运行期间可实现动态配置、配置修改后支持自动刷新等问题。

在大多数微服务体系中,都会有一个名为配置文件的功能模块来提供统一的分布式配置管理。构建配置中心,统一对应用中各个微服务进行管理,对微服务体系的意义重大。

Consul为什么适合做配置管理

Consul作为轻量级的分布式K/V存储系统,搭建方便,可用性高,并且支持多数据中心,提供Web UI进行K/V管理。此外Consul还可以结合Consul-Template或者在代码中引入Consul Client的相关依赖创建Watcher来实时Watch K/V的变化,是配置管理的不二之选。

下图为个推微服务体系基于Consul配置管理的整体设计。其中,CCenter就是在Consul的基础上进行二次开发的配置中心。

微服务体系下配置的分类和组织形式

在实践中,不同产品线的配置会放置在Consul的不同路径下,实现不同产品线配置之间的隔离。


按照配置的用途,可将同一产品线下的配置分为三类:

1.API网关相关配置;

2.服务注册与发现相关配置;

3.应用相关配置。

其中,每类配置会对应Consul上的不同目录。


按照配置的变化特性,可将配置分为两类:

1.环境相关的全局配置

如MySQL等外部依赖相关的配置和其他与环境相关的配置,这类配置在开发测试生产环境中存在差异,需要为不同环境配置不同的值。
2.应用本身的配置

一般为不经常性发生变化、可动态调整、开关的配置。这类配置比较稳定,在初始化后,只有在需要时才会改动,通常会设置默认值。这两类配置在Consul上会放在不同的子目录下。这样QA、运维只需要关注环境差异部分即可。

基于以上对配置的分类,最终Consul上的Key的格式如下:

/ProductLine_Prefix/Usage_Prefix/Environmental_Correlation_Prefix/Config_Item_Path

其中,

ProductLine_Prefix:用来隔离不同产品线的配置;

Usage_Prefix:用来区分配置的用途;

Environmental_Correlation_Prefix:用来分隔与环境相关的配置;

Config_Item_Path:具体的配置项。

配置在Consul上的组织形式有以下两种:

1.以配置文件的形式组织,Consul上的一个K/V,对应一个配置文件,如nginx的配置文件。

2.以配置项的形式组织,将配置文件模板化,拆成一个个的配置项,每个配置项对应Consul上的一个K/V,多个配置项对应一个配置文件。大部分配置文件本身都是以K/V的形式组织的,均适合模板化,模板化后即可以按照配置项的特性,在Consul上分成不同的类别进行管理。

如何实现配置更新

Consul上的K/V,要如何生成可加载的应用,或可使用的配置呢?

1.用Node和Lua实现的微服务的配置更新,使用Consul-Template来实现;

2.用Java实现的微服务的配置更新,通过Consul-Template工具(需要重启应用)和在代码中引入Consul Client的依赖创建Watcher(热更新)这两种方式来实现。


Consul-Template如何使用?

Consul-Template是一个后台进程,它可以根据Watch Consul上K/V的变化,更新任意数量的模板,同时生成对应的文件,之后还可以运行任意的命令。要使用Consul-Template一般需要定义两个文件:

1.模板文件

模板文件一般按照Go Template的格式进行编写,示例如下:

config-tree.ctmpl:

{{ tree /consul/path/to/configFiles | explode | toJSONPretty }}

该模板在/consul/path/to/configFiles路径下的配置发生变化时,会渲染出一个Json格式的字符串,其中包含了/consul/path/to/configFiles下所有的K/V.

config-kv.ctmpl:

return {host='{{ printf "%s/mysql/host" (env "CONSUL_CONFIG_PREFIX") | key }}',port={{ keyOrDefault (printf "%s/mysql/port" (env "CON-SUL_CONFIG_PREFIX"))  "3306" }},user='{{ printf "%s/mysql/user" (env "CONSUL_CONFIG_PREFIX") | key }}',password='{{ printf "%s/mysql/password" (env "CON-SUL_CONFIG_PREFIX") | key }}'
}

该模板是按照配置项来渲染的,在该模板中使用了Consul-Template定义两个方法key和keyOrDefault。其中,key会在Consul上对应的K/V创建后,再进行渲染模板;keyOrDefault则会在Consul上没有对应的K/V时,使用默认值代替。

模板中还使用了 " CONSUL_CONFIG_PREFIX " 这个环境变量,这样,不同的产品线便可以使用同一个模板文件,只需要修改" CONSUL_CONFIG_PREFIX "这个环境变量的值即可。

2.配置文件

配置文件是按照HashiCorp Configuration Language (HCL)编写的,示例如下:

template {source = "config-tree.ctmpl",destination = "config-tree.json",command  = "sh updateAndReload.sh config-tree.json”
}template {source = "config-kv.ctmpl",destination = "config-kv.lua",command  = "sh updateAndReload.sh config-kv.lua”
}

该配置文件的作用是使用" source"指定的两个模板文件进行渲染,将渲染的结果分别保存在" destination"指定的文件中,保存成功后,分别运行" command"指定的命令来更新并加载配置文件。


配置的更新方式

在个推的微服务体系中,配置的更新方式有两种:

1.替换配置文件,reload服务

2.调用服务接口直接更新内存中的配置

而在Java实现的微服务中,热更新配置通常是在代码中引入Consul Client的依赖,在应用启动时,会初始化一个Watcher来监听Consul上对应目录下K/V的变化,相关的K/V发生变化时,Watcher会负责将其拉取下来,然后调用相关的代码进行配置的更新。

基于Consul的二次开发-CCenter

配置中心CCenter在Consul上提供了更友好的WEB UI,并且增加版本控制,每次配置的更新都会生成一个版本,在应用版本后,配置才真正生效,可以更加方便地进行配置版本间的差异比较,应用任意版本的配置。

总结

以上就是个推在微服务实践中,基于Consul实现的一套配置管理的方案,作为轻量级的分布式K/V存储系统, Consul非常适合用于配置管理,可以帮助开发者们方便、快速地搭建配置中心,结合Consul-Template则可以方便地实现配置的实时更新,在Consul的基础上进行二次开发,实现了配置版本的有效控制,对微服务的配置管理起到了良好的辅助作用。

转载于:https://www.cnblogs.com/evakang/p/10430396.html

个推基于Consul的配置管理相关推荐

  1. 个推基于Docker和Kubernetes的微服务实践

    2019独角兽企业重金招聘Python工程师标准>>> 2016年伊始Docker无比兴盛,如今Kubernetes万人瞩目.在这个无比需要创新与速度的时代,由容器.微服务.DevO ...

  2. QCon技术干货:个推基于Docker和Kubernetes的微服务实践

    2019独角兽企业重金招聘Python工程师标准>>> 2016年伊始,Docker无比兴盛,如今Kubernetes万人瞩目.在这个无比需要创新与速度的时代,由容器.微服务.Dev ...

  3. 基于Consul的数据库高可用架构【转】

    几个月没有更新博客了,已经长草了,特意来除草.本次主要分享如何利用consul来实现redis以及mysql的高可用.以前的公司mysql是单机单实例,高可用MHA加vip就能搞定,新公司mysql是 ...

  4. 服务注册发现consul之四: 分布式锁之四:基于Consul的KV存储和分布式信号量实现分布式锁...

    一.基于key/value实现 我们在构建分布式系统的时候,经常需要控制对共享资源的互斥访问.这个时候我们就涉及到分布式锁(也称为全局锁)的实现,基于目前的各种工具,我们已经有了大量的实现方式,比如: ...

  5. java B2B2C源码电子商务平台-基于Consul的分布式锁实现

    分布式锁实现 需要JAVA Spring Cloud大型企业分布式微服务云构建的B2B2C电子商务平台源码:壹零叁八柒柒肆六二六 基于Consul的分布式锁主要利用Key/Value存储API中的ac ...

  6. 基于consul实现微服务的服务发现和负载均衡

    一. 背景 随着2018年年初国务院办公厅联合多个部委共同发布了<国务院办公厅关于促进"互联网+医疗健康"发展的意见(国办发[2018]26号)>,国内医疗IT领域又迎 ...

  7. .NET Core微服务之路:基于Consul最少集群实现服务的注册与发现(一)

    原文:.NET Core微服务之路:基于Consul最少集群实现服务的注册与发现(一) Consul介绍 Consul是HashiCorp公司推出的开源工具[开源地址:https://github.c ...

  8. f12控制台如何查看consul_基于 Consul 的 Go Micro 客户端服务发现是如何实现的

    基于 Consul 的 Go Micro 客户端服务发现是如何实现的 由 学院君 创建于1年前, 最后更新于 1年前 版本号 #1 上篇分享我们介绍了基于 Consul 作为注册中心的 Go Micr ...

  9. .NET Core 3.0之创建基于Consul的Configuration扩展组件

    经过前面三篇关于.NET Core Configuration的文章之后,本篇文章主要讨论如何扩展一个Configuration组件出来.如果前面三篇文章没有看到,可以点击如下地址访问 .NET Co ...

最新文章

  1. python大数据结课报告_2020知到大数据分析的PYTHON基础结课答案
  2. 获取访问者的IP地址
  3. 【风控决策】风控决策引擎
  4. centos6.5 搭建NFS 服务
  5. c语言结构体易错点,C语言结构体注意点
  6. 程序员如何技术划水,手把手教你写Android项目文档,绝对干货
  7. 被自己的行为蠢哭了,意识到原因后真香!
  8. Eslint 配置 + 规则说明 - 综合引入篇
  9. resopnse处理HTTP文件头
  10. oracle 赋予dorp,oracle表空间(tablespace)的增删改查(create/drop/rename,move/select)
  11. APPCAN学习笔记002---app快速开发AppCan.cn平台特色
  12. 让div垂直居中的5种方法
  13. MTK刷机(ubuntu下)
  14. Python图片处理PIL简介
  15. ImportError: cannot import name ‘PILLOW_VERSION‘ from ‘PIL‘ (/home/user8/anaconda3/envs/FCOS/lib/pyt
  16. android: 禁止多点触控
  17. Java Exception的日志输出
  18. 异常检测论文阅读《Anomaly Detection in Video Sequences: A Benchmark and Computational Model》
  19. 小学教师计算机个人研修计划,小学教师信息技术个人研修计划书
  20. 运用百度框架paddle进行手势识别【动手实践,附源码】

热门文章

  1. 织梦使用if判断某个字段是否为空
  2. 非常干货之Python资源大全
  3. 可以获取get post url 传递参数的统一方法
  4. Mr.J-- jQuery学习笔记(十二)--移入移出事件电影排行榜小demo
  5. eclipse中Lombok注解无效
  6. 过拟合怎么产生的?防治措施?
  7. dubbo中使用kryo进行对象序列化,反序列化时报错
  8. string中获取所有数字
  9. 18110 Koishi's travel, Satori's travel
  10. 绝对定位的div的居中方法,下面的写法兼容IE系列浏览器和火狐浏览器。