序言

企业应用系统发展越来越庞大,依赖越来越多的产品组件,集成越来越多系统, 整体应用系统的性能取决于”木桶短板“,为了捕捉系统的短板问题,更好的持续优化,需要一套完备的”可观测性“系统,为系统架构师们或者决策者们提供数据库支持。

可观测性

什么是可观测性呢?简单来说,就是日志、指标、链路追踪的整套监控体系。

图示:可观测性示意图

应用系统运行会产生很多运行日志,包括中间件日志、框架日志、业务日志等,日志需要集中化的平台,便于回溯系统的问题,如java领域log4j2日志框架。

应用系统运行也需要实时记录指标,包括内存、cpu、网络io、磁盘io、线程io等多种实时指标,便于观察业务需求与应用系统的性能问题,如java领域micrometer框架。

微服务时代,纯粹的单体程序已经很少,服务之间依赖众多,链路调用复杂,无论是企业内部系统集成还是外部三方服务依赖,都越来越多,也很复杂,需要功能强大且性能消耗低的链路追踪框架产品,如spring cloud体系zipkin框架。

可观测性产品简单比对

可观测性领域,功能特性完备的产品有很多,萝卜白菜,各有所长。

有来自韩国开源产品 pinpoint,可视化图非常漂亮,但其基于hbase的存储设计,部署运维复杂度较高,对于小规模企业并没有那么容易上手。

有经典开源的Elastic Stack产品体系 ,功能完备,日志、指标、链路追踪全部都有,可模块化集成,但其面向全球性的界面设计,对于中文开发者,体验有点别扭。

有来自国内著名的开源产品skywalking,以APM为核心,专注于应用程序链路追踪,扩展了周边很多特性、产品可视化对中文开发者友好,但其后端数据存储依赖三方数据库,如Elasticsearch;目前市面上很多收费的企业级可观测产品多数都是围绕elasticsearch展开。

skywalking 与elasticsearch 融合

skywalking支持多种数据库存储,基于个人经验评估,最佳的依然是Elasticsearch,目前支持es6/es7/es8等多种版本。

图示:来自skywalking官方

skywalking在融合elasticsearch方面,做了很多优化性的配置,但在笔者看来,这些都是一些一般性的设计,并没有很好的融合elasticsearch最新的特性与特点。

图示:来自dbaplus社区分享

大家都知道 elasticsearch版本发布非常快,功能特性迭代也非常快,如最新es8.5推出了时序索引,官方性能压测同比过去存储节约近50%,结合官方的datastream特性,可以让skywalking在很多方面设计配置可以更加简化。

skywalking 案例实践

skywalking与elasticsearch融合,快速实践非常简单,分为以下三个步骤:

1. elasticsearch 启动

选择 elasticsearch 8.5.x 版本,默认启动会自动配置安全策略,支持ssl+https

图示:es首次启动会自动生成安全配置信息 图示:es首次启动会生成超级用户与密码

2. skywaling 启动

选择skywalking 9.2.x版本,数据存储配置指向 elasticserch,配置基本的用户名与密码

图示:skywalking 数据存储配置

3. java 应用集成

选择skywalking-java 8.13.x版本,采用javaageng方式集成,数据采集配置指向skywalking后端

java -javaagent:/path/to/skywalking-agent/skywalking-agent.jar -jar yourApp.jar

图示:agent.config配置skywalking采集地址

4. 案例示意图

图示:skywalking在elasticsearch创建的索引 图示:skywalking展示的服务调用链路

课程直播

以上内容简单的介绍了可观测性领域的技术产品与选择,实际skywalking与elasticsearch数据平台融合远不止于此,为此,我们准备了一次免费的实战直播课,您将获得对于Elasticsearch以及Elastic Stack 更多的认知:

  • 1、全新认识elasticsearch +skywalking 最佳组合实践

  • 2、动态体验最新 elasticsearch 8.5.x 安装与部署

  • 3、动手体验skywalking 实时监控 java应用程序运行状态

  • 4、全新认识 Elastic Stack技术栈有哪些?如何掌握与组合应用?

  • 5、全新认识 Elastic Stack 8.5.x 应用场景?对于ES的认识还是停留在全文检索阶段是否正确?

扫码立即报名:咕泡科技颖子老师

参考文献

skywalking 官方参考

  • skywalking 部署配置官方参考

https://skywalking.apache.org/docs/main/v9.2.0/readme/

skywalking-java-agent

  • skywalking-java agent 应用集成官方参考

https://skywalking.apache.org/docs/skywalking-java/v8.13.0/en/setup/service-agent/java-agent/readme/

elasticsearch 8.5.x 最新特性

  • elasticsearch 8.5.x 最新特性之时序数据

https://www.elastic.co/guide/en/elasticsearch/reference/8.5/release-highlights.html

关于我们

讲师:李猛 (Elastic King 数据领域专家)

  • Elastic Stack 国内顶尖实战专家

  • ELastic Stack 技术社区分享嘉宾

  • 国内首批Elastic 官方认证工程师21人之一

  • 阿里云MVP(大数据领域)

  • DBAPlus MVP(原创内容贡献者)

  • GitHub:https://github.com/ynuosoft

  • 咕泡科技 《Elastic (ELK) Stack 架构师成长路径》主讲老师。

  • 2012年接触Elasticsearch,对Elastic Stack 技术栈开发、架构、运维、源码、算法等方面都有深入实战。

  • 负责过多种 Elastic Stack 实战应用项目,大数据分析领域、机器学习预测领域、业务查询加速领域、日志平台分析领域、基础指标监控领域、全文分词检索领域等。

  • 服务过多家企业、提供Elastic Stack 咨询培训以及调优实施。

  • 多次在 Elastic Stack 技术社区分享,发表过多篇实战干货案例文章。

  • 十五年IT技术实战从业经验,涉猎行业众多、电商、物流、传统企业等,擅长大数据、系统架构等领域。

一起体验 skywalking+es8.5.x 实时监控应用运行信息相关推荐

  1. python实时监控电脑运行信息(邮件预警)

    直接上代码 python在学习阶段,存在多出冗余代码 应用场景 实时监控电脑本地系统运行情况,或某个进程 内存占用过大,指定时间内,进行邮件警示,发送信息于指定运维人员 流程 程序运行 --> ...

  2. 实时监控TCP Reset信息的二进制hook手艺

    玩二进制hook上瘾可以,但不能走火入魔,继监控TCP半连接队列,计数iptables DROP以后,本文来实时监控TCP Reset报文信息,我保证,本文是这个关于二进制hook手艺的最后一篇. 当 ...

  3. 5分钟完成业务实时监控系统搭建,是一种什么样的体验?

    简介:道旅需要构建一个全面的指标监控系统,既包括系统的业务指标:如各类业务类型的请求数变化,不同供应商信息的变化,客户请求的明细大盘,各酒店请求量的排名变化,不同城市的订单转换率分析报表等:也包括系统 ...

  4. 用Saltstack的modules和grains实现实时监控平台

    有几个朋友一直问我,页面的实时监控咋做. 他们在做idc节点的监控,我推荐用smokeping和zabbix接口的方式测试.但那哥们挺执着的,非要好看点的图表~ 关于运维业务的实时监控,我做过两套方案 ...

  5. 实时监控后台数据 vue_实时数据监控,快速掌握B站爆款视频热度走向

    飞瓜数据B站版的数据监控功能提供对B站UP主监控功能,实时掌握UP主视频热度走向和投放效果. 通过监控输入B站视频链接,设定24/48时长开始对其监控.监控开始后在监控报告中查看对应视频的数据曲线变化 ...

  6. 别人家的防疫实时监控大屏是怎么做的?方法和技巧都在这里了

    复工返学高峰季是疫情防控的要紧时期,引起了全国企业和高校的高度重视.不少公司和学校将信息化手段应用到了防疫工作中,数字大屏可以用做防疫数据监控的前端平台,也能通过数据展示警醒大家不可放松警惕,在防疫数 ...

  7. 业务实时监控服务ARMS推出小程序监控支持各种小程序

    阿里云ARMS业务实时监控服务全新推出小程序监控,支持多种小程序,阿里云百科网分享: ARMS小程序监控 阿里云ARMS小程序监控 ARMS全面监控小程序,三大特色助力提升用户体验: 覆盖各类小程序监 ...

  8. 兰州主城区将实时监控 年内享受市民一卡通

    2011年8月28日,兰州市城关区市民公共服务呼叫中心正式启用,中心集"语音网.互联网.无线网"三种服务模式于一体,辖区百万居民已经率先享受到了城市管理数字化带来的便捷和高效.随着 ...

  9. C++基于OpenCV实现实时监控和运动检测记录

    基于OpenCV实现实时监控并通过运动检测记录视频 一.课程介绍 1. 课程来源 课程使用的操作系统为 Ubuntu 14.04,OpenCV 版本为OpenCV 2.4.13.1,你可以在这里查看该 ...

最新文章

  1. python位运算符
  2. c语言程序设计a考试题,C语言程序设计考试题(A).doc
  3. [EffectiveC++]item41:了解隐式接口和编译期多态
  4. 利用反射球实现镜面效果
  5. 用python定义一个员工类_python类的定义和使用
  6. BZOJ5379: Tree
  7. .net mvc web api上传图片/文件并重命名
  8. Linux安装source-code-pro字体
  9. Ubuntu18.04安装最新R语言环境的方法
  10. 将Sublime Text 添加到鼠标右键菜单的教程方法
  11. 十大因素——造就优秀的董事长
  12. 贪心算法--会议安排
  13. 百度世界2020技术“大阅兵”背后的营销战役
  14. Android应用内跳转Scheme协议
  15. 浪潮服务器键盘自动输空格,键盘空格键的常用技巧分享
  16. 解决cannot find -lopencv_dep_cudart问题
  17. html水平排列三个元素,且三者占宽度相同
  18. thinkphp实现邮箱发送
  19. C#,图像二值化(22)——局部阈值的伯恩森算法(Bernsen Thresholding)及源程序
  20. C# Console Application 带参数调试

热门文章

  1. Typora使用系统安装的字体
  2. 筛选法求素数一般方法求素数判断一个数是否是素数
  3. Latex学习笔记(一)
  4. 你要问我应用层?我就和你扯扯扯,高级java工程师面试
  5. 学习笔记---程序员练级攻略(入门篇、修养篇、专业基础篇、软件设计篇、高手成长篇)
  6. 闪兼云怎么样,与大家聊一聊闪兼云
  7. matlab编程mindlin解,MATLAB对mindlin解进行三重积分
  8. 我的世界java怎么配置文件,我的世界 Java怎么配置相关问题解答
  9. (快速入门深度学习)证件照生成项目
  10. 阿里系网商银行获准开业 不设物理网点只服务长尾