阿里巴巴数字化运营能力

1、鹰眼平台的架构

首先在每个应用集群的运行环境中，每当应用中进行了远程服务调用、缓存、数据库访问等操作时，都会生成相关的访问日志并保存到应用所在的服务器上。

因为这些本地日志信息仅仅是一次业务请求处理中的部分日志信息，必须要将这些日志信息汇聚到一个地方才能进行全局的统计和查看，所以在每个运行应用所在的服务器上均有一个代理程序，专门负责实时地将生成的日志文件(增量)发送到鹰眼的处理集群上。

鹰眼平台是阿里巴巴中间件团队自主研发的 JStorm流式计算引擎，对应用集群接收到的日志进行内容的解析拆分，按照不同业务场景的需求将拆分后的数据保存到不同的存储系统中。对于需要对日志信息进行实时业务统计的需求，会将日志信息保存到HBase中，对接收到的日志信息进行实时的汇总计算，最后给鹰眼服务器提供实时业务统计数据，比如某一服务实时的QPS值、交易金额的实时变化等场景。如果对于日志信息要进行批量的统计和分析，则会利用Hadoop分布式文件系统 (HDFS)提供这类业务场景下对日志数据的计算和分析。

2、埋点和输出日志

在每一个URL请求都会生成一个全局唯一的ID，鹰眼平台中称为TraceID，这个ID 会出现在该请求中所有服务调用、数据库、缓存、消息服务访问时生成的所有日志中。阿里巴巴采用了方式，将实现服务调用、各种资源的访问所需要生成服务链路日志，以及TraceID传递等功能的代码(称为埋点)植入到了服务框架层和各资源的访问驱动层，也就是在中间件层面上统一实现了鹰眼的上下文创建以及日志埋点功能，让调用上下文在中间件的网络请求中传递，同时将调用上下文信息保存在了本地ThreadLocal中，从而实现了鹰眼平台所需的调用上下文和日志信息对于应用开发人员完全透明。

关于TraceID的生成规则，可以根据业务的需要在TraceID中包含一定的业务信息，比如前端应用的IP地址，这样可以通过该信息快速定位到生成此次请求的前端应用;比如创建时间，方便后期将修改日志信息按照时间维度进行分区存储。在淘宝的环境中，TraceID一般会包含以下信息:

·IP地址:在淘宝环境可直接映射到前端应用。

·创建时间:在存储时用于分区。·顺序数:用于链路采样。

除了TraceID负责将URL请求中所有的服务调用和资源访问关系串联在了一起，还有另外一个 ID在分布式服务调用过程中也起到非常重要的作用，这个ID就是RCPID，用于标识日志埋点顺序和服务调用间的嵌套关系。

3、海量日志分布式处理平台

利用了阿里巴巴中间件团队开发的海量日志分布式处理平台 TLog。

TLog可以根据用户定制的处理流程，持续不断地对目标机器生成的日志数据进行解析、计算、入库等操作，对日志的处理流程提供了“所见即所得”的可视化配置界面，具备零业务侵入、高性能、实时性强等特点。

要接入TLog平台，只需完成三步操作配置: 日志采集设置、日志数据处理流程自定义、API 方式数据获取，就能通过分布式日志处理的方式实现所需要监控的技术或业务指标信息。用户只需设置好日志收集的目标应用、机器 IP、日志路径等信息并保存后，就完成了采集点的配置工作。

***********************************************************************

【如果文字看累了，可b站搜索“沙皮狗2021”，用听的方式领略知识的魅力】

传送门：https://space.bilibili.com/407643589

【微信公众号】：沙皮狗2021

***********************************************************************

阿里巴巴数字化运营能力相关推荐

神策数据《2022 中国企业数字化运营成熟度报告》发布
数字化浪潮已成为互联网后中国经济发展的主要推动力,国家"十四五"规划纲要提出"加快数字化发展,建设数字中国",在此背景下,各行各业纷纷开展数字化转型,期望实现数 ...
重磅 | 神策数据微信生态数字化运营解决方案上线！
后疫情时代,小程序日新月异,如何才能抓住红利? 微信生态.APP.官网.CRM.线下业务.第三方平台--平台很多,数据割裂,运营孤岛现象如何解决? 近日,神策数据上线微信生态数字化运营解决方案,数据驱 ...
【干货】从0到1打造企业数字化运营闭环白皮书.pdf（附下载链接）
大家好,我是文文(微信:sscbg2020),今天给大家分享神策数据用户行为洞察研究院发布的白皮书<从0到1打造企业数字化运营闭环白皮书.pdf>. 在中国互联网信息中心(CNNIC)发布 ...
神策数据徐美玲：银行数字化运营建设路径与实践解读
近日,神策数据银行事业部总经理徐美玲出席由中国金融认证中心(CFCA).数字金融联合宣传年主办的"转型加速 2022"--CFCA 数字生态大会,就数字化运营对于银行业的价值展开分 ...
如何围绕用户数字化运营？
2022 年上半年,我国经济 GDP 增长为 2.5%,社会消费品零售总额 210432 亿元,同比下降 0.7%.上半年,全国网上零售额 63007 亿元,同比增长 3.1%.其中,实物商品网上零售 ...
数字化转型导师坚鹏：企业数字化营销能力提升
企业数字化营销能力提升课程背景: 很多企业存在以下问题: Ø 不清楚数字化营销对企业发展有什么影响? Ø 不知道如何提升企业数字化营销能力? Ø 不知道企业如何开展数字化营销工作? 课程特色: Ø ...
金仕达数字化运营解决方案，助力期货公司构建4大核心能力
在以"私域运营,期货行业新增长引擎"为主题的金仕达2022期货互联网转型私享会上,金仕达互联网产品部负责人向捷从"证券和期货行业数字化运营的发展对比"和&quo ...
【金猿案例展】阳光保险：财险平台线上数字化运营
诸葛io案例本案例由诸葛io投递并参与评选,数据猿独家全网首发:更多关于[金猿榜/奖·2019征集评选]的相关信息,请点击这里了解详情丨征案例.征文章.征产品=评企业.评人物.评产品. 大数据产业创 ...
亚信安全发布“安全定义边界”2020发展理念赋能企业在5G时代的数字化安全运营能力
2020年4月21日,以"信行合一聚势致远"为主题的亚信安全2020合作伙伴大会正式在云端拉开帷幕,超过1500家生态伙伴相聚云端,在为期3天的大会上共话安全,共商发展.会上,亚 ...

阿里巴巴数字化运营能力

阿里巴巴数字化运营能力相关推荐

最新文章

热门文章