前言

HSF是一个分布式的远程服务调用框架,其实我更喜欢把分布式几个字去掉,因为HSF本身并不是一个单独的服务(指一个进程),他是附属在你的应用里的一个组件,一个RPC组件(远程过程调用——Remote Procedure Call,是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发分布式应用更加容易),当然HSF完全的内容肯定不止这些。

说了那么久HSF全称是什么呢?High-Speed Service Framework

RPC

我们先来看一张图:

hsf-up.png

很多同学看了这张图可能会觉得这跟http的过程有什么区别?

有这么一个场景(本来想举一个便具体业务的例子,想想还是已技术实现相关的比较好),监控平台:监控所有主机的状态,这时候每台主机上有一个agent,每个几秒向监控平台上传一次数据(主机内存使用率、硬盘状况、CPU、load、进程信息等等)。

可能在开发的时候最简单的方式就是监控平台有一个http接口,agent每隔几秒请求一次,能够满足需求,但是如果主机数快速增长了很多、监控项越来越多、请求体越来越大,你会发现http的传输效率下降了,每一次调用的耗时增加了。

这时我们会去研究http协议,想去优化这个过程,发现http的过程是:建立连接、发送请求信息、发送响应信息、关闭连接,看到这个过程首先想优化的就是能不能不要每次都去建立连接关闭连接,因为数据上报是个持续的过程;紧接着去研究http头,发现很多协议用不到,繁杂,白白增加了消息体;后来又觉得http的协议解析还原过程很复杂,可以自己开发一个提升性能......

RPC来了,他能满足这些需求,但是前提是需要开发,需要前期成本,所以想项目设计时就要去衡量,不过没事,我们有HSF啊。

我们将上图稍微改造一下:

hsf-http-rpc.png

现在从图中可以看着,client和server之间有一条长连接,并且我们有自己的协议体:RpcRequest和RpcResponse。

RPC就讲到这里,毕竟重点是HSF,想要更多的了解RPC,可以上wiki或者网上查询。

HSF架构

其实在我们的应用中,一般情况下你的应用不仅仅是client,也是server,因为你不仅需要去调用其他应用提供的服务,也提供服务给其他应用,所以这样一来,整个hsf的服务调用链路也会很复杂。

从上面两幅图中我们很显然的发现一个问题,就是服务提供者如何告知客户端他提供的服务,所以需要有一个服务注册与发现的地方,在HSF架构中提供这个功能的是configserver,如下图:

hsf-configserver.png

从上图可以看出server端启动的时候会向configserver注册自己提供的服务,client会向configserver订阅需要的服务,configserver通过订阅信息将相关服务提供者的地址以及其他关键信息推送给client。

上面已经实现了基本的能力,但是如何动态配置负载(线程池大小)、默认配置(configserver地址等)、还有一些特性功能(如路由规则),这时候就需要有一个持久化配置中心,如下图:

hsf-diamond.png

client和server启动的时候会先去diamond获取需要的配置信息,如最关键的服务注册中心的类型和地址,除此之外之外还有服务治理的类型和地址等。

重点说一下路由规则,举个例子:通过路由规则配置在服务调用的时候只调用同机房的server,这样子服务调用的耗时肯定比跨机房的耗时短。除此之外hsf里还单独写了unitService进行服务单元发布来区分中心发布,这些番外的东西以后有时间再写个番外篇,这里就不过多阐述了,毕竟这些有点偏场景偏业务的内容以后可能就改成别的方式了。

hsf-ops.png

相信大家都用过hsf服务治理网站,通过这个网站可以看到有哪些服务、服务提供者的地址是多少、有多少提供者、具体的消费者是谁,hsf通过configserver、redis、diamond里的存储信息获取到这些信息。

redis功能:HSF使用Redis存储元数据,每一个HSF Consumer/Provider 都会在启动后、每隔一段时间向redis上报元数据,这些元数据采集起来又提供给HSFOPS做服务治理,包括应用名和服务的映射、服务的元数据等。

服务的注册与发布

hsf-server.png

接下来我们把这个server解开,看看里面是怎么样的。

class="com.test.service.impl.HsfTestServiceImpl" />

init-method="init">

com.test.service.HsfTestService

${hsf.common.provider.version}

相信同学们对上面这段配置代码很熟悉,那么服务到底是怎么注册的呢,为什么这里配置了这个服务就可以被调用了呢?

从配置文件看到有个关键的bean——HSFSpringProviderBean,还有个关键的初始化方法init,其实init的过程就是服务发布的过程,我们来看看HSFSpringProviderBean中的部分代码:

public void init() throws Exception {

// 避免被初始化多次

if (!providerBean.getInited().compareAndSet(false, true)) {

return;

}

LoggerInit.initHSFLog();

SpasInit.initSpas();

providerBean.checkConfig();

publishIfNotInSpringContainer();

}

private void publishIfNotInSpringContainer() {

if (!isInSpringContainer) {

LOGGER.warn("[SpringProviderBean]不是在Spring容器中创建, 不推荐使用");

providerBean.publish();

}

}

从代码中很明显的看到服务发布providerBean.publish(),先来看大致类图,类图中有些不是很关键的先省略了:

hsf-server-uml.png

大致对类图进行解释一下,这也是服务发布的一个过程:

服务初始化,首先需要有一个提供服务的service实现类(spring bean)和接口;

初始化HSFSpringProviderBean,从配置文件获取服务名称、接口、实现类、版本等等;

providerBean是HSFApiProviderBean在HSFSpringProviderBean中的变量,HSFSpringProviderBean会将从配置文件获取的服务名称、接口、实现类、版本等等赋值给providerBean;

providerBean中有个服务实体类ServiceMetadata,providerBean会将服务发布的所有信息放在这里,如接口、实现类、版本等等,在整个发布过程中,ServiceMetadata是所有对象之间的传输对象;

这里先来解释一下为什么有HSFSpringProviderBean和HSFApiProviderBean,其实两个可以合并成一个,但是为什么要分开呢?我的理解是对于不同环境的不同实现,比如现在用的是spring环境,那就需要有个spring适配类HSFSpringProviderBean来获取配置信息,假如是其他环境那么就会有另一个适配类,最终把信息统一转成给HSFApiProviderBean,HSFApiProviderBean是来具体操作实现;

当执行providerBean.publish()时,会调用ProcessService的publish方法,具体实现类是ProcessComponent;

发布的具体流程就是ProcessComponent里:

第一步,调用rpcProtocolService来注册发布RPC服务,这个动作是在server本地发布一个线程池,每一个服务都会申请一个线程池,当请求过来时从线程池获取executor进行执行并返回;

第二步,检查单元化发布,就unitService在发布前检查是中心发布还是单元发布,对ServiceMetadata设置不同的发布路由;

第三步,通过metadataService将ServiceMetadata发布到ConfigServer上;

第四步,通过metadataInfoStoreService将ServiceMetadata保存到redis供服务治理或者其他用途。

服务注册发布大致就是这么一个过程。

HSF的Client

hsf-client.png

现在来看看client是如何去调用服务的。

上面一段配置文件相信在项目中肯定也非常常见,那么他是怎么运作的呢?在spring注入的时候并没有具体的实现类啊,只有一个接口?怎么实现调用的呢?

其实这是我一个好奇心的地方,我想去看个究竟,hsf到底是用何种方式去实现的。

我们先来思考一个问题,那就是没有具体实现类,hsf是如何实现在spring中注册服务的呢?答案就是动态代理,类似mybatis的方式,mybatis在写dao层的时候只是写了个接口,并没有具体实现,hsf跟这种方式很相像。

客户端分两部分来讲解:服务的订阅和被推送,服务的调用。

服务的订阅和被推送

先来看类图:

hsf-client-uml.png

一样我们通过类图来看服务的订阅和接收过程:

服务初始化,首先需要引入服务接口相关的pom,然后写配置文件;

将需要被调用的服务注册成spring bean,即上面配置文件中的内容。

这里用到了动态代理,通过类图我们可以看到HSFSpringConsumerBean实现了FactoryBean;

FactoryBean:是一个Java Bean,但是它是一个能生产对象的工厂Bean,通过getObject方法返回具体的bean,在spring bean实例化bean的过程中会去判断是不是FactoryBean,如果不是就返回bean,否则返回FactoryBean生产的bean,具体同学们可以去看AbstractBeanFactory的doGetBean方法,里面会调用getObjectForBeanInstance方法,这个方法里有具体实现;

HSFSpringConsumerBean实现了FactoryBean,那么getObject方法具体返回了什么呢?怎么返回的呢?

@Override

public Object getObject() throws Exception {

return consumerBean.getObject();

}

从代码看得出是调用了consumerBean(HSFApiConsumerBean)的getObject方法返回的,那么我们再来看getObject方法:

public Object getObject() throws Exception {

return metadata.getTarget();

}

这个方法返回的是metadata(ServiceMetadata)的target,那么target是怎么获取的呢?下面重点说明;

HSFSpringConsumerBean的init方法调用了consumerBean(HSFApiConsumerBean)的init方法,我们来看consumerBean里init方法的某一段代码:

ProcessService processService = HSFServiceContainer.getInstance(ProcessService.class);

try {

metadata.setTarget(processService.consume(metadata));

LOGGER.warn("成功生成对接口为[" + metadata.getInterfaceName() + "]版本为[" + metadata.getVersion() + "]的HSF服务调用的代理!");

} catch (Exception e) {

LOGGER.error("", "生成对接口为[" + metadata.getInterfaceName() + "]版本为[" + metadata.getVersion()

+ "]的HSF服务调用的代理失败", e);

// since 2007,一旦初始化异常就抛出

throw e;

}

int waitTime = metadata.getMaxWaitTimeForCsAddress();

if (waitTime > 0) {

try {

metadata.getCsAddressCountDownLatch().await(waitTime, TimeUnit.MILLISECONDS);

} catch (InterruptedException e) {

// ignore

}

}

这一段代码包含了动态代理对象的具体生成和服务订阅以及服务信息接收;

先说了一下代码逻辑,服务的订阅和服务信息的接收(被推送)在processService中执行,动态代理对象在processService中生成,下面的wait我推测是用来等目标服务信息的推送(当收到订阅的目标具体服务实现,接下来的调用过程才能走通);

看来processService是一个很重要的组件,这边通过processService.consume(metadata)这样的方法调用实现了那么多步骤,target也在这里面生成,说一下这个方法内的逻辑:

首先去缓存中找是否之前target有生成,有就返回;

没有就通过java Proxy生成对象;

订阅服务信息(返回的可调用地址);

保存客户端metadata到redis,返回target。

target.png

到此为止,服务代理对象的生成,服务的订阅都完成了,接下来看看服务的调用。

服务的调用

其实通过上面两个部分整个框架已经定好了,服务信息已经注册发布,客户端也获取到了服务的调用地址,接下去就是调用就行,调用呢就是真正的rpc请求了,hsf的rpc是通过netty实现的。

直接上类图:

hsf-call.png

之前说了动态代理,那么在方法执行时就行进入代理类执行,执行HSFServiceProxy的invoke方法,invoke方法会调用trueInvoke方法:

在trueInvoke里调用RPCProtocolTemplateService,在这里封装HSFRequest,执行具体的invoke方法;

具体的invoke方法调用RPCProtocolService,在这里主要是根据invokeType来确定具体的InvokeService实现,最基本的我们知道hsf服务有同步调用和异步调用,具体实现就在这里;

最后在具体的实现类的获取NettyClient,跟server进行通信,返回HSFResponse。

简单说下服务端的流程:

服务端会启动nettyServer,具体由NettyServerHandler来处理所有rpc请求;

NettyServerHandler会根据HSFRequest找到具体的handler,这边是RPCServerHandler,除此之外还有心跳啊等等handler;

通过handler获取具体执行的executor(这个在之前服务注册那边有讲,每个服务本地会申请线程池,threadpoolexecutor);

new一个HandlerRunnable放进executor执行executor.execute(new HandlerRunnable);

最终在handler里调用ProviderProcessor,ProviderProcessor会找到具体的服务实现类并执行,将执行结果封装成HSFResponse,向client返回HSFResponse。

total.png

写在最后

我在这里讲得更多的是主链路,里面有很多具体的细节比如路由、鹰眼追踪、日志、负载等等没有展开讲,其实每个点拿出来都可以写一篇文章,可能对于hsf的开发同学来说,每一个点都会有一个很好玩的故事,那么关于HSF就先讲到这里。

hsf 架构_HSF源码剖析相关推荐

  1. hsf 架构_HSF源码剖析 - 汪兴的个人空间 - OSCHINA - 中文开源技术交流社区

    前言 HSF是一个分布式的远程服务调用框架,其实我更喜欢把分布式几个字去掉,因为HSF本身并不是一个单独的服务(指一个进程),他是附属在你的应用里的一个组件,一个RPC组件(远程过程调用--Remot ...

  2. underscore源码剖析之整体架构

    前言 最近打算好好看看underscore源码,一个是因为自己确实荒废了基础,另一个是underscore源码比较简单,比较易读. 本系列打算对underscore1.8.3中关键函数源码进行分析,希 ...

  3. 儒猿秒杀季!微服务限流熔断技术源码剖析与架构设计

    疯狂秒杀季:49元秒杀 原价 299元 的 <微服务限流熔断技术源码剖析与架构设计课> 今天 上午11点,仅 52 套,先到先得! === 课程背景 === 成为一名架构师几乎是每个程序员 ...

  4. 一箭双雕 刷完阿里P8架构师spring学习笔记+源码剖析,涨薪8K

    关于Spring的叙述: 我之前死磕spring的时候,刷各种资料看的我是一头雾水的,后面从阿里的P8架构师那里拿到这两份资料,从源码到案例详细的讲述了spring的各个细节,是我学Spring的启蒙 ...

  5. python解释器源码 pdf_《python解释器源码剖析》第0章--python的架构与编译python

    本系列是以陈儒先生的<python源码剖析>为学习素材,所总结的笔记.不同的是陈儒先生的<python源码剖析>所剖析的是python2.5,本系列对应的是python3.7. ...

  6. Kafka源码剖析 —— 网络I/O篇 —— 浅析KafkaSelector

    为什么80%的码农都做不了架构师?>>>    ##NioSelector和KafkaSelector有什么区别? 先说结论,KafkaSelector(org.apache.kaf ...

  7. 老李推荐:第5章5节《MonkeyRunner源码剖析》Monkey原理分析-启动运行: 获取系统服务引用 1...

    老李推荐:第5章5节<MonkeyRunner源码剖析>Monkey原理分析-启动运行: 获取系统服务引用 上一节我们描述了monkey的命令处理入口函数run是如何调用optionPro ...

  8. Spring源码剖析——Bean的配置与启动

    IOC介绍   相信大多数人在学习Spring时 IOC 和 Bean 算得上是最常听到的两个名词,IOC在学习Spring当中出现频率如此之高必然有其原因.如果我们做一个比喻的话,把Bean说成Sp ...

  9. cmd怎么运行http_Scrapy源码剖析(二)Scrapy是如何运行起来的?

    阅读本文大约需要 15 分钟.本文章代码较多,如果手机端阅读体验不好,建议先收藏后在 PC 端阅读. 在上篇文章:Scrapy源码剖析(一)架构概览,我们主要从整体上了解了 Scrapy 的架构和数据 ...

  10. boost源码剖析之:多重回调机制signal(下)

    boost源码剖析之:多重回调机制signal(下) 刘未鹏 C++的罗浮宫(http://blog.csdn.net/pongba) 在本文的上篇中,我们大刀阔斧的剖析了signal的架构.不过还有 ...

最新文章

  1. JS大宗师Douglas新书即将开印,就差一个书名了
  2. Python 中的属性访问与描述符
  3. java基础---设计一个死锁
  4. H - Holy Grail
  5. mysql 停止服务内存_服务器莫名的内存高占用 导致 MySQL 停止运行问题
  6. 【Python】利用pip下载Django超时失败的解决方法
  7. datagridview 绑定list 不能刷新界面_人人都可写代码-H5零基础编程-发布活动界面实操07...
  8. html 弹出一个邮件连接,mailto scheme 高级用法, 显示带html样式的邮件文本
  9. 关于HTTP及XMLHTTP状态代码一览
  10. 生成XML文件的步骤 解析XML文件
  11. 现场操作前,软件界面的各个功能面板应该通过拖动进行合理布局.请看参考图
  12. 【目标跟踪】基于matlab背景差分多目标捕捉【含Matlab源码 810期】
  13. syslog (cactiez)
  14. ie8兼容性视图灰色修复_兼容性视图_win7兼容性设置选项为灰色
  15. ICTCLAS汉语词性标注集+中文字体对应的文件名+ 常用字体、颜色、线性、标记
  16. 研究人员发现英特尔芯片组中可能被黑客使用的“新功能”VISA
  17. 网络控制播放器(局域网内通过TCP和UDP控制视频播放器)
  18. 上海学车科目二,科目三容易扣分点分享,你了解多少
  19. php根据淘宝短链接获取商品ID
  20. “毒舌”专家解析大数据应用案例Part1—高德交通大数据应用

热门文章

  1. MATLAB 入门之旅【官方基础教程】
  2. web前端笔试试题一(含答案)
  3. cad2014点击工具栏闪退_cad2012闪退,点工具栏闪退但用快捷键画图不闪退
  4. c#获取中国三级行政区域划分(省市县)以及县级经纬度demo
  5. iOS之 simlator模拟器截屏
  6. mantelhean.test r语言_Meta分析常用教程:R语言
  7. 如何安装TreeView控件
  8. 时间窗口(Time Windows)
  9. 怎么提高c语言编程能力,如何才能提高用C语言编程的能力
  10. Manjaro 安装xmind 8