一次关于 Dubbo 服务 IP 注册错误的踩坑经历

大家好，我是鸭血粉丝，一位经常踩坑的程序员。今天我给大家说一下我踩的 Dubbo 的坑。所谓 bug 如风，常伴吾身，hasaki ~

这不最近又遇到个问题，Dubbo 服务 IP 注册错误，好了，下面进入正题。

踩坑

阿粉公司最近新建一个机房，需要将现有系统同步部署到新机房，部署完成之后，两地机房同时对提供服务。系统架构如下图：

这个系统当前对外采用 Restful接口，内部远程采用 Dubbo，服务注册中心使用 zookeeper。服务当前设定只会调用本机房内服务。

原先服务都在 A 机房，B 机房为新建机房。B 机房部署完成之后，需要测试 B 机房系统可用性。生产测试的发现 B 机房竟然调用 A 机房服务。

A/B 机房网络互相打通，可以互相访问

通过排查 B 机房服务日志，发现 Service B 一个服务节点注册 IP 解析错误，将 B 机房机器 IP 解析成 A 机房机器 IP。

于是当测试流量进入 B 机房时，openapi服务通过注册中心获取到错误的 Service B 服务地址，从而调用了 A 机房的服务。调用方式简化成如下图。

知识点：Dubbo 服务提供者启动时将会将服务地址（IP+端口）注册到注册中心，消费者启动时将会通过注册中心获取服务提供者地址（IP+端口），后续服务调用将会直接通过服务地址直接调用。

问题分析

Debug Dubbo 源码，定位到 IP 解析代码，位于 ServiceConfig#findConfigedHosts，源码如下：

Dubbo 版本为 2.6.7

这个方法源码比较长，看起来比较费劲，不过好在这个方法注释上已经写明白 IP 地址查找顺序。

Register & bind IP address for service provider, can be configured separately. Configuration priority: environment variables -> java system properties -> host property in config file -> /etc/hosts -> default network address -> first available network address

解析过程，Dubbo 将会过滤无用 IP，过滤规则如下：

下面将结合图示讲解查找顺序，只要其中一步读取 IP 符合上述规则，方法就会返回。

第一步将会调用 ServiceConfig#getValueFromConfig 从 environment variables 或 java system properties 配置 IP 地址。

这种方式通过在 JVM 启动参数中显示指定 IP 。

-DDUBBO_IP_TO_BIND=1.2.3.4

第二步通过读取 Dubbo 配置文件配置变量获取 IP。

<!-- protocol 指定整个 Dubbo 应用服务默认 IP -->
<dubbo:protocol host="1.2.3.4"/>
<!-- provider 指定 Dubbo 应用具体某个服务默认 IP -->
<dubbo:provider host="1.2.3.4"/>

第三步通过调用 InetAddress.getLocalHost().getHostAddress() 获取本地 IP。该方法将会获取机器 hostname，然后再在 /etc/hosts 配置文件中查找 hostname 对应的配置 IP。

第四步通过 socket 连接注册中心从而获取本机 IP。

如果上述几步都不成功，Dubbo 将会轮询本机所有网卡，直到找到合适的 IP 地址。

问题原因

通过排查上述几个规则，最后发现本地 /etc/hosts 文件 IP 配置错误， hostname 配置成了 A 机房的 IP 。

总结

这次的问题其实不大，就是 hosts 文件配置错误，但是整个查找问题的过程还是值得学习的，深入到了源码层面，跟踪代码，最终发现问题。毕竟运维人员和开发人员在一定的程度上还是会出现沟通问题，而且还是生产环境，所以更加需要仔细。

我们可以看到 Dubbo 在 IP 解析上花费很大功夫，最大程度上帮我们自动获取正确 IP。但是现实还是很残酷，真实环境下机器可能存在多网卡，内外网 IP，VPN ，或者应用采用 Docker 部署，这些情况下Dubbo 有可能就会获取到错误 IP，从而导致消费者调用失败。如果真遇到这种情况，读者首先通过上面顺序排查 IP 读取来源，若最后确定 IP 读取自网卡。这种情况下就只能根据下面几种方式显示指定 IP。

配置方式一：在 JVM 启动参数中加入如下配置

-DDUBBO_IP_TO_BIND=1.2.3.4

配置方式二：在 /etc/hosts 设置 hostname 对应的 IP。

配置方式三：Dubbo 配置文件显示指定 IP。

<!-- protocol 指定整个 Dubbo 应用服务默认 IP -->
<dubbo:protocol host="1.2.3.4"/>
<!-- provider 指定 Dubbo 应用具体某个服务默认 IP -->
<dubbo:provider host="1.2.3.4"/>

帮助链接

https://dubbo.apache.org/zh-cn/blog/dubbo-network-interfaces.html

1. 全栈架构之打包推荐【建议收藏，常读】

2. 探讨确保消息消费幂等性的几种方式

3. 分布式系统中Session共享的常用方案

4. Java语言“坑爹”排行榜TOP 10

5. 我是一个Java类（附带精彩吐槽）

6. mysql索引失效，差点我的工作凉了

7. 既生synchronized，何生volatile？

8. 微服务一直火，为什么服务化要搞懂？

9. MySQL的COUNT语句，不简单！

10. 漫画：HashSet和TreeSet实现与原理

扫码二维码关注我

·end·

—如果本文有帮助，请分享到朋友圈吧—

我们一起愉快的玩耍！

你点的每个赞，我都认真当成了喜欢