问题现象

一个node_exporter的daemonset中出现两个pod无法正常启动。信息如下。这里node_exporter pod中的一个container需要使用hostNetwork的9100端口。

Events:Type     Reason            Age                 From               Message----     ------            ----                ----               -------Warning  FailedScheduling  43s (x31 over 34m)  default-scheduler  0/10 nodes are available: 1 node(s) didn't have free ports for the requested pod ports, 9 node(s) didn't match Pod's node affinity/selector.

此问题，眨眼一看，就确定是端口被占用了。

有可能是客户端临时占用了，过会儿释放就会好了。

然后过了好久，一直是Pending状态，于是到相关的服务器上查看。

netstat命令没有找到被使用的端口;
/proc/net/nf_conntrack中也没有找到相应的端口信息;
iptables信息中没有找到9100端口的信息；
tcpdump也看不到9100端口的正常通信;
- 有请求流量，不过都返回了rst;

遇到怪事了。

解决

尝试在这台node上，直接运行--network host的node_exporter是成功的，这说明是k8s层面认为端口被占用了，而不是端口真的被占用了。

突然想到之前为traefik在ports添加了一个9100的端口，而且这个traefik是hostNetwork: true的。

验证之下果然如此。

结论：如果为pod配置了hostNetwork: true, 且其ports中有了某个port，那么即使这个port并未真正监听，别的pod也无法使用了。

在陌生环境中如何找到此类pod?

这是自己的集群，正好想到这个事了。

如果是在一个陌生的集群呢？这时如何找到呢？

这个可以到node上遍历container, 通过inspect命令找到相应的端口。

在Labels下有annotation.io.kubernetes.container.ports，其中记录了ports的信息。

当然，关于1 node(s) didn't have free ports for the requested pod ports这个问题，并不一定就是这里的这种情况。还需要结合自己的环境实际来判断，最基本的就是无法使用期望的端口所造成的。

一个k8s pod报错端口被占用的问题相关推荐

Kubernetes Pod报错 filed to get sandbox image “k8s.gcr.io/pause:3.6“
最近工作中在部署Pod后发现无法正常启动,查看Pod详情后看到以下报错信息: Failed to create pod sandbox: rpc error: code = Unknown desc ...
Mybatis-Plus一个新的报错：数据库表名与SQL的关键字冲突！！！
Mybatis-Plus一个新的报错:数据库表名与SQL的关键字冲突!!! 老规矩先上报错信息: 2021-08-27 19:18:19.510 ERROR 33476 --- [nio-9000-e ...
GitLabCICD实战----在.gitlab-ci.yml文件的步骤中使用git clone 另一个代码仓报错的解决办法
更多信息请关注个人网站一.背景在有些时候,比如在一个项目中,产品的代码是java代码仓,自动化测试脚本是python语言,单独存放的代码仓,在使用GitlabCICD构建流水线的时候有这样一种场 ...
解决Mac10.13 Pod报错 -bash: /usr/local/bin/pod: /System/Library/Frameworks/Ruby.fram
升级10.13以后Pod命令失效,解决办法如下: 终端执行 brew link --overwrite cocoapods 复制代码尝试 Pod 命令是否已经恢复若报错继续执行 brew rein ...
TensorFlow打印一个tensor值报错
有时需要打印出一个tensor的值,明明代码没有问题,却一直报错,打印不出来,这是因为没有全局变量初始化的原因: sess.run(tf.global_variables_initializer())
记录一个CMake编译报错undefined reference to vtable问题的解决
在编写一个简单的CMake demo: 问题描述文件结构如下:头文件和cpp分别放在两个文件夹下面如果使用下面的写法,会报错"undefined reference to vtable ...
mac 升级为ventura 系统pod 报错
pod install 报错 /System/Library/Frameworks/Ruby.framework/Versions/2.6/usr/lib/ruby/2.6.0/rubygems/de ...
Sequel pro 意外退出每次关闭一个会话必报错
mac下的数据库客户端不多,Sequel pro 用了很长一段时间了,不知道从什么时候操作系统升级以后.就出了这个问题,关闭会话总是会报错. 尤其是想关闭一个回话的时候,整个程序退出还弹个错误对话框. ...
ibatis resultclass java.util.list_mybatis 动态sql返回一个List封装类报错求解决方法
报错信息: Exception in thread "main" org.apache.ibatis.reflection.ReflectionException: Error i ...

一个k8s pod报错端口被占用的问题

文章目录

问题现象

解决

在陌生环境中如何找到此类pod?

一个k8s pod报错端口被占用的问题相关推荐

最新文章

热门文章