前面介绍了Docker管理工具-Swarm部署记录,下面重点说下Swarm基于多主机容器通信的覆盖网络

在Docker版本1.12之后swarm模式原生支持覆盖网络(overlay networks),可以先创建一个覆盖网络,然后启动容器的时候启用这个覆盖网络,
这样只要是这个覆盖网络内的容器,不管在不在同一个宿主机上都能相互通信,即跨主机通信!不同覆盖网络内的容器组之间是相互隔离的(相互ping不通)。swarm模式的覆盖网络包括以下功能:
1)可以附加多个服务到同一个网络。
2)默认情况下,service discovery为每个swarm服务分配一个虚拟IP地址(vip)和DNS名称,使得在同一个网络中容器之间可以使用服务名称为互相连接。
3)可以配置使用DNS轮循而不使用VIP
4)为了可以使用swarm的覆盖网络,在启用swarm模式之间你需要在swarm节点之间开放以下端口:
5)TCP/UDP端口7946 – 用于容器网络发现
6)UDP端口4789 – 用于容器覆盖网络实例如下:
-----------在Swarm集群中创建overlay网络------------
[root@manager-node ~]# docker network create --driver overlay --opt encrypted --subnet 10.10.110.0/24 ngx_net参数解释:
–opt encrypted  默认情况下swarm中的节点通信是加密的。在不同节点的容器之间,可选的–opt encrypted参数能在它们的vxlan流量启用附加的加密层。
--subnet 命令行参数指定overlay网络使用的子网网段。当不指定一个子网时,swarm管理器自动选择一个子网并分配给网络。[root@manager-node ~]# docker network ls
NETWORK ID          NAME                DRIVER              SCOPE
ca221724531c        bridge              bridge              local
10d1451ecc8d        docker_gwbridge     bridge              local
5764ade8774b        host                host                local
50kipkihuwxy        ingress             overlay             swarm
cz4b4ht5refq        ngx_net             overlay             swarm
f2af952cd27a        none                null                local 由上可知,Swarm当中拥有2套覆盖网络。其中"ngx_net"网络正是我们在部署容器时所创建的成果。而"ingress"覆盖网络则为默认提供。
Swarm 管理节点会利用 ingress 负载均衡以将服务公布至集群之外。
在将服务连接到这个创建的网络之前,网络覆盖到manager节点。上面输出的SCOPE为 swarm 表示将服务部署到Swarm时可以使用此网络。
在将服务连接到这个网络后,Swarm只将该网络扩展到特定的worker节点,这个worker节点被swarm调度器分配了运行服务的任务。
在那些没有运行该服务任务的worker节点上,网络并不扩展到该节点。------------------将服务连接到overlay网络-------------------
[root@manager-node ~]# docker service create --replicas 5 --network ngx_net --name my-test -p 80:80 nginx上面名为"my-test"的服务启动了3个task,用于运行每个任务的容器都可以彼此通过overlay网络进行通信。Swarm集群将网络扩展到所有任务处于Running状态的节点上。
[root@manager-node ~]# docker service ls
ID            NAME     REPLICAS  IMAGE  COMMAND
9vgixbn6t2ju  my-test  5/5       nginx 在manager-node节点上,通过下面的命令查看哪些节点有处于running状态的任务:
[root@manager-node ~]# docker service ps my-test
ID                         NAME       IMAGE  NODE          DESIRED STATE  CURRENT STATE               ERROR
eh2mo4ei8qah5d9eolx8yapey  my-test.1  nginx  manager-node  Running        Running about a minute ago
7gg40e57rko5frttqdx9x7ae2  my-test.2  nginx  node2         Running        Running about a minute ago
1vp1d7cwmn8m6a5k0wtq9xi75  my-test.3  nginx  node1         Running        Running about a minute ago
03nb3ev2r7sxcilkwizoetx9w  my-test.4  nginx  node1         Running        Running about a minute ago
a0ibepz0r80mhy4x5cam7i190  my-test.5  nginx  manager-node  Running        Running about a minute ago  可见三个节点都有处于running状态的任务,所以my-network网络扩展到三个节点上。可以查询某个节点上关于my-network的详细信息:
[root@manager-node ~]# docker network inspect ngx_net
[{"Name": "ngx_net","Id": "cz4b4ht5refqxelx0mm871ec6","Scope": "swarm","Driver": "overlay","EnableIPv6": false,"IPAM": {"Driver": "default","Options": null,"Config": [{"Subnet": "10.10.110.0/24","Gateway": "10.10.110.1"}]},"Internal": false,"Containers": {"aa954b709a30be6eaf48e06a6c7c4a0642b75d76e121707df6fc1479d99c7b22": {"Name": "my-test.5.a0ibepz0r80mhy4x5cam7i190","EndpointID": "4841c9c639b876f065d44e0205320f5e990a0678c8d7f4a02e499779af7b5091","MacAddress": "02:42:0a:0a:6e:07","IPv4Address": "10.10.110.7/24","IPv6Address": ""},"d7633d4108e88a471e1a1b6759b7c43e3fc09ab64de47e29736de7b9c5031963": {"Name": "my-test.1.eh2mo4ei8qah5d9eolx8yapey","EndpointID": "54e814c87ba0e7df159195067a851a2557ee8010e619db9cc4fdfb3dd6357afa","MacAddress": "02:42:0a:0a:6e:03","IPv4Address": "10.10.110.3/24","IPv6Address": ""}},"Options": {"com.docker.network.driver.overlay.vxlanid_list": "257","encrypted": ""},"Labels": {}}
]从上面的信息可以看出在manager-node节点上,名为my-test的服务有一个名为my-test.1.eh2mo4ei8qah5d9eolx8yapey和
my-test.5.a0ibepz0r80mhy4x5cam7i190的task连接到名为ngx_net的网络上(另外两个节点node1和node2同样可以用上面命令查看)
[root@node1 ~]# docker network inspect ngx_net
[{"Name": "ngx_net","Id": "cz4b4ht5refqxelx0mm871ec6","Scope": "swarm","Driver": "overlay","EnableIPv6": false,"IPAM": {"Driver": "default","Options": null,"Config": [{"Subnet": "10.10.110.0/24","Gateway": "10.10.110.1"}]},"Internal": false,"Containers": {"8dd2171caa337b3c42f35cd6e4590d69cf8edd58ee03463194d0792199415607": {"Name": "my-test.4.03nb3ev2r7sxcilkwizoetx9w","EndpointID": "dec0675361db102f082798b9e39ed43ca23ae7b795105ae39b90373d42548418","MacAddress": "02:42:0a:0a:6e:06","IPv4Address": "10.10.110.6/24","IPv6Address": ""},"f29e274d0709403ea97210ff750cdc32054af6cd963ee838bb695e6268264574": {"Name": "my-test.3.1vp1d7cwmn8m6a5k0wtq9xi75","EndpointID": "e4150c1107a6e52998e3f5417d774d31cdc3d0b24c9aa4305b860cbdf8f78929","MacAddress": "02:42:0a:0a:6e:05","IPv4Address": "10.10.110.5/24","IPv6Address": ""}},"Options": {"com.docker.network.driver.overlay.vxlanid_list": "257","encrypted": ""},"Labels": {}}
][root@node2 ~]# docker network inspect ngx_net
[{"Name": "ngx_net","Id": "cz4b4ht5refqxelx0mm871ec6","Scope": "swarm","Driver": "overlay","EnableIPv6": false,"IPAM": {"Driver": "default","Options": null,"Config": [{"Subnet": "10.10.110.0/24","Gateway": "10.10.110.1"}]},"Internal": false,"Containers": {"fddb6518e2bb8c2c2f9f49f95eb3e054ded2a1eff9ec10732a188166f2a60509": {"Name": "my-test.2.7gg40e57rko5frttqdx9x7ae2","EndpointID": "7263888a54f6211649bef9425aa4acc33ecf838da20d8c93853842e1812f0436","MacAddress": "02:42:0a:0a:6e:04","IPv4Address": "10.10.110.4/24","IPv6Address": ""}},"Options": {"com.docker.network.driver.overlay.vxlanid_list": "257","encrypted": ""},"Labels": {}}
]可以通过查询服务来获得服务的虚拟IP地址,如下:
[root@manager-node ~]# docker service inspect --format='{{json .Endpoint.VirtualIPs}}' my-test
[{"NetworkID":"50kipkihuwxy5dqf150z7guad","Addr":"10.255.0.2/16"},{"NetworkID":"cz4b4ht5refqxelx0mm871ec6","Addr":"10.10.110.2/24"}]由上结果可知,10.10.110.2其实就是swarm集群内部的vip,整个网络结构如下所示:

加入ngx_net网络的容器彼此之间可以通过IP地址通信,也可以通过名称通信。

[root@node2 ~]# docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS               NAMES
fddb6518e2bb        nginx:latest        "nginx -g 'daemon off"   5 minutes ago       Up 5 minutes        80/tcp              my-test.2.7gg40e57rko5frttqdx9x7ae2[root@node2 ~]# docker exec -ti fddb6518e2bb /bin/bash
root@fddb6518e2bb:/# apt-get update && apt-get install iproute iputils-ping -y
root@fddb6518e2bb:/# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00inet 127.0.0.1/8 scope host lovalid_lft forever preferred_lft foreverinet6 ::1/128 scope host valid_lft forever preferred_lft forever
246: eth0@if247: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP group default link/ether 02:42:0a:ff:00:07 brd ff:ff:ff:ff:ff:ff link-netnsid 0inet 10.255.0.7/16 scope global eth0valid_lft forever preferred_lft foreverinet 10.255.0.2/32 scope global eth0valid_lft forever preferred_lft foreverinet6 fe80::42:aff:feff:7/64 scope link valid_lft forever preferred_lft forever
248: eth1@if249: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default link/ether 02:42:ac:12:00:03 brd ff:ff:ff:ff:ff:ff link-netnsid 1inet 172.18.0.3/16 scope global eth1valid_lft forever preferred_lft foreverinet6 fe80::42:acff:fe12:3/64 scope link valid_lft forever preferred_lft forever
251: eth2@if252: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1424 qdisc noqueue state UP group default link/ether 02:42:0a:0a:6e:04 brd ff:ff:ff:ff:ff:ff link-netnsid 2inet 10.10.110.4/24 scope global eth2valid_lft forever preferred_lft foreverinet 10.10.110.2/32 scope global eth2valid_lft forever preferred_lft foreverinet6 fe80::42:aff:fe0a:6e04/64 scope link valid_lft forever preferred_lft foreverroot@fddb6518e2bb:/# ping 10.10.110.3
PING 10.10.110.3 (10.10.110.3) 56(84) bytes of data.
64 bytes from 10.10.110.3: icmp_seq=1 ttl=64 time=0.437 ms
64 bytes from 10.10.110.3: icmp_seq=2 ttl=64 time=0.310 ms
.....
--- 10.10.110.3 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 999ms
rtt min/avg/max/mdev = 0.310/0.373/0.437/0.066 msroot@fddb6518e2bb:/# ping 10.10.110.5
PING 10.10.110.5 (10.10.110.5) 56(84) bytes of data.
64 bytes from 10.10.110.5: icmp_seq=1 ttl=64 time=0.438 ms
64 bytes from 10.10.110.5: icmp_seq=2 ttl=64 time=0.329 ms
64 bytes from 10.10.110.5: icmp_seq=3 ttl=64 time=0.359 ms
.....
--- 10.10.110.5 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 1999ms
rtt min/avg/max/mdev = 0.329/0.375/0.438/0.048 ms----------------------------使用swarm模式的服务发现--------------------------
默认情况下,当创建了一个服务并连接到某个网络后,swarm会为该服务分配一个VIP。此VIP根据服务名映射到DNS。在网络上的容器共享该服务的DNS映射,
所以网络上的任意容器可以通过服务名访问服务。在同一overlay网络中,不用通过端口映射来使某个服务可以被其它服务访问。Swarm内部的负载均衡器自动将请求发送到服务的VIP上,然后分发到所有的
active的task上。如下示例:
在同一个网络中添加了一个centos服务,此服务可以通过名称my-test访问前面创建的nginx服务:
[root@manager-node ~]# docker service create --name my-centos --network ngx_net centos sleep 3000       查询centos运行在哪个节点上(上面创建命令执行后,需要一段时间才能完成这个centos服务的创建)
[root@node2 ~]# docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS               NAMES
ece4ac2e6cc1        centos:latest       "sleep 3000"             42 seconds ago      Up 40 seconds                           my-centos.1.5qwknsxmtr1zhclx9d0f0fx4m登录centos运行的节点(由上可知是node2节点),打开centos的交互shell:
[root@node2 ~]# docker ps
CONTAINER ID        IMAGE                    COMMAND                  CREATED             STATUS            NAMES
e4554490d891        centos:latest            "/bin/bash"             About an hour ago   Up About an hour   my-centos.1.9yk5ie28gwk9mw1h1jovb68ki[root@node2 ~]# docker exec -it my-centos.1.5qwknsxmtr1zhclx9d0f0fx4m /bin/bash
[root@ece4ac2e6cc1 /]# yum install bind-utils -y
[root@ece4ac2e6cc1 /]# nslookup my-test
Server:         127.0.0.11
Address:        127.0.0.11#53Non-authoritative answer:
Name:   my-test
Address: 10.10.110.2从centos容器内部,使用特殊查询 查询DNS,来找到my-test服务的所有容器的IP地址:
[root@ece4ac2e6cc1 /]# nslookup tasks.my-test
Server:         127.0.0.11
Address:        127.0.0.11#53Non-authoritative answer:
Name:   tasks.my-test
Address: 10.10.110.3
Name:   tasks.my-test
Address: 10.10.110.7
Name:   tasks.my-test
Address: 10.10.110.5
Name:   tasks.my-test
Address: 10.10.110.4
Name:   tasks.my-test
Address: 10.10.110.6从centos容器内部,通过wget来访问my-test服务中运行的nginx网页服务器
[root@ece4ac2e6cc1 /]# wget -O- my-test
--2018-02-08 01:57:26--  http://my-test/
Resolving my-test (my-test)... 10.10.110.2
Connecting to my-test (my-test)|10.10.110.2|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 612 [text/html]
Saving to: 'STDOUT'0% [                                                                                                                          ] 0           --.-K/s              <!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
...Swarm的负载均衡器自动将HTTP请求路由到VIP上,然后到一个active的task容器上。它根据round-robin选择算法将后续的请求分发到另一个active的task上。-----------------------------------为服务使用DNS round-robin-----------------------------
在创建服务时,可以配置服务直接使用DNS round-robin而无需使用VIP。这是通过在创建服务时指定 --endpoint-mode dnsrr 命令行参数实现的。
当你想要使用自己的负载均衡器时可以使用这种方式。如下示例(注意:使用DNS round-robin方式创建服务,不能直接在命令里使用-p指定端口)
[root@manager-node ~]# docker service create --replicas 3 --name my-dnsrr-nginx --network ngx_net --endpoint-mode dnsrr nginx[root@manager-node ~]# docker service ps my-dnsrr-nginx
ID                         NAME              IMAGE  NODE          DESIRED STATE  CURRENT STATE          ERROR
8ffi3rs8fg3k4obrvbxg4uwiy  my-dnsrr-nginx.1  nginx  node2         Running        Running 7 seconds ago
amgmv0kgdopc70z2dr97vn7qq  my-dnsrr-nginx.2  nginx  node1         Running        Running 7 seconds ago
2p7obdb3h7yicggsbiv5qmvjx  my-dnsrr-nginx.3  nginx  manager-node  Running        Running 7 seconds ago  当通过服务名称查询DNS时,DNS服务返回所有任务容器的IP地址:
[root@ece4ac2e6cc1 /]# nslookup my-dnsrr-nginx
Server:         127.0.0.11
Address:        127.0.0.11#53Non-authoritative answer:
Name:   my-dnsrr-nginx
Address: 10.10.110.12
Name:   my-dnsrr-nginx
Address: 10.10.110.11
Name:   my-dnsrr-nginx
Address: 10.10.110.10需要注意的是:一定要确认VIP的连通性
通常Docker官方推荐使用dig,nslookup或其它DNS查询工具来查询通过DNS对服务名的访问。因为VIP是逻辑IP,ping并不是确认VIP连通性的正确的工具。

转载于:https://blog.51cto.com/dengaosky/2069911

Swarm基于多主机容器网络-overlay networks 梳理相关推荐

  1. Docker原生网络、自定义网络、Docker容器通信、跨主机容器网络

    Docker原生网络.自定义网络.Docker容器通信.跨主机容器网络 Docker原生网络 bridge Host none Docker自定义网络 自定义bridge overlay macvia ...

  2. 洪强宁:宜信PaaS平台基于Calico的容器网络实践

    洪强宁:宜信PaaS平台基于Calico的容器网络实践   本文内容来自由七牛云主办的ECUG Con,独家授权InfoQ整理完成 容器云面临的网络挑战 在传统的IDC的架构里面网络是很重要的事情,在 ...

  3. Docker 收购 SocketPlane 多主机容器网络

    Docker 官方宣布收购 SocketPlane 多主机容器网络解决方案.SocketPlane 最开始是由 4 个人创办的,希望该系统能成为 Docker 生态里重要的一部分.SocketPlan ...

  4. docker(7、容器网络6) weave 网络 Weave 跨主机的连通和隔离特性

    weave 是 Weaveworks 开发的容器网络解决方案.weave 创建的虚拟网络可以将部署在多个主机上的容器连接起来.对容器来说,weave 就像一个巨大的以太网交换机,所有容器都被接入这个交 ...

  5. Docker网络体系结构:设计可扩展、可移植的Docker容器网络

    原文地址 译者:本人翻译水平有限,目的仅是为了学好Docker,如有错误请见谅. 翻译版本:v1.01(将不断优化翻译质量) 本文包含以下内容 Docker容器就是将应用及其所依赖运行环境的完整文件系 ...

  6. 容器网络Calico进阶实践 | 褚向阳

    各位晚上好,我是数人云的褚向阳,接下来要跟大家分享的主题是<容器网络Calico进阶实践>. 距离上次聊 Calico 已经过去快半年的时间了,数人云也一直在努力将容器网络方案应用到企业客 ...

  7. Kubernetes容器网络及网络模型

    1.Docker 网络模型 在讨论Kubernetes网络之前,让我们先来看一下Docker网络.Docker采用插件化的网络模式,默认提供bridge.host.none.overlay.macla ...

  8. Docker 跨主机容器网络通信 -- Flannel 实现

    一.简介 Flannel 是一种基于 overlay 网络的跨主机容器网络解决方案,也就是将 TCP 数据包封装在另一种网络包里面进行路由转发和通信,Flannel 是 CoreOS 开发,专门用于 ...

  9. 网易数帆对 CIlium 容器网络的探索和实践

    作者 | 刘勤龙.黄扬 2019 年网易轻舟使用 sockmap+sk redirect 来优化轻舟 Service Mesh 的延迟,2020 年开始,我们逐步对 eBPF Service.Cili ...

  10. 第 8 章 容器网络 - 063 - 如何使用 Weave 网络?

    如何使用 Weave 网络? weave 是 Weaveworks 开发的容器网络解决方案. weave 创建的虚拟网络可以将部署在多个主机上的容器连接起来. 对容器来说,weave 就像一个巨大的以 ...

最新文章

  1. java 默认函数,java 构造函数默认修饰符
  2. 百度计算广告学沙龙学习笔记 - 内容匹配广告
  3. vue修改计算属性的值_vue之计算属性
  4. 蓝桥杯第六届省赛JAVA真题----打印菱形
  5. 如何删除“无法读源文件或磁盘”的空头文件
  6. Android 样式
  7. 长虹智慧厨房解决方案,让你AI上智慧家居生活
  8. 下docfetcher先下Java,docfetcher怎么用-docfetcher的使用教程 - 河东软件园
  9. SDRAM控制器设计(9)用读写FIFO优化及仿真验证
  10. kms激活win10
  11. PPT文件怎么快速压缩?
  12. linux ov7725模块驱动,stm32f4 驱动ov7725摄像头,使用dcmi一直无法产生中断
  13. [学习日志]UI如何与数据绑定?
  14. 成功解决RuntimeError: cuda runtime error (30)
  15. xposedhook部分记录
  16. 诗词锦集(持续更新)
  17. php语言指什么生肖,龇牙咧嘴的生肖 指什么生肖
  18. 博客园页面定制html代码,博客园代码定制
  19. NDIS开发[网络驱动开发] NDIS开发1
  20. 【ICPC 2021 沈阳站】心路历程·总结分析

热门文章

  1. 手机站的拨打电话和发短信
  2. Unix操作系统内核结构报告
  3. useradd添加用户
  4. 在外围类作用域之外引用外围类的静态成员,类型名和枚举名都要求有解析操作符...
  5. insert rows into heap/clustered table
  6. python二级--第一套0,1,1,2,3,5,8,13,21,34,
  7. Django Celerybeat日志报错处理('NoneType' object has no attribute 'is_due')
  8. Shell中$X的含义
  9. spring容器启动的加载过程(三)
  10. [转]通过生日获取星座Python源码