Docker网络及资源管理
Docker网络及资源管理
- 一、Docker 网络实现原理
- 二、Docker的网络模式
- 安装Docker时，它会自动创建三个网络，bridge（创建容器默认连接到此网络）、 none 、host
- 使用docker run创建Docker容器时，可以用 --net 或 --network 选项指定容器的网络模式
- 三、网络模式详解
- 1.host模式
- 2.container模式
- 3.none模式
- 4.Bridge模式
- 5.自定义网络
- 四、资源控制
- 1.Linux Namespace的6大类型
- 2.CPU 资源控制
- cgroups有四大功能
- 3.设置CPU使用率上限
- 4.进行CPU压力测试
- 5.设置50%的比例分配CPU使用时间上限
- 6.设置CPU资源占用比（设置多个容器时才有效）
- 7.设置容器绑定指定的CPU
- 五、对内存使用的限制
- 六、对磁盘IO配额控制（blkio）的限制
- 1.创建容器，并限制写速度
- 2.通过dd来验证写速度
- 3.清理docker占用的磁盘空间
- 总结
一、Docker 网络实现原理
Docker使用Linux桥接，在宿主机虚拟一个Docker容器网桥(docker0)，Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址，称为Container-IP，同时Docker网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥，这样容器之间就能够通过容器的 Container-IP 直接通信。
Docker网桥是宿主机虚拟出来的，并不是真实存在的网络设备，外部网络是无法寻址到的，这也意味着外部网络无法直接通过 Container-IP 访问到容器。如果容器希望外部访问能够访问到，可以通过映射容器端口到宿主主机（端口映射），即 docker run 创建容器时候通过 -p 或 -P 参数来启用，访问容器的时候就通过[宿主机IP]:[容器端口]访问容器。
#随机映射端口（从32768开始）
docker run -itd --name test1 -P nginx
#指定映射端口
docker run -itd --name test2 -p 43000:80 nginx
二、Docker的网络模式
（1）Host：容器将不会虚拟出自己的网卡，配置自己的IP等，而是使用宿主机的IP和端口。
（2）Container：创建的容器不会创建自己的网卡，配置自己的IP，而是和一个指定的容器共享IP、端口范围。
（3）None：该模式关闭了容器的网络功能。
（4）Bridge：默认为该模式，此模式会为每一个容器分配、设置IP等，并将容器连接到一个docker0虚拟网桥，通过docker0网桥以及iptables nat 表配置与宿主机通信。
（5）自定义网络
安装Docker时，它会自动创建三个网络，bridge（创建容器默认连接到此网络）、 none 、host
docker network ls #查看docker网络列表
使用docker run创建Docker容器时，可以用 --net 或 --network 选项指定容器的网络模式
host模式：使用 --net=host 指定。
none模式：使用 --net=none 指定。
container模式：使用 --net=container:NAME_or_ID 指定。
bridge模式：使用 --net=bridge 指定，默认设置，可省略。
三、网络模式详解
1.host模式
相当于Vmware中的桥接模式，与宿主机在同一个网络中，但没有独立IP地址。
Docker使用了Linux的Namespaces技术来进行资源隔离，如PID Namespace隔离进程，Mount Namespace隔离文件系统，Network Namespace隔离网络等。
一个Network Namespace提供了一份独立的网络环境，包括网卡、路由、iptable规则等都与其他的Network Namespace隔离。
一个Docker容器一般会分配一个独立的Network Namespace。 但如果启动容器的时候使用host模式，那么这个容器将不会获得一个独立的Network Namespace，而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡、配置自己的IP等，而是使用宿主机的IP和端口。
2.container模式
这个模式指定新创建的容器和已经存在的一个容器共享一个Network Namespace，而不是和宿主机共享。新创建的容器不会创建自己的网卡，配置自己的IP，而是和一个指定的容器共享IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过lo网卡设备通信。
docker run -itd --name test1 centos:7 /bin/bash #--name 选项可以给容器创建一个友好的自定义名称docker ps -adocker inspect -f '{{.State.Pid}}' 07493a21ede6
#查看容器进程号ls -l /proc/47706/ns #查看容器的进程、 网络、文件系统等命名空间编号
docker run -itd --name test2 --net=container:07493a21ede6 centos:7 /bin/bashdocker ps -adocker inspect -f '{{.State.Pid}}' 85ee82e96095ls -l /proc/47830/ns #查看可以发现两个容器的 net namespace 编号相同
3.none模式
使用none模式，Docker容器拥有自己的Network Namespace，但是，并不为Docker容器进行任何网络配置。 也就是说，这个Docker容器没有网卡、IP、路由等信息。这种网络模式下容器只有lo回环网络，没有其他网卡。这种类型的网络没有办法联网，封闭的网络能很好的保证容器的安全性。
4.Bridge模式
bridge模式是docker的默认网络模式，不写–net参数，就是bridge模式。
相当于Vmware中的 nat 模式，容器使用独立network Namespace，并连接到docker0虚拟网卡。通过docker0网桥以及iptables nat表配置与宿主机通信，此模式会为每一个容器分配Network Namespace、设置IP等，并将一个主机上的 Docker 容器连接到一个虚拟网桥上。
（1）当Docker进程启动时，会在主机上创建一个名为docker0的虚拟网桥，此主机上启动的Docker容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。
（2）从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。在主机上创建一对虚拟网卡veth pair设备。veth设备总是成对出现的，它们组成了一个数据的通道，数据从一个设备进入，就会从另一个设备出来。因此，veth设备常用来连接两个网络设备。
（3）Docker将veth pair 设备的一端放在新创建的容器中，并命名为eth0（容器的网卡），另一端放在主机中， 以veth*这样类似的名字命名，并将这个网络设备加入到docker0网桥中。可以通过 brctl show 命令查看。
（4）使用 docker run -p 时，docker实际是在iptables做了DNAT规则，实现端口转发功能。可以使用==iptables -t nat -vnL ==查看。
5.自定义网络
直接使用bridge，无法支持指定IP运行docker
docker run -itd --name test1 --network bridge --ip 172.17.0.10 centos:7 /bin/bash
可以先自定义网络，再使用指定IP运行docker
docker network create --subnet=172.18.0.0/16 --opt "com.docker.network.bridge.name"="docker1" mynetworkdocker run -itd --name test2 --net mynetwork --ip 172.18.0.10 centos:7 /bin/bash注释
（1）docker1为执行 ifconfig -a 命令时，显示的网卡名，如果不使用--opt参数指定此名称，那你在使用ifconfig -a命令查看网络信息时，看到的是类似br-110eb56a0b22这样的名字，这显然不怎么好记。
（2）mynetwork 为执行 docker network list命令时，显示的bridge网络模式名称。
验证
docker exec -it 0cefabb10a87 bash
yum install -y net-tools
ifconfig
四、资源控制
1.Linux Namespace的6大类型
| 序号 | 类型 | 说明 |
|---|---|---|
| 1 | MNT Namespace | 提供磁盘挂载点和文件系统的隔离能力 |
| 2 | IPC Namespace | 提供进程间通信的隔离能力 |
| 3 | Net Namespace | 提供网络隔能力 |
| 4 | UTS Namespace | 提供主机名隔离能力 |
| 5 | PID Namespace | 提供进程隔离能力 |
| 6 | User Namespace | 提供用户隔离能力 |
2.CPU 资源控制
cgroups，是一个非常强大的linux内核工具，他不仅可以限制被 namespace 隔离起来的资源， 还可以为资源设置权重、计算使用量、操控进程启停等等。 所以 cgroups（ Control groups） 实现了对资源的配额和度量。
cgroups有四大功能
资源限制：可以对任务使用的资源总额进行限制
优先级分配：通过分配的cpu时间片数量以及磁盘IO带宽大小，实际上相当于控制了任务运行优先级
资源统计：可以统计系统的资源使用量，如cpu时长，内存用量等
任务控制：cgroup可以对任务执行挂起、恢复等操作
3.设置CPU使用率上限
Linux 通过 CFS（Completely Fair Scheduler，完全公平调度器）来调度各个进程对 CPU 的使用。CFS 默认的调度周期是 100ms。
我们可以设置每个容器进程的调度周期，以及在这个周期内各个容器最多能使用多少 CPU 时间。
使用 –cpu-period 即可设置调度周期，使用 –cpu-quota 即可设置在每个周期内容器能使用的 CPU 时间。两者可以配合使用。
CFS 周期的有效范围是 1ms~1s，对应的 --cpu-period 的数值范围是 1000~100000。
而容器的 CPU 配额必须不小于 1ms，即 --cpu-quota 的值必须 >= 1000。
docker run -itd --name test1 centos:7 /bin/bashdocker ps -acd /sys/fs/cgroup/cpu/docker/32ce1ab4837f894da1253a39d530e7fe08a329b3f8d801a45f84e57187d70de7/
cat cpu.cfs_quota_us
-1cat cpu.cfs_period_us
100000注释：
cpu.cfs_period_us：cpu分配的周期(微秒，所以文件名中用 us 表示），默认为100000。cpu.cfs_quota_us：表示该control group限制占用的时间（微秒），默认为-1，表示不限制。 如果设为50000，表示占用50000/100000=50%的CPU。
4.进行CPU压力测试
docker exec -it 32ce1ab4837f /bin/bashvi cpu.sh
#!/bin/bash
i=0
while true
do
let i++
donechmod +x /cpu.sh
./cpu.sh
exittop #可以看到这个脚本占了很多的cpu资源
5.设置50%的比例分配CPU使用时间上限
docker run -itd --name test2 --cpu-quota 50000 centos:7 /bin/bash #可以重新创建一个容器并设置限额或者cd /sys/fs/cgroup/cpu/docker/32ce1ab4837f894da1253a39d530e7fe08a329b3f8d801a45f84e57187d70de7/echo 50000 > cpu.cfs_quota_us
docker exec -it 32ce1ab4837f /bin/bash./cpu.sh
exittop #可以看到cpu占用率接近50%，cgroups对cpu的控制起了效果
6.设置CPU资源占用比（设置多个容器时才有效）
Docker 通过–cpu-shares 指定 CPU 份额，默认值为1024，值为1024的倍数。
#创建两个容器为 c1 和 c2，若只有这两个容器，设置容器的权重，使得c1和c2的CPU资源占比为1/3和2/3。
docker run -itd --name c1 --cpu-shares 512 centos:7
docker run -itd --name c2 --cpu-shares 1024 centos:7#分别进入容器，进行压力测试
docker ps -a
docker exec -it a0c5612e1094 /bin/bash
docker exec -it ba03e0269f56 /bin/bashyum install -y epel-release
yum install stress -y
stress -c 4 #产生四个进程，每个进程都反复不停的计算随机数的平方根
exit#查看容器运行状态（动态更新）
docker stats
7.设置容器绑定指定的CPU
#先分配虚拟机4个CPU核数
docker run -itd --name test1 --cpuset-cpus 1,3 centos:7 /bin/bash#进入容器，进行压力测试
docker ps -ayum install -y epel-release
yum install stress -y
stress -c 4
exit#退出容器，执行 top 命令再按 1 查看CPU使用情况。
五、对内存使用的限制
docker run -itd --name test1 -m 512m centos:7 /bin/bashdocker stats
六、对磁盘IO配额控制（blkio）的限制
--device-read-bps：限制某个设备上的读速度bps（数据量），单位可以是kb、mb(M)或者gb。
例：docker run -itd --name test1 --device-read-bps /dev/sda:1M centos:7 /bin/bash--device-write-bps ： 限制某个设备上的写速度bps（数据量），单位可以是kb、mb(M)或者gb。
例：docker run -itd --name test1 --device-write-bps /dev/sda:1mb centos:7 /bin/bash--device-read-iops ：限制读某个设备的iops（次数）--device-write-iops ：限制写入某个设备的iops（次数）
1.创建容器，并限制写速度
docker run -itd --name test1 --device-write-bps /dev/sda:1mb centos:7 /bin/bash
2.通过dd来验证写速度
dd if=/dev/zero of=test.out bs=1M count=10 oflag=direct #添加oflag参数以规避掉文件系统cache
3.清理docker占用的磁盘空间
docker system prune -a #可以用于清理磁盘，删除关闭的容器、无用的数据卷和网络
总结
重点掌握docker网络的Bridge模式，以及CPU资源控制
Docker网络及资源管理相关推荐
- Docker网络和服务发现
[编者的话] 本文是<Docker网络和服务发现>一书的全文,作者是Michael Hausenblas.本文介绍了Docker世界中的网络和服务发现的工作原理,并提供了一系列解决方案. ...
- docker网络原理及cgroup
docker网络模式的特性 docker初始状态下有三种默认的网络模式 ,bridg(桥接),host(主机),none(无网络设置) 网络模式 ...
- 【云原生】Docker网络原理及Cgroup硬件资源占用控制
内容预知 1.dockers的网络模式 获取容器的进程号 docker网络模式的特性 1.1 host主机模式 1.2 container模式 1.3 none模式 1.4 bridge 桥接模式 ...
- Docker网络解决方案-Flannel部署记录
Docker跨主机容器间网络通信实现的工具有Pipework.Flannel.Weave.Open vSwitch(虚拟交换机).Calico实现跨主机容器间的通信.其中Pipework.Weave. ...
- 谈谈 Docker 网络
基于近期学习的 Docker 内容,整理与 Docker 网络相关的知识. 实验环境:Centos 7.4 Docker 版本如下: Client:Version: 18.03.1-ceAPI ver ...
- 理解Docker（5）：Docker 网络
本系列文章将介绍 Docker的相关知识: (1)Docker 安装及基本用法 (2)Docker 镜像 (3)Docker 容器的隔离性 - 使用 Linux namespace 隔离容器的运行环境 ...
- Docker 网络不通的解决方法
Docker 网络不通的解决方法 参考文章: (1)Docker 网络不通的解决方法 (2)https://www.cnblogs.com/jiu0821/p/10603793.html 备忘一下.
- docker网络问题解决办法“大全”：关于宿主机访问不了docker容器中web服务，或者容器内访问不了外网的问题的解决办法
docker网络问题解决办法"大全":关于宿主机访问不了docker容器中web服务,或者容器内访问不了外网的问题的解决办法 参考文章: (1)docker网络问题解决办法&quo ...
- Docker网络解决方案 - Calico部署记录
Docker网络解决方案 - Calico部署记录 参考文章: (1)Docker网络解决方案 - Calico部署记录 (2)https://www.cnblogs.com/kevingrace/p ...
- docker网络集群
--------------------------创建docker网络集群 docker network create --subnet=172.18.0.0/16 mynetwork docker ...
最新文章
- 江苏省三级偏硬试题样卷
- 云计算数据挖掘Mahout下的机器学习
- RabbitMQ消息队列（七）：适用于云计算集群的远程调用(RPC)
- 使用 Tye 辅助开发 k8s 应用竟如此简单（六）
- LeetCode 346. 数据流中的移动平均值（队列）
- 用Java代码在ElasticSearch中索引PDF文件？
- java反射机制及使用案例
- r语言ggplot2一夜多图_跟着Nature microbiology学画图~R语言ggplot2画直方图
- 大数据要学javaweb吗_学习大数据需要学习javaee的内容吗？
- 永磁直驱风机matlab模型,直驱永磁最大功率捕捉matlab仿真建模模型（风力发电）...
- 虚拟化是什么意思？包含哪些技术？与私有云有什么区别？
- 别再让「聪明」害了00后！
- 计算机一级降序和升序,按时间降序排序
- gpuz怎么看显存颗粒
- flutter引入高德地图_flutter配置高德地图SDK
- CSGO新手教学-CSGO游戏模式介绍 CSGO 攻略
- Linux入职基础-3.6_ramdisk提升Apache性能实例（运维必懂）
- 2021威海高考成绩查询电话,2021威海高考成绩查询系统
- Android 使用 HTTP 访问网络
- 应用在电力行业的无源RFID温度传感器标签
热门文章
- 电脑网页出现服务器异常 请刷新页面重试,无法打开网页请尝试刷新页面是怎么回事？网页无法打开是什么原因...
- 网页打开显示无法访问
- matlab逻辑回归两次成绩录取查询,【多元逻辑回归分类】基于matlab的MNIST实践
- 编译出错 Resource temporarily unavailable
- 服务器系统宕机什么意思,服务器宕机是什么意思?
- redis突然宕机数据会丢失吗
- React Native --props使用之吹气球例子
- 选择变色镜片——爱眼护眼
- 【论文翻译】Mastering the game of Go with deep neural networks and tree search( 用深度神经网络和树搜索实现围棋游戏)
- menu在python中的意思_Python-Tkinter 组件之Menu