戳蓝字“CSDN云计算”关注我们哦!

作者:阿木

接触过容器云或者用过容器的同学一般都会遇到容器镜像占用空间很大的问题,遇到此类问题的时候大部分同学可能更加习惯于为容器的镜像仓库增加磁盘空间,当然这种方式无可厚非,毕竟这种方式可以帮助我们快速的解决掉手里的问题。

除了上面扩磁盘的解决方式,其实我们还可以采用缩减容器镜像的方式,此种方式不但可以帮助我们节省添加新磁盘的开支还可减少我们制作镜像和传输镜像的时间。优化的比较好的镜像占用的空间基本和应用的文件占用的空间相当,基本不会占用太多的额外存储空间。下面我们会具体看一下。

接触过Docker 的同学都知道Dockerfile 是一些指令的组成,且Dockerfile 文件中的每条指令对应着Linux 操作系统中的一条命令,当我们构建镜像时Docker 程序会将这些Dockerfile指令翻译成Linux可执行的命令。

Dockerfile 中每一条指令都会创建一个镜像层,随着指令的执行继而会增加镜像整体的大小。

Dockerfile 文件有自己的书写格式和支持的命令,常用Dockerfile 指令如下:

FROM  指定基镜像。

MAINTAINER  设置镜像的作者信息,如作者姓名、邮箱等。

COPY  将文件从本地复制到镜像,拷贝前需要保证本地源文件存在。

ADD  与 COPY 类似,复制文件到镜像。不同的是,如果文件是归档文件(tar, zip, tgz, xz 等),会被自动解压。

ENV  设置环境变量,格式: ENV key=value或ENV key value,运行容器后,可直接在容器中使用。

EXPOSE  暴露容器中指定的端口,只是一个声明,主要用户了解应用监听的端口。

VOLUME  挂载卷到容器,需要注意的是,保存镜像时不会保存卷中的数据。

WORKDIR  设置当前工作目录,后续各层的当前目录都被指定。

RUN  在容器中运行指定的命令。

CMD  容器启动时运行的命令。Dockerfile 中可以有多个 CMD 指令,但只有最后一个生效。CMD 可以被 docker run 之后的参数替换。

ENTRYPOINT  设置容器启动时运行的命令。Dockerfile 中可以有多个 ENTRYPOINT 指令,但只有最后一个生效。CMD 或 docker run 之后的参数会被当做参数传递给 ENTRYPOINT,这个是与CMD的区别。

精简镜像的好处不言而喻,即可以节省存储存储空间也可,也可减少镜像传输时间,减少带宽的消耗,加快传输。

在开始制作镜像之前,我们先了解一下容器镜像的基本基本理论知识。

容器镜像中最重要的概念就是layers,即镜像层。

镜像层依赖于一系列的底层技术,比如文件系统(filesystems)、写时复制(copy-on-write)、联合挂载(union mounts)等技术,这些技术的细节在此我们不再赘述,感兴趣的同学可以直接直接查看Docker 官方文档(https://docs.docker.com/storage/storagedriver/)进行学习。

总的来说,精简镜像我们最需要记住的一句话即:

“在Dockerfile中,每条指令都会创建一个镜像层,继而会增加镜像整体的大小。”

下面我们以一个示例来说明一下:

我们pull 一个镜像,以busybox为例:

[root@work ~]# docker pull hub.c.163.com/library/busybox:latest

Trying to pull repository hub.c.163.com/library/busybox ...

latest: Pulling from hub.c.163.com/library/busybox

aab39f0bc16d: Pull compl`ete

Digest: sha256:662af1d642674367b721645652de96f9c147417c2efb708eee4e9b7212697762

Status: Downloaded newer image for hub.c.163.com/library/busybox:latest

# 看下镜像大小

[root@work ~]# docker images | grep busybox

hub.c.163.com/library/busybox                          latest                                           d20ae45477cb        18 months ago       1.129 MB

从上面结果看我们pull下来的镜像大小只有1.129MB。

下面我们编写一个Dockerfile文件,文件中我们新建一个目录,目录中新建一个100MB的文件,最后我们删掉新建的文件。

Dockerfile 内容如下:

#基镜像

FROM hub.c.163.com/library/busybox:latest

#新建目录

RUN mkdir /tmp/dir1

#新建一个100MB的文件

RUN dd if=/dev/zero of=/tmp/dir1/file1 bs=1M count=100

#删除文件

RUN rm /tmp/dir1/file1

从Dockerfile 内容看,其实我们基本什么都没干。

然后我们用这个Dockerfile构建新建的镜像,并查看新镜像的大小:

[root@work ~]# docker build -t busybox:v1 .

Sending build context to Docker daemon 1.307 GB

Step 1 : FROM hub.c.163.com/library/busybox:latest

---> d20ae45477cb

Step 2 : RUN mkdir /tmp/dir1

---> Running in 63fa5f27c779

---> da95ea8ae5ee

Removing intermediate container 63fa5f27c779

Step 3 : RUN dd if=/dev/zero of=/tmp/dir1/file1 bs=1M count=100

---> Running in d3e8bbb4f151

100+0 records in

100+0 records out

104857600 bytes (100.0MB) copied, 0.247500 seconds, 404.0MB/s

---> 42b721238144

Removing intermediate container d3e8bbb4f151

Step 4 : RUN rm -rf /tmp/dir1/file1

---> Running in 6b51b633fb21

---> 04096cc5d718

Removing intermediate container 6b51b633fb21

Successfully built 04096cc5d718

# 查看镜像信息

[root@work ~]# docker images | grep busybox

busybox                                                v1                                               04096cc5d718        58 seconds ago      106 MB

hub.c.163.com/library/busybox                          latest                                           d20ae45477cb        18 months ago       1.129 MB

从上面的结果可以看出,虽然在Dockerfile中我们将新建的100MB的文件删除了,但新镜像的大小仍大于100MB。

多出了100多MB,这是为何?其实这点和git类似,Docker镜像和git都用到了写时复制技术,git每次提交时都会保存一个文件的版本,Dockerfile每行指令都会增加整体镜像的大小,即使我们什么都没做。

下面我们开始说下本文的重点:镜像精简。

我们以最常见的nosql数据库Redis为例,一步步来介绍如何制作更精简的Docker 镜像。

首先我们编写下构建Redis镜像的Dockerfile文件,具体内容如下:

FROM hub.c.163.com/library/ubuntu:trusty

#redis 版本

ENV VER     3.0.0

ENV TARBALL http://download.redis.io/releases/redis-$VER.tar.gz

RUN apt-get update

#安装依赖的工具

RUN apt-get install -y  curl make gcc

#下载redis源码包并解压

RUN curl -L $TARBALL | tar zxv

#进入解压后的目录

WORKDIR  redis-$VER

#编译redis源码

RUN make

#安装redis

RUN make install

WORKDIR /

#清理前面安装的依赖工具

RUN apt-get remove -y --auto-remove curl make gcc

RUN apt-get clean

RUN rm -rf /var/lib/apt/lists/*  /redis-$VER

#运行redis

CMD ["redis-server"]

利用上面的Dockerfile 构建镜像:

[root@work ~]# docker build -t redis:3.0.0 .

……

……

Removing intermediate container b55656487022

Successfully built 7df9c7899ae3

查看构建出的镜像大小:

[root@work ~]# docker images | grep redis

redis                                                  3.0.0                                            7df9c7899ae3        10 hours ago        359.7 MB

从结果看构建出优化前的镜像约为360MB。

下面我们逐步优化。

1. 选用更小的基镜像

常用的linux系统一般有CentOS、Debian、Ubuntu,三者中Debian更轻量,且Debian系统镜像中提供的功能一般也是够用的,三个系统镜像尺寸对比如下:

镜像名称            标签         镜像 ID        镜像大小

--------              ------        ------------          --------

centos              7          214a4932132a     215.7 MB

centos              6          f6808a3e4d9e     202.6 MB

ubuntu              trusty     d0955f21bf24     188.3 MB

ubuntu              precise    9c5e4be642b7     131.9 MB

debian              jessie     65688f7c61c4     122.8 MB

debian              wheezy     1265e16d0c28     84.96 MB

在此我们以上面最小的镜像debian:wheezy 作为即镜像,重新进行构建:

Dockerfile内容:

FROM hub.c.163.com/library/debian:wheezy

#redis 版本

ENV VER     3.0.0

ENV TARBALL http://download.redis.io/releases/redis-$VER.tar.gz

RUN apt-get update

#安装依赖的工具

RUN apt-get install -y  curl make gcc

#下载redis源码包并解压

RUN curl -L $TARBALL | tar zxv

#进入解压后的目录

WORKDIR  redis-$VER

#编译redis源码

RUN make

#安装redis

RUN make install

WORKDIR /

#清理前面安装的依赖工具

RUN apt-get remove -y --auto-remove curl make gcc

RUN apt-get clean

RUN rm -rf /var/lib/apt/lists/*  /redis-$VER

#运行redis

CMD ["redis-server"]

构建新镜像:

[root@work ~]# docker build -t redis:3.0.0-v2 .

……

……

Removing intermediate container 3498689792ce

Successfully built 4faa1aa0936d

对比两个镜像大小:

[root@work ~]# docker images | grep redis

redis                                                  3.0.0-v2                                         4faa1aa0936d        38 seconds ago      228.5 MB

redis                                                  3.0.0                                            7df9c7899ae3        11 hours ago

从结果看更换基镜像后的新镜像减少了37%,精简效果还算可以,但精简效果并未达到我们的目标。

如果仔细看的话我们会发现只有85MB的debian基镜像,在构建后增加到了228MB可见此处还有很大的优化空间,后续的优化就需要用到我们在上文中说到的镜像层相关的知识了。

2. 合并Dockerfile中指令

 

Dockerfile 中指令的合并一般是指RUN指令的合并。

我们可以通过&&符号和/ 将Dockerfile 中的多个RUN指令合并成一条RUN 指令,此种方式一般精简效果较好。

优化后的Dockerfile 内容如下:

FROM hub.c.163.com/library/debian:wheezy

#redis 版本

ENV VER     3.0.0

ENV TARBALL http://download.redis.io/releases/redis-$VER.tar.gz

RUN apt-get update && \

apt-get install -y  curl make gcc &&\

curl -L $TARBALL | tar zxv  && \

cd  redis-$VER  && \

make  && \

make install && \

cd /  && \

apt-get remove -y --auto-remove curl make gcc && \

apt-get clean  && \

rm -rf /var/lib/apt/lists/*  /redis-$VER

#运行redis

CMD ["redis-server"]

构建新镜像:

[root@work ~]# docker build -t redis:3.0.0-v3 .

……

……

Removing intermediate container 9e5cffcd8bdb

Successfully built dafd91993dfb

查看镜像大小:

[root@work ~]# docker images | grep redis

redis                                                  3.0.0-v3                                         dafd91993dfb        33 seconds ago      102.3 MB

redis                                                  3.0.0-v2                                         4faa1aa0936d        15 minutes ago      228.5 MB

redis                                                  3.0.0                                            7df9c7899ae3        11 hours ago        359.7 MB

从结果看镜像大小约缩减72%,可见合并Dockerfile指令的方式精简效果较明显,新镜像只比基镜像增加约10MB。

合并Dockerfilec指令精简镜像这种方式是最常用的精简镜像尺寸的方式。

 

3. 使用最精简的基镜像

 

上文中第1步中,我们使用的基镜像为Debian镜像,约89MB,但如果我们只是安装Redis 服务的话不一定非得使用这么大的系统镜像,我们可以借助一些更小的镜像,如scratch、busybox、alpine等,这些镜像大小往往小于5MB,因此我们可以直接以此作为基镜像来构建新的Redis镜像。

此处我们以scratch作为基镜像构建Redis。scratch镜像往往只有1~5MB大小。

Scrach 是一个空镜像,只能用于构建镜像。在构建一些基础镜像,如debian、busybox时非常有用。Scrach也常用于构建超小的镜像,如构建一个只包含所有库的二进制文件。

但使用最精简的基镜像我们还需要做些额外的工作,具体过程见下文。

 

4. 提取.so库

了解过Redis源码的话大家会知道Redis 开发语言为C语言,会依赖一些.so库,因此我们需要先准备好编译Redis 所需的.so文件。

我们通过前面构建好的redis:3.0.0-v3镜像运行容器,然后进入容器中获取下redis依赖的.so文件。

# 后台运行容器:

[root@work ~]# docker run --name redisv3 -d  redis:3.0.0-v3

ab361e7fc2e70b5b45fa1545917ee92158bb859e833c3f7fcfb80e43bb69cb0c

# 查看容器运行状态

[root@work ~]# docker ps

CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES

ab361e7fc2e7        redis:3.0.0-v3      "redis-server"      3 seconds ago       Up 3 seconds                            redisv3

# 进入容器

[root@work ~]# docker exec -ti redisv3 /bin/bash

root@ab361e7fc2e7:/#

# 查看redis-server 二进制文件位置

root@ab361e7fc2e7:/# which redis-server

/usr/local/bin/redis-server

# 查看redis-server依赖的.so文件

root@ab361e7fc2e7:/# ldd /usr/local/bin/redis-server

linux-vdso.so.1 =>  (0x00007ffedfd01000)

libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007f0de7a5e000)

libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007f0de785a000)

libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007f0de763d000)

libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f0de72b0000)

/lib64/ld-linux-x86-64.so.2 (0x00007f0de7ce4000)

将编译Redis 需要的所有依赖打包:

root@ab361e7fc2e7:/# mkdir so

root@ab361e7fc2e7:/# cp usr/local/bin/redis-server so/

root@ab361e7fc2e7:/# cp lib/x86_64-linux-gnu/libm.so.6 so/

root@ab361e7fc2e7:/# cp lib/x86_64-linux-gnu/libpthread.so.0 so/

root@ab361e7fc2e7:/# cp lib/x86_64-linux-gnu/libc.so.6 so/

root@ab361e7fc2e7:/# cp lib64/ld-linux-x86-64.so.2 so/

root@ab361e7fc2e7:/# cd so

root@ab361e7fc2e7:/# tar zcvf so.tar.gz ./*

so/

so/redis-server

so/libm.so.6

so/libpthread.so.0

so/libc.so.6

so/ld-linux-x86-64.so.2

# 将打包好的文件从容器拷贝出来

[root@work ~]# docker cp redisv3:/so/so.tar.gz .

编写Dockerfile 文件,具体内容如下:

FROM scratch

# 添加依赖的库文件

ADD  so.tar.gz  /

# redis 配置文件,需要自己准备一份

COPY redis.conf     /etc/redis/redis.conf

# 暴露的端口

EXPOSE 6379

CMD ["redis-server"]

构建新镜像:

[root@work ~]# docker build -t redis:3.0.0-v4 .

Sending build context to Docker daemon 1.316 GB

Step 1 : FROM scratch

--->

Step 2 : ADD so.tar.gz /

---> Using cache

---> 82b2b6def214

Step 3 : COPY redis.conf /etc/redis/redis.conf

---> 3f382da261be

Removing intermediate container 60af6a5ab042

Step 4 : EXPOSE 6379

---> Running in 78c541686668

---> 043ed6cf87e0

Removing intermediate container 78c541686668

Step 5 : CMD redis-server

---> Running in 2c8b9fb0547d

---> 75d828ebf3aa

Removing intermediate container 2c8b9fb0547d

Successfully built 75d828ebf3aa

对比镜像大小:

[root@work ~]# docker images | grep redis

redis                                                  3.0.0-v4                                         75d828ebf3aa        30 seconds ago      6.938 MB

redis                                                  3.0.0-v3                                         dafd91993dfb        About an hour ago   102.3 MB

redis                                                  3.0.0-v2                                         4faa1aa0936d        About an hour ago   228.5 MB

redis                                                  3.0.0                                            7df9c7899ae3        12 hours ago        359.7 MB

从结果看精简效果显著提高,基于scratch构建的新镜像大小只有6.9MB,相比之前的359MB、228MB、102MB,新镜像空间占用已经很少。

以上即是本文精简Docker 镜像的整个过程。

除了上面我们介绍的精简方法之外还有一些常见的精简方式,如使用镜像压缩工具docker-squash,但此种方式压缩效果并不明显,因此在此我们并未介绍,感兴趣的同学可以自己尝试下。

福利

扫描添加小编微信,备注“姓名+公司职位”,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!

推荐阅读:

  • 趣挨踢 | 用大数据扒一扒蔡徐坤的真假流量粉

  • 姚期智提出的"百万富翁"难题被破解? 多方安全计算MPC到底是个什么鬼?

  • 全民 AI !教育部宣布 35 所高校新增 AI 本科专业

  • 深度 | 人工智能究竟能否实现?

  • 程序媛报告:调查了 12,000 名女性开发者发现,女性比男性更懂 Java!

  • 程序员怒了!你敢削减专利奖金,我敢拒绝提交代码!

喜欢就点击“在看”吧

开发者如何快速精简容器云镜像?| 技术头条相关推荐

  1. 镜像与复制有什么区别_开发者如何快速精简容器云镜像?| 技术头条

    戳蓝字"CSDN云计算"关注我们哦! 作者:阿木 接触过容器云或者用过容器的同学一般都会遇到容器镜像占用空间很大的问题,遇到此类问题的时候大部分同学可能更加习惯于为容器的镜像仓库增 ...

  2. Kubernetes容器云平台技术方案

    在移动互联网时代,新的技术需要新技术支持环境.新的软件交付流程和IT架构,从而实现架构平台化,交付持续化,业务服务化.容器将成为新一代应用的标准交付件,容器云将帮助企业用户构建研发流程和云平台基础设施 ...

  3. 腾讯企业容器云平台技术解析

    GaiaStack 是腾讯基于 Kubernetes 打造的容器私有云平台.它服务于腾讯内部各个 BG 业务,如广告.支付.游戏等.同时也为腾讯云的各行业客户私有云部署提供支持.本文将从自动化运维体系 ...

  4. 各大公司docker容器云的技术栈对比

    目前来看,几家历史包袱较重的公司都选择不让上层应用感知到底层是 VM 还是容器,所以都改了 docker 内核,如360.点评.汽车之家.最后附上窝窝团商城的容器私有云技术栈以及系统截图. [国内专业 ...

  5. 深入浅出Docker 镜像 | 技术头条

    戳蓝字"CSDN云计算"关注我们哦! 技术头条:干货.简洁.多维全面.更多云计算精华知识尽在眼前,get要点.solve难题,统统不在话下! 作为云计算的当红明星Docker 来势 ...

  6. 各大公司容器云的技术栈对比

    郑昀编著于2015/10/20 目前来看,几家历史包袱较重的公司都选择不让上层应用感知到底层是 VM 还是容器,所以都改了 docker 内核,如360.点评.汽车之家.最后附上我们的容器私有云技术栈 ...

  7. 四大指标超现有模型!少样本的无监督图像翻译效果逆天| 技术头条

    作者 | Ming-yu Liu, Xun Huang, Arun Mallya, Tero Karras, Timo Aila, Jaakko Lehtinen 译者 | linstancy 编辑 ...

  8. 程序员休闲娱乐之数独!| 技术头条

    作者 | 宋广泽 责编 | 胡巍巍 前几天闲着没事,就玩了玩经典益智游戏数独. 简单的可以轻松过关. 稍微难一点的也可以勉强过关. 可是再难呢?如下图所示这种的,就有点招架不住了. 有的时候凭直觉相信 ...

  9. 阿里云叔同:以容器为代表的云原生技术,已成为释放云价值的最短路径

    作者 | 丁宇(叔同) 阿里云智能容器平台负责人 .刘丹 2019 年阿里巴巴 双11 核心系统 100% 以云原生的方式上云,完美支撑了 54.4w 峰值流量以及 2684 亿的成交量.随着阿里巴巴 ...

最新文章

  1. IBM人工智能将“掌舵”全球首个跨大西洋自主驾驶船舶
  2. PM2.5检测 -- PMS7003 采集和 MQTT 传输
  3. 惯性制导精度是多少_航天装备的命中精度
  4. 《CCNA学习指南:Cisco网络设备互连(ICND1)(第4版)》——1.10节本章小结
  5. Attribute鲜为人知的两个特性记录
  6. 第六节:ES6为字符串String带来哪些好玩的特性?
  7. 常问 3: 谈谈MySQL共享锁与排他锁
  8. mysql 绿色安装 ubuntu_Ubuntu免安装配置MySQL
  9. 实测解决:在此系统上禁止运行脚本。有关详细信息,请参阅 httpsgo.microsoft.comfwlinkLinkID=135170 中的 about_Execution_Policies。
  10. 实用的 Python —— os.system() 在 python 语句中执行 dos 命令
  11. property_自己编写一个读取Property文件的Util类
  12. 常用的Java虚拟机参数
  13. 微软官方出的各种dll丢失的修复工具
  14. 「测绘知识」高等级道路竖曲线的精确计算方法
  15. linux opendir路径_Linux C - opendir 和 readdir 和 closedir - 目录文件打开
  16. 7个必收藏的免商用无版权的高清图片网站
  17. 数据库自增 ID 用完了会咋样?
  18. conventional-changelog 参数含义
  19. 第十一届蓝桥杯大赛软件类决赛(C/C++ 大学A组)
  20. 详细解说RAID6结构及原理

热门文章

  1. python requests form data_python使用requests发送multipart/form-data请求数据
  2. java 匹配最后一次出现的字符_在Java中查找字符串中字符的最后一次出现
  3. 对话诺奖得主:科学离不开国际合作
  4. 十大经典排序算法(上)
  5. 治病花了130万才明白:不要轻易买保险
  6. 自从阿里买了Flink母公司以后,你不懂Flink就out了!
  7. 干货:调度算法的价值与阿里的应用实践(内有赛事福利)
  8. hanlp中文分词、提取摘要关键字、语句分析、智能推荐
  9. EMR StarRocks 极速数据湖分析原理解析
  10. 阿里开源支持10万亿模型的自研分布式训练框架EPL(EasyParallelLibrary)