一、前言

cgroup在K8S中有重要应用,K8S参考书籍：

kubernetes权威指南第5版

公司一个项目用linux 的 cgroup 技术来限制进场cpu和内存使用，具有非常好的学习意义，所以业余写下笔记，来记录一下cgroup的使用

cgroup 可以绑定一组进程集合，他的内核接口暴露是通过linux伪文件系统来实现的，我们可以通过linux 上一些特定的文件来限制进场cpu和内存的使用

二、cgroup学习

介绍地址:

https://man7.org/linux/man-pages/man7/cgroups.7.html

cgroup 现在有两个版本 v1 和 v2

每个cgroup 都有自己的一组文件，通过读取写入来限制cpu和内存

挂载v1控制器

使用cgroup必须在编译内核的时候使用CONFIG_CGROUP选项

为了使用v1控制器，你必须挂载一个cgroup的文件系统,他一般挂载到

/sys/fs/cgroup下面，例如挂载一个cpu控制器：

 mount -t cgroup -o cpu none /sys/fs/cgroup/cpu

挂载多个cgroup控制器到相同的层级：

mount -t cgroup -o cpu,cpuacct none /sys/fs/cgroup/cpu,cpuacct

卸载cgroup

umount /sys/fs/cgroup/pids

卸载cgroup的时候我们要首先确保他没有子cgroup才可以卸载。

每个cgroup控制器都有一个配置项管理

cpu：

他可以在限制进程使用cpu额度的下限和上限

cpuacct

按组计算cpu使用情况

cpuset

绑定cgroup中的进程到一组cpu上

memory

控制进程使用内存的上限和下限

devices

控制哪些进程可以创建设备驱动 mknod

freezer

可以暂停和恢复所有cgroup的系统

net_cls

可以将cgroup的classid放到网络包上

blkio

限制块设备以io形式对存储节点的访问，有两种限制策略，基于权重时间和io速率

perf_event

允许对cgroup的进程使用perf

net_prio

允许指定cgroup网络接口的优先级

hugetlb

限制cgroup大页的使用

pids

限制cgroup中进程数量

rdma

允许RDMA控制器使用RDMA/IB-有限制的使用每个cgroup特定的资源。

环境介绍

我们找cat /proc/mounts,发现没有cgroup

# cat /proc/mounts |grep cgroup
cgroup2 /sys/fs/cgroup cgroup2 rw,nosuid,nodev,noexec,relatime,nsdelegate,memory_recursiveprot 0 0

发现我的电脑上是v2版本,v1版本是：

cgroup /sys/fs/cgroup/systemd cgroup rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd 0 0
cgroup /sys/fs/cgroup/cpu,cpuacct cgroup rw,nosuid,nodev,noexec,relatime,cpuacct,cpu 0 0
cgroup /sys/fs/cgroup/net_cls,net_prio cgroup rw,nosuid,nodev,noexec,relatime,net_prio,net_cls 0 0
cgroup /sys/fs/cgroup/devices cgroup rw,nosuid,nodev,noexec,relatime,devices 0 0
cgroup /sys/fs/cgroup/freezer cgroup rw,nosuid,nodev,noexec,relatime,freezer 0 0
cgroup /sys/fs/cgroup/pids cgroup rw,nosuid,nodev,noexec,relatime,pids 0 0
cgroup /sys/fs/cgroup/cpuset cgroup rw,nosuid,nodev,noexec,relatime,cpuset 0 0
cgroup /sys/fs/cgroup/hugetlb cgroup rw,nosuid,nodev,noexec,relatime,hugetlb 0 0
cgroup /sys/fs/cgroup/memory cgroup rw,nosuid,nodev,noexec,relatime,memory 0 0
cgroup /sys/fs/cgroup/blkio cgroup rw,nosuid,nodev,noexec,relatime,blkio 0 0
cgroup /sys/fs/cgroup/perf_event cgroup rw,nosuid,nodev,noexec,relatime,perf_event 0 0

v2版本：

cgroup2 /sys/fs/cgroup cgroup2 rw,nosuid,nodev,noexec,relatime,nsdelegate,memory_recursiveprot 0 0

我们发现v2版本的mount option只有

rw,nosuid,nodev,noexec,relatime,nsdelegate,memory_recursiveprot 0 0

三、使用c++简单完成一个cgroupv2版本的使用

调用：

#include <iostream>
#include "cgroup.h"int main() {CGroup cGroup;int ret = cGroup.sureMount("/home/zhanglei/cgroup/red/", "red", "rw");return 0;
}

挂载cgroup2实现

void cgroupMkdir(const std::string& path) {char tmpPath[PATH_MAX];::realpath(path.c_str(), tmpPath);std::cout << tmpPath << std::endl;int ret = access(tmpPath, F_OK);if (ret == -1) {int ret = mkdir(tmpPath, S_IRWXU );if (ret == -1) {std::cout << strerror(errno) << std::endl;}return cgroupMkdir(path);}return;
}bool CGroup::sureMount(std::string path, std::string name, std::string subsystem) {cgroupMkdir(path);std::cout << path << std::endl;int ret = ::mount(name.c_str(), path.c_str(), "cgroup2", 0, subsystem.c_str());if (ret != 0) {std::cout << "mount:" << strerror(errno) << std::endl;return false;}std::cout << "ok" << std::endl;return true;
}

我们发现/home/zhanglei/cgroup/red下面多了一些文件

cg1                 cgroup.max.descendants  cgroup.threads         cpu.stat             io.cost.model  io.stat           misc.capacity                  sys-kernel-tracing.mount
cg2                 cgroup.procs            cpu.pressure           dev-hugepages.mount  io.cost.qos    memory.numa_stat  sys-fs-fuse-connections.mount  system.slice
cgroup.controllers  cgroup.stat             cpuset.cpus.effective  dev-mqueue.mount     io.pressure    memory.pressure   sys-kernel-config.mount        user.slice
cgroup.max.depth    cgroup.subtree_control  cpuset.mems.effective  init.scope           io.prio.class  memory.stat       sys-kernel-debug.mount

四、使用cgroup 限制cpu案例

我们使用php写一个demo

<?php
while(1) {
}

运行后他是可以占用一个核的cpu，也就是最大到100%

现在我们使用cgroups 来限制他,将进程 test.php pid写入cg1的目录下

ps aux|grep test.php|grep -v "grep"|awk '{print $2}' > /home/zhanglei/cgroup/red/cg1/cgroup.procs

限制test.php 的cpu

echo "200000 1000000" > /home/zhanglei/cgroup/red/cg1/cpu.max

发现test.php 只用了20

这意味着1秒内 php 最多执行200毫秒我们看下效果

10670 zhanglei  20   0   91168  21224  16560 R  19.9   0.1   5:52.18 php

关于cgroup 学习相关推荐

linux cgroup学习总结
linux-cgroup使用大纲概念安装与使用概念基础知识 cgroups 是Linux内核提供的一种可以限制,隔离单个进程或者多个进程组 (process groups)所使用物理资源的机 ...
Page Cache：为什么我的容器内存使用量总是在临界点?
Memory Cgroup 是如何控制一个容器的内存的.我们已经知道了,如果容器使用的物理内存超过了 Memory Cgroup 里的 memory.limit_in_bytes 值,那么容器中的进程 ...
每周推荐阅读2013Q1汇总
上次把去年发的每周推荐阅读汇总贴了出来,收到了大家的肯定和鼓励,非常感谢.最近开始越来越多地阅读微信公共账号,比起微博这样的140字浅阅读,公共账号的信息似乎更有价值,当然前提是关注对的人,Q2开始我 ...
Docker学习总结（66）—— Docker 的三大基石：Namespace、Cgroup 和 rootfs
前言: 云计算领域最火的莫过于"容器",而提到容器,就不得不提 Docker,可以说 Docker 已经是容器的代名词.容器其实是一种沙盒技术,顾名思义,沙盒就是能够像集装箱一样, ...
学习 Linux，101: 引导系统
2019独角兽企业重金招聘Python工程师标准>>> 系列文章: http://www.ibm.com/developerworks/cn/views/linux/libraryv ...
Kubernetes学习笔记二：Namespace，Cgroups 的隔离与应用
Kubernetes学习系列文章:Kubernetes-博客专栏今天在学习极客时间专栏:<深入剖析Kubernetes> 第五讲05 | 白话容器基础(一):从进程说开去和第六讲06 | ...
Linux学习之路-Linux-yum命令【8】---20171217
yum yum: Yellowdog Update Modifier,rpm的前端程序,可解决软件包相关依赖性,可在多个库之间定位软件包,up2date的替代工具 [root@Centos7~]#wh ...
Peter Cnudde谈雅虎如何使用Hadoop、深度学习和大数据平台
\ 本文要点 \ 了解雅虎如何利用Hadoop和大数据平台技术: \ 在类似Flickr和Esports这样的产品中,雅虎如何使用深度学习技术进行场景检测和对象识别: \ 机器学习在图像识别.定向广告 ...
深入理解 Linux Cgroup 系列（二）：玩转 CPU
原文链接:深入理解 Linux Cgroup 系列(二):玩转 CPU 上篇文章主要介绍了 cgroup 的一些基本概念,包括其在 CentOS 系统中的默认设置和控制工具,并以 CPU 为例阐述 c ...

关于cgroup 学习

一、前言

二、cgroup学习

三、使用c++简单完成一个cgroupv2版本的使用

四、使用cgroup 限制cpu案例

关于cgroup 学习相关推荐

最新文章

热门文章