作者:李彬,赵雪枫,金融科技工程师,架构师社区特邀作者!

应用服务性能调优,是每个系统投产前都需要关注的问题,系统及软件层面的调优方法均有大量文章介绍,但在所有招数使出后,是否就无潜可挖了?如果了解Linux内核运行特征,经过简单的配置,仍存在不少可行的方案。本文将介绍的是基于Linux内核CPU亲和性参数调整,榨取最后一丝性能优势的方案。

一、背景知识

CPU是常规应用运行计算的核心,从性能角度至少需要了解物理CPU、逻辑CPU和超线程技术实现。

1. 物理CPU:机器上实际安装的CPU个数。

2. 逻辑CPU:物理CPU会有多个逻辑运算核心,基于Intel的超线程技术(Hyper-Threading),可以在此基础上形成更多核心算力。

3. 超线程技术(Hyper-Threading):就是利用特殊的硬件指令,把一个CPU核模拟成多个逻辑CPU,形成多核多线程CPU。

综上所述,三者的逻辑关系如下:

逻辑CPU的数量=物理CPU的数量*CPU的核数*2(如果支持并开启了超线程的话)

二、CPU的亲和性参数原理

CPU的亲和性是一种调度属性,它可以将一个进程绑定到一个或者一组CPU上。CPU的亲和性分为两种:软亲和性和硬亲和性。

1)软CPU亲和性就是进程要在指定的CPU上尽量长时间地运行而不被迁移到其他处理器上运行。Linux内核的自身特性,意味着进程通常不会在处理器之间频繁迁移,以避免这种迁移对于计算能力的消耗,以达到最佳的平衡性。

2)Linux内核中还包含了一种硬CPU亲和性的机制,这个机制让开发人员可以实现硬CPU亲和性。这意味着可以显式指定进程在哪个(或哪些)处理器上运行。

在Linux内核中进程数据结构为task_struct,其中与亲和性相关的是cpus_allowed位掩码。这个位掩码由n位组成,与系统中的n个逻辑CPU一一对应。如果为给定的进程设置了给定的位,那么这个进程就可以在相关的CPU上运行了。

以32颗逻辑CPU服务器为例:

0x00000001 处理器0号逻辑CPU可运行
0x00000003 处理器0-1号逻辑CPU可迁移运行
0xFFFFFFFF 处理器0-31号逻辑CPU均可迁移运行(Linux内核缺省状态)

通常Linux内核都可以很好地对进程进行调度,在应该运行的地方运行进程,也就是说,在可用的处理器上运行并获得很好的整体性能。Linux内核中包含了一些用来检测CPU之间任务负载迁移的算法,可以启用进程迁移来降低繁忙的处理器的压力。

三、CPU的亲和性设置

Linux提供了一些方法,可以让用户通过修改位掩码来指定进程只能在某个(或者某些)CPU上运行。一般情况下,在应用程序中只需要使用缺省的调度器行为。然而,有时候我们可能会希望修改这些缺省行为以实现性能的优化。一般来说,我们要使用硬CPU亲和性有3个原因:有大量的计算要做;应用程序复杂;正在运行时间敏感的、决定性的进程。

经过对各种方式的总结,以下通过两个清晰的事例,对CPU亲和性的配置方式进行说明。

1)在应用源码中设置CPU亲和性

硬CPU亲和性的设置可以通过编程来实现,Linux内核提供了一些系统API,如:sched_set_affinity(),sched_get_affinity(),CPU_ZERO(),CPU_SET()等。一个简单设置硬CPU亲和性的例子如下:

#include <sched.h>

#include <unistd.h>

#include <stdlib.h>

#include <stdio.h>

int main(void)

{

int i, nrcpus;

cpu_set_t mask;

unsigned long bitmask = 0;

CPU_ZERO(&mask); //清空一个集合

CPU_SET(0, &mask); //将给定的CPU0加入集合

CPU_SET(2, &mask);//将给定的CPU2加入集合

if (sched_setaffinity(0,sizeof(cpu_set_t), &mask) == -1)

{

perror("sched_setaffinity");

exit(-1);

}

return 0;

}

2)通过命令方式设置CPU亲和性

硬CPU亲和性的设置还可以通过taskset命令来设置。taskset的命令格式是:

taskset [options] mask command [arg]…

taskset [options] –p[mask] pid

mask是CPU亲和性

command是可执行程序

arg是command的参数

pid是进程ID

第一个命令是用来设置可执行程序的硬CPU亲和性,第二个命令是用来设置已经运行的进程的硬CPU亲和性。

写在最后

最近在项目中,笔者碰到了系统CPU使用率不稳定的情况,分析了良久,才排查到是CPU亲和性相关的问题。在压力稳定,运算正常无外部瓶颈的情况下,形成一种无法解释的CPU剧烈波动。如下图所示:

如果后续碰到类似的问题,可以参考从调整CPU亲和性方面考虑,按图索骥,尝试调整该参数,看是否有奇效。

特别推荐一个分享架构+算法的优质内容,还没关注的小伙伴,可以长按关注一下:

长按订阅更多精彩▼如有收获,点个在看,诚挚感谢

Linux性能挖潜的隐藏招数:内核CPU亲和性参数调整相关推荐

  1. linux服务器怎么降低内核cpu进程,Linux性能挖潜的隐藏招数:内核CPU亲和性参数调整...

    作者:李彬,赵雪枫,金融科技工程师,架构师社区特邀作者! 应用服务性能调优,是每个系统投产前都需要关注的问题,系统及软件层面的调优方法均有大量文章介绍,但在所有招数使出后,是否就无潜可挖了?如果了解L ...

  2. Linux性能优化实战:应用的CPU使用率100%,我该怎么办(05)

    一.什么是CPU的使用率 1.你最常用什么指标来描述系统的CPU性能? 我想你的答案,可能不是平均负载,也不是CPU上下文切换,而是另一个更直观的指标CPU使用率 CPU使用率到底是怎么算出来的吗? ...

  3. 【Linux 性能优化】利用perf和CPU使用率定位异常函数

    博主未授权任何人或组织机构转载博主任何原创文章,感谢各位对原创的支持! 博主链接 文章目录 CPU 使用率 进程运行情况查询 使用工具查看CPU使用率 定位导致CPU 使用率过高的函数 perf to ...

  4. Linux性能优化(十二)——CPU性能调优

    一.应用程序优化 (1)编译器优化.适当开启编译器优化选项,在编译阶段提升性能.gcc提供优化选项-On会自动对应用程序的代码进行优化. (2)算法优化.使用复杂度更低的算法,可以显著加快处理速度.在 ...

  5. linux 调整 内核空间占用cpu,[Linux性能优化]3.CPU使用率100%,怎么办?

    8种机械键盘轴体对比 本人程序员,要买一个写代码的键盘,请问红轴和茶轴怎么选? CPU使用率是单位时间内CPU使用情况的统计,以百分比的方式展示. CPU时间是Linux通过事先定义的节拍率(内核中表 ...

  6. linux性能优化--cpu篇

    linux性能优化--cpu篇 前言 负载 CPU使用率 proc perf 一些链接 `perf list` 比较有用的event `perf stat` `perf record` Profili ...

  7. Linux性能优化2.1 CPU性能统计信息

    摘要 性能工具:系统CPU 本章概述了系统级的Linux性能工具.这些工具是你追踪性能问题时的第一道防线.它们能展示整个系统的性能情况和哪些部分表现不好.本章将讨论这些工具可以测量的统计信息,以及如何 ...

  8. 查看linux系统版本,内核,CPU,MEM,位数的相关命令

    查看linux系统版本,内核,CPU,MEM,位数的相关命令 1.查看版本,内核 cat /etc/issue cat /proc/version uname -r 2.查看cpu,mem grep ...

  9. linux cpu监控方案,Linux性能优化和监控系列(二)分析CPU性能

    分析CPU性能 top命令提供了监控CPU性能的基本功能, 如果需要更加深入的挖掘CPU的性能问题, top所提供的信息不足以做到. 由于大多数人认为CPU性能是体现服务器性能的主要因素, 所以在遇到 ...

最新文章

  1. 13个知识点,系统整理Python时间处理模块Datetime
  2. CRM_REPORT_RF_AUTH_OBJ_ORD_LP
  3. Collection和Collections的区别是什么
  4. CheckStyle使用手册(一)
  5. 设置Activity进入退出动画
  6. Linux下的uniq,head,tail,cut,paste
  7. 捕获浏览器关闭、刷新事件,在窗体关闭时从全局对象里移除当前用户
  8. 爆肝一周,用Python在物联网设备上写了个智能语音助手-阿里云智能对话机器人
  9. DirectShow 开启摄像头
  10. python测试开发面试题带答案整理
  11. 绝顶高手是这样快速画美女的!
  12. 亚马逊云AWS MQTTS 证书使用说明
  13. django实现树形菜单
  14. A Multi-task Learning Framework for Opinion Triplet Extraction (EMNLP 2020)阅读记录
  15. java轮盘赌_轮盘赌算法
  16. 基于ssm的田园管理系统
  17. Python写ROS话题
  18. Pytorch基本操作流程: 七步成诗
  19. 用 Python 爬取电影,这些电影真的很不错
  20. Python 霍兰德人格分析雷达图

热门文章

  1. Linux中的环境变量知多少?
  2. 7 个日常实用的 Shell 拿来就用脚本实例!
  3. 机械毕业本科生竟被嵌入式单片机公司录取?
  4. 怎么远程虚拟机中的mysql_如何从本地远程访问虚拟机内的Mysql服务器?
  5. node开启子线程_真Node多线程
  6. 用C语言实现 静态通讯录+动态通讯录+文件实现“退出保存信息版本”(附上思路+项目展示+源代码)
  7. 关于学习Python的一点学习总结(38)
  8. 数据结构[栈与队列]的基本操作
  9. 线段树 ---- H. AND = OR (或和与的性质之1的个数 + 线段树)
  10. 金蝶加密服务器显示339错误,打开金蝶软件出现这个提示怎么解决???