Python代码运行不够流畅?看大神如何多角度优化!
更多深度文章,请关注:https://yq.aliyun.com/cloud
这是“Python代码性能优化”系列中的第一篇文章——环境设置。通过每个帖子,我将介绍一些Python代码的工具和剖析器,以及它们中的每一个如何帮助您更好地在前端(Python脚本)和/或后端(Python解释器)中找到突破点。
配置:
在进行基本测试和分析之前,首先需要一个适当的环境。这意味着必须为此任务配置机器和操作系统。
一般来说,我的机器有以下规格:
- 处理器:Intel(R)Xeon(R)CPU E5-2699 v3 @ 2.30GHz
- 内存:32GB
- 操作系统:Ubuntu 16.04 LTS
- 内核:4.4.0-75通用
我们的目标是得到具有可重复的结果,从而确保我们的数据不受其他后台进程、操作系统配置或任何其他硬件性能带来的影响。
我们从配置我们用于分析的机器开始。
硬件功能:
首先,禁用任何硬件性能功能。这意味着从BIOS / UEFI禁用Intel Turbo Boost和超线程。
正如官方所述,Turbo Boost是一种技术,如果处理器内核运行在低于功率、电流和温度规格限制的情况下,自动允许处理器内核的运行速度高于额定工作频率。另一方面,超线程是“更有效地使用处理器资源的技术,可以使多个线程在每个核心上运行”,如这里所述。
我们花了钱在工具上,而且我们真的想让它们发挥它们的作用。那么为什么在分析/基准测试时能够启用它们呢?因为我们没有得到可靠和可重复的结果,这转化为运行变化。让我们在一个小例子中看到这一点,叫做primes.py。
该代码也可在GitHub上找到。作为依赖分析,您将需要运行:
pip install statistics
让我们在启用了Turbo Boost并超线程的系统中运行它:
python primes.py
Benchmark duration:1.0644240379333496seconds
Mean duration:0.2128755569458008seconds
Standard deviation:0.032928838418120374(15.468585914964498 %)
现在,在同一个系统上,但是禁用Turbo Boost和超线程:
python primes.py
Benchmark duration:1.2374498844146729seconds
Mean duration:0.12374367713928222seconds
Standard deviation:0.000684464852339824(0.553131172568 %)
观察第一种情况下的标准差--15%。相反,在第二种情况下,变化减小到约0.6%。这难道不是优化产生的巨大价值吗?
CPU设置:
禁用一些CPU的功能,能够省电并能使用固定的CPU频率。实现这个功能可以通过将Linux调节器从更改intel_pstate
为 acpi_cpufreq
。
该intel_pstate
驱动程序使用Intel Core(Sandy Bridge和更新的)处理器的内部调节器实现缩放驱动程序。该acpi_cpufreq
驱动器利用ACPI处理器性能状态。我们先来看看吧!
$ cpupower frequency-info
analyzing CPU 0:
driver: intel_pstate
CPUs which run at the same hardware frequency: 0
CPUs which need to have their frequency coordinated by software: 0
maximum transition latency: 0.97 ms.
hardware limits: 1.20 GHz - 3.60 GHz
available cpufreq governors: performance, powersave
current policy: frequency should be within 1.20 GHz and 3.60 GHz.
The governor "powersave" may decide which speed to use within this range.
current CPU frequency is 1.20 GHz.
boost state support:
Supported: yes
Active: yes
您会看到使用调节器设置为powersave,CPU频率会在1.20 GHz和3.60 GHz之间。这对您的个人电脑或其他日常使用是有好处的,但在做基准测试时会影响到结果。
调节器还有其他什么功能?如果你浏览文档,你会看到以下内容:
- performance - 以最高频率运行CPU。
- powersave - 以最低频率运行CPU。
- userspace - 以用户指定的频率运行CPU。
- ondemand - 根据当前负载动态缩放频率。跳转到最高频率,然后可能随着空闲时间的增加而退回。
- conservative - 根据当前负载动态缩放频率。比频率更频繁地扩大频率。
我们想要使用的是性能调节器,并将频率设置在CPU支持的最大值。比如说是这样的结果:
$ cpupower frequency-info
analyzing CPU 0:
driver: acpi-cpufreq
CPUs which run at the same hardware frequency: 0
CPUs which need to have their frequency coordinated by software: 0
maximum transition latency: 10.0 us.
hardware limits: 1.20 GHz - 2.30 GHzavailable frequency steps: 2.30 GHz, 2.20 GHz, 2.10 GHz, 2.00 GHz, 1.90 GHz, 1.80 GHz, 1.70 GHz, 1.60 GHz, 1.50 GHz, 1.40 GHz, 1.30 GHz, 1.20 GHz
available cpufreq governors: conservative, ondemand, userspace, powersave, performance
current policy: frequency should be within 2.30 GHz and 2.30 GHz.
The governor "performance" may decide which speed to use
within this range.
current CPU frequency is 2.30 GHz.
cpufreq stats: 2.30 GHz:100.00%, 2.20 GHz:0.00%, 2.10 GHz:0.00%, 2.00 GHz:0.00%, 1.90 GHz:0.00%, 1.80 GHz:0.00%, 1.70 GHz:0.00%, 1.60 GHz:0.00%, 1.50 GHz:0.00%, 1.40 GHz:0.00%, 1.30 GHz:0.00%, 1.20 GHz:0.00% (174)
boost state support:
Supported: no
Active: no
现在你要使用 performance 调节器,固定频率为2.3 GHz。该值是可以在Xeon E5-2699 v3上使用的最大的可能,没有Turbo Boost。要设置所有内容,请以管理权限运行以下命令:
cpupower frequency-set -g performance
cpupower frequency-set --min 2300000 --max 2300000
如果没有cpupower
,请使用以下命令安装:
sudo apt-get install linux-tools-common linux-header-`uname -r` -y
调节器对CPU的使用有很大的影响。默认情况下,调速器设置为自动缩放频率以降低功耗。我们不希望在我们的系统上,我们继续从GRUB禁用它。只需编辑/boot/grub/grub.cfg
(但是如果您在内核升级时操作要小心,这将会消失)或者在其中创建一个新的内核条目 /etc/grub.d/40_custom
。我们的引导行必须包含以下标志:intel_pstate=disable
,如下所示:
linux/boot/vmlinuz-4.4.0-78-generic.efi.signed root=UUID=86097ec1-3fa4-4d00-97c7-3bf91787be83 ro intel_pstate=disable quiet splash $vt_handoff
ASLR设置(地址空间布局随机器):
这个设置是有争议的,你可以在Victor Stinner的帖子中看到。当我第一次建议在执行基准测试时禁用ASLR,这是在进一步改进对CPython中存在的Profile Guided Optimizations的支持的背景下。
什么导致我说这是个事实,在上面提到的特定硬件上,禁用ASLR,运行primes.py,标准差变化到0.4%!
另一方面,在我的个人计算机(拥有Intel Core i7 4710MQ)上进行测试,使得禁用ASLR导致出现了Victor所提出的相同问题。
由于它似乎不是普遍可用的结论,而是在很大程度上取决于硬件/软件配置,所以最好的方法是让它启用并测试,禁用它并重新测试,然后比较结果。
在我的机器上,我通过添加以下内容在全球禁用/etc/sysctl.conf
。
申请使用sudo sysctl -p
。
kernel.randomize_va_space = 0
如果要在运行时禁用它:
sudo bash -c 'echo 0 >| /proc/sys/kernel/randomize_va_space'
如果要启用它:
sudo bash -c 'echo 2 >| /proc/sys/kernel/randomize_va_space'
未完待续!
希望上述的介绍能够帮助到你!
本文由北邮@爱可可-爱生活老师推荐,
文章原标题《Hunting Performance in Python Code – Part 1. Environment Setup》,
作者:pythonrinf 译者:袁虎 审阅:
文章为简译,更为详细的内容,请查看原文
Python代码运行不够流畅?看大神如何多角度优化!相关推荐
- python福利彩随机_看大神如何用Python分析福利彩票的秘密,百万大奖不是梦!
相信福利彩票大家都买过吧,既然学爬虫为何不动手写个小程序抓一下呢,说不定还能发现福彩的秘密,本篇主要面向于对Python爬虫感兴趣的零基础的同学,实例为中彩网的福利3D彩票,比较有趣,小伙伴们一起动手 ...
- python大神和小白代码_看大神6行代码如何带领小白快速入门Python爬虫?
原标题:看大神6行代码如何带领小白快速入门Python爬虫? 可能是小编本身就有一定的基础!当然我没有瞧不起小白的看法,知识觉得要入门一门编程语言确实比较简单,而且小编本身也是从小白过来的,但是当初接 ...
- 好玩的程序,看大神如何玩转编程
这篇文章是:<程序员:分享几个好玩的东东(下)>,在分享了<程序员:分享几个好玩的东东(上)>之后,不少人都在留言,期盼赶紧更新这篇文章.端午之后,当然是不负众望,给大家来一起 ...
- http.client.InvalidURL: nonnumeric port: 'yourport' 运行报错 求大神指点。。。。。。实在是不知道怎么弄了
@(http.client.InvalidURL: nonnumeric port: 'yourport' 运行报错 求大神指点......实在是不知道怎么弄了) import numpy as np ...
- python代码运行助手是什么业务_python代码运行助手怎么使用()
python代码运行助手怎么使用 #/usr/bin/env python3 # -*- coding: utf-8 -*- r''' learning.py A Python 3 tutorial ...
- python代码运行助手是什么业务_Python代码运行助手
Python代码运行助手可以让你在线输入Python代码,然后通过本机运行的一个Python脚本来执行代码.原理如下: 在网页输入代码: 点击Run按钮,代码被发送到本机正在运行的Python代码运行 ...
- 新手必看——Python代码运行的方法都在这里了
Python代码写好了怎么运行?相信问这样问题的朋友一定是刚刚入门Python的初学者.本文就来为大家详细讲讲如何运行Python代码. 一般来讲,运行Python代码的方式有两种,一是在Python ...
- 一个让Python代码运行更快的最佳方式!
作者 | Serdar Yegulalp 译者 | 姜松浩,责编 | 屠敏 转载自 CSDN(ID:CSDNnews) Python因其强大.灵活且易于使用等特性,而赢得了声誉.这些优点使其在各种各样 ...
- python慢在哪里_求大神分析一下我的python脚本慢在哪里?
请大神们分析下这个python脚本为什么会运行这么慢. 初衷: 公司有个料号系统, 在网站上输入料号就能查询相关的资料, 一般情况下, 我会ctrl+c, 打开网站, ctrl+v, 点击查询, 得到 ...
最新文章
- 自然语言处理的现实应用
- pip install python -32_pip安装python模块方法
- vue实现倒计时验证码
- (21)css3盒模型box-sizing属性
- 可以编写html的文件吗,我可以使用HTML5/JS编写文件吗?
- mysql kegg_阿里技术官甩出的768页MySQL优化笔记,火遍全网不是意外
- 基于Matlab----MSK调制与解调
- Edraw Max(亿图图示):新手如何快速美化思维导图?
- WEB程序设计 第7版.pdf
- leetcode707.设计链表(Python实现)
- 关于网站漏洞修复以及处理解决的相关问题解答
- 文科生的悲哀-斐波拉契数列
- Echarts饼图无法切换漏斗图问题处理
- App Store 类别定义
- 为何电脑下载mp3等音乐导入U盘后无法在汽车上播放?网易云等音乐软件夹带私货!!
- 传说中让理科生沉默,让文科生落泪的文史综合题
- 抓包和网络镜像 华为交换机S2300
- ubuntu下使用360wifi2做无线网卡
- 推荐8款在win11上还能用的“古董级”软件
- as3.0 导入外部图片