python跑得慢_代码跑得慢甩锅Python?手把手教你如何给代码提速30%
原标题:代码跑得慢甩锅Python?手把手教你如何给代码提速30%
来源丨Medium
编译丨王转转
大数据文摘出品
https://mp.weixin.qq.com/s/bY3REj6qVw0M1NkhfQaj2g
Python已经得到了全球程序员的喜爱,但是还是遭到一些人的诟病,原因之一就是认为它运行缓慢。
其实某个特定程序(无论使用何种编程语言)的运行速度是快还是慢,在很大程度上取决于编写该程序的开发人员自身素质,以及他们编写优化而高效代码的能力。
Medium上一位小哥就详细讲了讲如何让python提速30%,以此证明代码跑得慢不是python的问题,而是代码本身的问题。
时序分析
在开始进行任何优化之前,我们首先需要找出代码的哪些部分使整个程序变慢。有时程序的问题很明显,但是如果你一时不知道问题出在哪里,那么这里有一些可能的选项:
注意:这是我将用于演示的程序,它将进行指数计算(取自Python文档):
# slow_program. py
from decimal import *
def exp( x):
getcontext.prec += 2
i, lasts, s, fact, num = 0, 0, 1, 1, 1
whiles != lasts:
lasts = s
i += 1
fact *= i
num *= x
s += num / fact
getcontext.prec -= 2
return+s
exp(Decimal( 150))
exp(Decimal( 400))
exp(Decimal( 3000))
最简约的“配置文件”
首先,最简单最偷懒的方法——Unix时间命令。
~ $ time python3 .8slow_program.py
real0m11, 058s
user 0m11, 050s
sys 0m0, 008s
如果你只能直到整个程序的运行时间,这样就够了,但通常这还远远不够。
最详细的分析
另外一个指令是cProfile,但是它提供的信息过于详细了。
~ $ python3. 8- mcProfile -s time slow_program. py
1297functioncalls(1272 primitive calls)in11.081 seconds
Ordered by: internal time
ncalls tottime percall cumtime percall filename:lineno( function)
311.0793.69311.0793.693slow_program. py: 4( exp)
10.0000.0000.0020.002{built-in method _imp.create_dynamic}
4/ 10.0000.00011.08111.081{built-in method builtins.exec}
60.0000.0000.0000.000{built-in method __new__ of typeobject at 0x9d12c0}
60.0000.0000.0000.000abc. py: 132(__new__)
230.0000.0000.0000.000_weakrefset. py: 36(__init__)
2450.0000.0000.0000.000{built-in method builtins.getattr}
20.0000.0000.0000.000{built-in method marshal.loads}
100.0000.0000.0000.000: 1233(find_spec)
8/ 40.0000.0000.0000.000abc. py: 196(__subclasscheck__)
150.0000.0000.0000.000{built-in method posix.stat}
60.0000.0000.0000.000{built-in method builtins.__build_class__}
10.0000.0000.0000.000__init__. py: 357(namedtuple)
480.0000.0000.0000.000: 57(_path_join)
480.0000.0000.0000.000: 59( )
10.0000.00011.08111.081slow_program. py: 1( )
在这里,我们使用cProfile模块和time参数运行测试脚本,以便按内部时间(cumtime)对行进行排序。这给了我们很多信息,你在上面看到的行大约是实际输出的10%。由此可见,exp函数是罪魁祸首,现在我们可以更详细地了解时序和性能分析。
时序特定功能
现在我们知道了应当主要关注哪里,我们可能想对运行速度缓慢的函数计时,而不用测量其余的代码。为此,我们可以使用一个简单的装饰器:
deftimeit_wrapper(func):
@wraps(func)
defwrapper(*args, **kwargs):
start = time.perf_counter # Alternatively, you can use time.process_time
func_return_val = func(*args, **kwargs)
end= time.perf_counter
print( '{0:<10}.{1:<8} : {2:<8}'.format(func.__module_ _, func.__name_ _, end- start))
returnfunc_return_val
returnwrapper
然后可以将此装饰器应用于待测功能,如下所示:
@timeit_wrapper
def exp( x):
...
print( '{0:<10} {1:<8} {2:^8}'.format( 'module', 'function', 'time'))
exp(Decimal( 150))
exp(Decimal( 400))
exp(Decimal( 3000))
这给出我们如下输出:
~ $ python3. 8slow_program. py
module functiontime
__main__ . exp: 0.003267502994276583
__main__ . exp: 0.038535295985639095
__main__ . exp: 11.728486061969306
需要考虑的一件事是我们实际想要测量的时间。时间包提供time.perf_counter和time.process_time两个函数。他们的区别在于perf_counter返回的绝对值,包括你的Python程序进程未运行时的时间,因此它可能会受到计算机负载的影响。另一方面,process_time仅返回用户时间(不包括系统时间),这仅是你的过程时间。
加速吧!
让Python程序运行得更快,这部分会很有趣!我不会展示可以解决你的性能问题的技巧和代码,更多地是关于构想和策略的,这些构想和策略在使用时可能会对性能产生巨大影响,在某些情况下,可以将速度提高30%。
使用内置数据类型
这一点很明显。内置数据类型非常快,尤其是与我们的自定义类型(例如树或链接列表)相比。这主要是因为内置程序是用C实现的,因此在使用Python进行编码时我们的速度实在无法与之匹敌。
使用lru_cache缓存/记忆
我已经在上一篇博客中展示了此内容,但我认为值得用简单的示例来重复它:
importfunctools
importtime
# caching up to 12 different results
@functools.lru_cache(maxsize=12)
defslow_func(x):
time.sleep( 2) # Simulate long computation
returnx
slow_func( 1) # ... waiting for 2 sec before getting result
slow_func( 1) # already cached - result returned instantaneously!
slow_func( 3) # ... waiting for 2 sec before getting result
上面的函数使用time.sleep模拟大量计算。第一次使用参数1调用时,它将等待2秒钟,然后才返回结果。再次调用时,结果已经被缓存,因此它将跳过函数的主体并立即返回结果。有关更多实际示例,请参见以前的博客文章。
使用局部变量
这与在每个作用域中查找变量的速度有关,因为它不只是使用局部变量还是全局变量。实际上,即使在函数的局部变量(最快),类级属性(例如self.name——较慢)和全局(例如,导入的函数)如time.time(最慢)之间,查找速度实际上也有所不同。
你可以通过使用看似不必要的分配来提高性能,如下所示:
# Example #1
classFastClass:
defdo_stuff(self):
temp = self.value # this speeds up lookup in loop
fori inrange( 10000):
... # Do something with `temp` here
# Example #2
importrandom
deffast_function:
r = random.random
fori inrange( 10000):
print(r) # calling `r` here, is faster than global random.random
使用函数
这似乎违反直觉,因为调用函数会将更多的东西放到堆栈上,并从函数返回中产生开销,但这与上一点有关。如果仅将整个代码放在一个文件中而不将其放入函数中,则由于全局变量,它的运行速度会慢得多。因此,你可以通过将整个代码包装在main函数中并调用一次来加速代码,如下所示:
defmain:
... # All your previously global code
main
不访问属性
可能会使你的程序变慢的另一件事是点运算符(.),它在获得对象属性时被使用。此运算符使用__getattribute__触发字典查找,这会在代码中产生额外的开销。那么,我们如何才能真正避免(限制)使用它呢?
# Slow:
importre
defslow_func:
fori inrange( 10000):
re.findall(regex, line) # Slow!
# Fast:
fromre importfindall
deffast_func:
fori inrange( 10000):
findall(regex, line) # Faster!
当心字符串
使用模数(%s)或.format进行循环运行时,字符串操作可能会变得非常慢。我们有什么更好的选择?根据雷蒙德·海廷格(Raymond Hettinger)最近的推特,我们唯一应该使用的是f字符串,它是最易读,最简洁且最快的方法。根据该推特,这是你可以使用的方法列表——最快到最慢:
f' {s}{t}'# Fast!
s + ' '+ t
' '.join((s, t))
'%s %s'% (s, t)
'{} {}'.format(s, t)
Template( '$s $t').substitute(s=s, t=t) # Slow!
生成器本质上并没有更快,因为它们被允许进行延迟计算,从而节省了内存而不是时间。但是,保存的内存可能会导致你的程序实际运行得更快。这是怎么做到的?如果你有一个很大的数据集,而没有使用生成器(迭代器),那么数据可能会溢出CPU L1缓存,这将大大减慢内存中值的查找速度。
在性能方面,非常重要的一点是CPU可以将正在处理的所有数据尽可能地保存在缓存中。你可以观看Raymond Hettingers的视频,他在其中提到了这些问题。
结论
优化的首要规则是不要优化。但是,如果确实需要,那么我希望上面这些技巧可以帮助你。但是,在优化代码时要小心,因为它可能最终使你的代码难以阅读,因此难以维护,这可能超过优化的好处。
相关报道:
https://towardsdatascience.com/making-python-programs-blazingly-fast-c1cd79bd1b32
长
按
关
责任编辑:
python跑得慢_代码跑得慢甩锅Python?手把手教你如何给代码提速30%相关推荐
- python省略号怎么打_打中一次赚一次?手把手教你打新债
作者 | DeltaF(转载请注明出处 ) 投资理财 ☞ 一站式基金投资分析课 / 这是我的第 2 期「股票小科普」 / Hello,大家好,我是DeltaF.今天来聊个话题,一个被聊烂的话题. ...
- 手把手教你用Pytorch代码实现Transformer模型(超详细的代码解读)
手把手教你用Pytorch代码实现Transformer模型(超详细代码解读)
- python修改悦跑圈数据_悦跑圈数据导出 悦跑圈新版本支持跑表、跑步机数据接入 - 电脑常识 - 服务器之家...
悦跑圈数据导出 悦跑圈新版本支持跑表.跑步机数据接入 发布时间:2017-05-07 来源:服务器之家 11月11日,跑步软件悦跑圈在Appstore上线了新版本iOS1.5.4/Android 1. ...
- python 抠图源码_比PS还好用!Python 20行代码批量抠图
你是否曾经想将某张照片中的人物抠出来,然后拼接到其他图片上去,从而可以即使你在天涯海角,我也可以到此一游? 很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道 ...
- python开发ps插件_你还在用PS?Python 20行代码批量抠图
抠图前 vs Python自动抠图后 在日常的工作和生活中,我们经常会遇到需要抠图的场景,即便是只有一张图片需要抠,也会抠得我们不耐烦,倘若遇到许多张图片需要抠,这时候你的表情应该会很有趣. Pyth ...
- android wear悦跑圈,悦跑圈下载_悦跑圈安卓版app下载_手心游戏
跑步就用「悦跑圈」,悦跑悦享跑,悦跑悦快乐. 这里有精准的数据记录工具,众多优秀跑者,丰富赛事活动.无论是跑步新手还是骨灰跑者,都能在这里找到属于你的圈子. •每日签:懂你每一天的心情 悦跑日签,每天 ...
- android wear悦跑圈,悦跑圈下载_悦跑圈app最新v3.2.1下载_游戏吧
悦跑圈是一款专业的运动健身软件,本作超过80%马拉松跑者都在用悦跑圈.无论是跑步新手还是骨灰跑者,都能在这里找到属于你的圈子.需要的快点下载吧. 悦跑圈v3.2.1特色: 跑步就用「悦跑圈」,悦跑悦享 ...
- python考试题库开发_算法/开发 面试必看! 【python基础】面试题合集
本合集整理了计算机专业相关算法/开发面试中遇到的[python基础]相关面试题,后续会持续更新,有需要的小伙伴可以点赞or收藏随时查阅哦!♥ Q:python不可变对象?可变对象?可变对象:list ...
- python字符串去头尾_悉尼大学某蒟蒻的Python学习笔记
About me 本蒟蒻是悉尼大学计算机科学大一的学生,这篇博客记录了学习INFO1110这门课的一些心得,希望能对大家有帮助. To start with 因为计算机只能识别机器语言,所以我们需要编 ...
最新文章
- 2014计算机三级网络技术,2014计算机三级网络技术综合题解题思路
- 京东API网关实践之路!
- 论Docker swarm与Kubernetes孰强孰弱
- mysql游标结果为空
- 使用traits技术表现迭代器类型 iterator_category
- 【Clickhouse】Connection is currently waiting for an insert operation, check your previous InsertState
- 学python买什么书-19年学习Python有什么好的书籍推荐吗?
- 数字电子技术基础(五):编码器
- esp8266作为wifi中继固件 无线信号延展
- 手持式频谱分析仪帮助实施毫米波无线信道调查
- .net 开发工程师 面试题
- java poi 自动行高,20191012——POI设置单元格自动行高(思路)
- word上下的横线怎么去掉_word文档上面有一条横线怎么去掉
- VMware Workstation Pro的安装详细过程
- colormap保存 matlab_[转载]matlab的colormap的保存
- 工程经济作业1答案_2018年电大《工程经济与管理》阶段作业1及答案(网上作业).doc...
- CleanMyMac序列号密钥如何清理苹果电脑内存?
- 金仓数据库KingbaseES数据库参考手册(服务器配置参数14. 版本和平台兼容性)
- 苹果手机备忘录怎么提取图片文字
- matlab 分段函数 反余弦
热门文章
- thinkphp伪静态(url重写)
- InnoDB memcached插件部署
- mysql权限的误操作的恢复
- html Frame、Iframe、Frameset 的区别 详细出处参考:http://www.jb51.net/web/22785.html
- 在Windows平台下使用安装GCC
- python小爬虫之天气查询
- 自己动手用Springboot实现仿百度网盘
- 零基础Java学习之继承
- 卡方检验 python
- 安装Oracle Database 11g 找不到文件“WFMLRSVCApp.ear” .