dask和numpy的计算对比

#dask求解1000000000个数的平均值
import dask.array as da
import numpy as np
import time
x=np.arange(1000000000)
#print(x)
y=da.from_array(x,chunks=(100000,))#chunks表示划分时每块的大小（大数据超过内存容量时，需要对数据进行按块划分）
tic=time.time()
print(y.mean().compute())
toc=time.time()
print(toc-tic)

499999999.5
7.00178861618042

tic=time.time()
print(x.mean())
toc=time.time()
print(toc-tic)

499999999.5
1.3414313793182373

发现numpy竟然比dask快，可能是因为numpy里面有等差数列的求和函数？
再试一下随机的

#dask求解1000000000个数的平均值
import dask.array as da
import numpy as np
import time
x=np.random.random(size=1000000000)
#print(x)
y=da.from_array(x,chunks=(100000,))#chunks表示划分时每块的大小（大数据超过内存容量时，需要对数据进行按块划分）
tic=time.time()
print(y.mean().compute())
toc=time.time()
print(toc-tic)

0.5000172934812016
6.600565433502197

tic=time.time()
print(x.mean())
toc=time.time()
print(toc-tic)

0.5000172934812018
0.8520197868347168
好，这样说明dask，我这里用的只是分块存储，并没有加快运行，反而更慢了。

dask和numpy的计算对比相关推荐

Python - 深度学习系列13- 显卡与CPU计算对比
说明因为装3060Ti的时候踩了坑(雷?),所以不太清楚这张卡是不是如同之前想象的一样,所以这篇文章会进行一系列的实验和对比.可能对其他希望用显卡进行计算的人有所帮助. 1 本篇的代码可以在装好显卡 ...
matlalb与python编程进行动力总成悬置模态计算对比——困惑待解
matlalb与python编程进行动力总成悬置模态计算对比--困惑待解 1.困惑以前用python编程算动力总成悬置系统模态时,有时有少量误差,困惑的很,为了搞清原因,将整个理论建模及算法重新研究 ...
初识人工智能(一):数据分析(二):numpy科学计算基础库(一)
1. numpy科学计算基础库 1.1 什么是numpy NumPy(Numerical Python)是Python语言的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数 ...
NumPy科学计算库-学习笔记
文章目录 NumPy科学计算库 0 准备安装python库 jupyter 启动:jupyter notebook jupyter扩展插件 1 基本操作 1.1 数组创建 1.2 查看属性 1.3 ...
python应用-scipy,numpy,sympy计算微积分
python应用-scipy,numpy,sympy计算微积分今天来讲一下使用python进行微积分运算,python有很多科学计算库都可以进行微积分运算,当然如果知晓微积分计算的原理也可以自己编程 ...
powerworld电力系统仿真，潮流计算，短路计算，电力系统分析。潮流计算对比，牛拉法，PQ分解法对比
powerworld电力系统仿真,潮流计算,短路计算,电力系统分析.潮流计算对比,牛拉法,PQ分解法对比编号:1710662437866344电气女博士
MOOC网神经网络与深度学习TensorFlow实践2——numpy科学计算库、matplotlib
numpy科学计算库只打乱第一维的数据: Matplotlib 散点图折线图和柱状图波士顿房价数据集可视化鸢尾花数据集可视化
Eigen, NumCpp, NumPy, CuPy计算时间成本对比
对于矩阵运算,著名的C++库有Eigen与C++版本的Numpy--NumCpp,Python库有NumPy与带GPU加速的Numpy版本CuPy.博客园|Eigen vs Numpy时间对比中对Ei ...
numpy中计算矩阵数值的核心函数
简介: 关键词: 矩阵,分解,QR #mermaid-svg-biyMQ4sXX3c1a4oB {font-family:"trebuchet ms",verdana,arial ...

dask和numpy的计算对比

dask和numpy的计算对比相关推荐

最新文章

热门文章