讲python的东哥_安利一个Python大数据分析神器!
对于Pandas运行速度的提升方法,之前已经介绍过很多回了,里面经常提及Dask,很多朋友没接触过可能不太了解,今天就推荐一下这个神器。
1、什么是Dask?Pandas和Numpy大家都不陌生了,代码运行后数据都加载到RAM中,如果数据集特别大,我们就会看到内存飙升。但有时要处理的数据并不适合RAM,这时候Dask来了。Dask是开源免费的。它是与其他社区项目(如Numpy,Pandas和Scikit-Learn)协调开发的。官方:https://dask.org/Dask支持Pandas的DataFrame和NumpyArray的数据结构,并且既可在本地计算机上运行,也可以扩展到在集群上运行。基本上,只要编写一次代码,使用普通的Pythonic语法,就可在本地运行或部署到多节点集群上。这本身就是一个很牛逼的功能了,但这还不是最牛逼的。我觉得Dask的最牛逼的功能是:它兼容大部分我们已经在用的工具,并且只需改动少量的代码,就可以利用自己笔记本电脑上已有的处理能力并行运行代码。而并行处理数据就意味着更少的执行时间,更少的等待时间和更多的分析时间。下面这个就是Dask进行数据处理的大致流程。
2、Dask支持哪些现有工具?这一点也是我比较看中的,因为Dask可以与Python数据处理和建模的库包兼容,沿用库包的API,这对于Python使用者来说学习成本是极低的。而像Hadoop、Spark这种大数据处理是有很高的学习门槛和时间成本的。目前,Dask可支持pandas、Numpy、Sklearn、XGBoost、XArray、RAPIDS等等,光是这几项我觉得就足够用了,至少对于常用的数据处理、建模分析是完全覆盖得掉的。
3、Dask安装可以使用 conda 或者 pip,或从源代码安装dask。conda install dask
因为dask有很多依赖,所以为了快速安装也可用下面代码,将安装运行Dask所需的最少依赖关系集。conda install dask-core
再有就是通过源来安装。git clone https://github.com/dask/dask.git
cd dask
python -m pip install .
4、Dask如何使用?Numpy、pandasDask引入了3个并行集合,它们可以存储大于RAM的数据,这些集合有DataFrame、Bags、Arrays。这些集合类型中的每一个都能够使用在RAM和硬盘之间分区的数据,以及分布在群集中多个节点上的数据。Dask的使用是非常清晰的,如果你使用NumPy数组,就从Dask数组开始,如果你使用Pandas DataFrame,就从Dask DataFrame开始,依此类推。import dask.array as da
x = da.random.uniform(low=0, high=10, size=(10000, 10000), # normal numpy code
chunks=(1000, 1000)) # break into chunks of size 1000x1000
y = x + x.T - x.mean(axis=0) # Use normal syntax for high level algorithms
# DataFrames
import dask.dataframe as dd
df = dd.read_csv('2018-*-*.csv', parse_dates='timestamp', # normal Pandas code
blocksize=64000000) # break text into 64MB chunks
s = df.groupby('name').balance.mean() # Use normal syntax for high level algorithms
# Bags / lists
import dask.bag as db
b = db.read_text('*.json').map(json.loads)
total = (b.filter(lambda d: d['name'] == 'Alice')
.map(lambda d: d['balance'])
.sum())
这些高级接口在略微变化的情况下复制了标准接口。对于原始项目中的大部分API,这些接口会自动为我们并行处理较大的数据集,实现上不是很复杂,对照Dask的doc文档即可一步步完成。Delayed下面说一下Dask的Delay功能,非常强大。Dask.delayed是一种并行化现有代码的简单而强大的方法。之所以被叫做delayed是因为,它没有立即计算出结果,而是将要作为任务计算的结果记录在一个图形中,稍后将在并行硬件上运行。有时问题用已有的dask.array或dask.dataframe可能都不适合,在这些情况下,我们可以使用更简单的dask.delayed界面并行化自定义算法。例如下面这个例子。def inc(x):
return x + 1
def double(x):
return x * 2
def add(x, y):
return x + y
data = [1, 2, 3, 4, 5]
output = []
for x in data:
a = inc(x)
b = double(x)
c = add(a, b)
output.append(c)
total = sum(output)
45
上面代码在单个线程中按顺序运行。但是,我们看到其中很多可以并行执行。Dask delayed函数可修饰inc、double这些函数,以便它们可延迟运行,而不是立即执行函数,它将函数及其参数放入计算任务图中。我们简单修改代码,用delayed函数包装一下。import dask
output = []
for x in data:
a = dask.delayed(inc)(x)
b = dask.delayed(double)(x)
c = dask.delayed(add)(a, b)
output.append(c)
total = dask.delayed(sum)(output)
代码运行后inc、double、add和sum都还没有发生,而是生成一个计算的任务图交给了total。然后我们用visualizatize看下任务图。total.visualize()
上图明显看到了并行的可能性,所以毫不犹豫,使用compute进行并行计算,这时才完成了计算。>>>total.compute()
45
由于数据集较小无法比较时间,这里只介绍下使用方法,具体可自己动手实践下。
Sklearn机器学习关于机器学习的并行化执行,由于内容较多,东哥会在另一篇文章展开。这里简单说下一下dask-learn。dask-learn项目是与Sklearn开发人员协作完成的。现在可实现并行化有Scikit-learn的Pipeline、GridsearchCV和RandomSearchCV以及这些的变体,它们可以更好地处理嵌套的并行操作。因此,如果你将sklearn替换为dklearn,那么速度将会提升很多。# from sklearn.grid_search import GridSearchCV
from dklearn.grid_search import GridSearchCV
# from sklearn.pipeline import Pipeline
from dklearn.pipeline import Pipeline
下面是一个使用Pipeline的示例,其中应用了PCA和逻辑回归。from sklearn.datasets import make_classification
X, y = make_classification(n_samples=10000,
n_features=500,
n_classes=2,
n_redundant=250,
random_state=42)
from sklearn import linear_model, decomposition
from sklearn.pipeline import Pipeline
from dklearn.pipeline import Pipeline
logistic = linear_model.LogisticRegression()
pca = decomposition.PCA()
pipe = Pipeline(steps=[('pca', pca),
('logistic', logistic)])
grid = dict(pca__n_components=[50, 100, 150, 250],
logistic__C=[1e-4, 1.0, 10, 1e4],
logistic__penalty=['l1', 'l2'])
# from sklearn.grid_search import GridSearchCV
from dklearn.grid_search import GridSearchCV
estimator = GridSearchCV(pipe, grid)
estimator.fit(X, y)
结果是:sklearn会在40秒钟左右执行此计算,而dask-learn替代品大约需要10秒钟。另外,如果添加以下代码可以连接到集群,通过Client可以展示整个计算过程的dashboard,由Bokeh实现。from dask.distributed import Client
c = Client('scheduler-address:8786')
5、总结以上就是Dask的简单介绍,Dask的功能是非常强大的,且说明文档也非常全,既有示例又有解释。感兴趣的朋友可以自行去官网或者GitHub学习,东哥下次分享使用Dask进行机器学习的一些实例。原创不易,感谢支持,来个三连可好
来源:Python数据科学
作者:东哥起飞
讲python的东哥_安利一个Python大数据分析神器!相关推荐
- 讲python的东哥_小伙子不讲武德,竟用Python爬取了B站上1.4万条马老师视频数据来分析...
看到标题, 啪的一下你就进来了吧! 如果有经常刷B站的小伙伴,肯定都知道B站鬼畜现在的顶流是谁? 印度:没错正是在下 那必须是当代大师浑元形意太极拳掌门人「马保国」先生啊! 实话讲,马保国走进大家视野 ...
- python编程第一程序_第一个Python程序_Python编程开发教程
第一个Python程序 用notepad++编写程序代码 语言设置为python(高量显示函数和关键字)(注意:行首不能有空格,Python对缩进要求严格) 命令提示符运行 cd \文件名 #打开py ...
- python监控某个程序_写一个python的服务监控程序
写一个python的服务监控程序 前言: Redhat下安装Python2.7 rhel6.4自带的是2.6, 发现有的机器是python2.4. 到python网站下载源代码,解压到Redhat上, ...
- python pygame小游戏_第一个python+pygame小游戏
没有周队那么有情调,自己写故事做rpg,又没什么绘画功底,只能做这样的休闲棋类游戏.本来是用java写的,但里面绘图太麻烦了(或者说我不会多线程),又想起前几天看到的pygame,于是果断python ...
- python可打印字符_测试一个python字符串是否可打印
如您所说的 string module has printable,所以这只是一个检查字符串中所有字符是否可打印的情况: >>> hello = 'Hello World!' > ...
- anaconda怎么运行python程序_第一个python程序,从安装python环境到人生第一个py脚本运行全过程...
文章目录 前言一.安装python运行环境 1.官网https://www.python.org下载安装包.exe 2.安装python二.python模块下载 1.配置pip环境变量 2.下载pyt ...
- python智能合约编程_如何用Python Flask开发以太坊智能合约
将数据存储在数据库中是任何软件应用程序不可或缺的一部分.无论如何控制该数据库都有一个该数据的主控.区块链技术将数据存储到区块链网络内的区块中.因此,只要某个节点与网络同步,它们就会获得区块中数据的副本 ...
- python大数据免费_安利大家一个Python大数据分析神器
对于Pandas运行速度的提升方法,之前已经介绍过很多回了,里面经常提及Dask,很多朋友没接触过可能不太了解,今天就推荐一下这个神器.StB免费资源网 1.什么是Dask?StB免费资源网 Pand ...
- 讲python的东哥_IT大神耗时三年经典之作,2019年Python从入门到精通视频,送你
这是一份深入底层的每个阶段都会有的项目的python学习教程.可信度很高! 本套Python课程400集,从零基础开始,全面讲解Python基础,直达可以手写神经网络的境界. 我们创造性的增加了:手写 ...
最新文章
- (oracle)二、创建数据库
- python list去重_Python中实用却不常见的小技巧
- 170316.道格拉斯-普克算法
- 《JavaScript高级程序设计(第四版)》红宝书学习笔记(1)
- 基础层区块链Harmony发布主网新版本v4.0.0
- 用python对单一微博文档进行分词——jieba分词(加保留词和停用词)
- MySQL面试题中:主从同步部署介绍
- 第十讲 线性反馈移位寄存器
- CF55D: Beautiful Number
- 用VMWARE安装Mac OSX Tiger 10.4.4 X86
- android流量显示插件,安卓状态栏显示网速(安卓网速显示插件)
- typora定制主题分享--绿豆沙背景主题+新night背景主题
- 大学英语计算机统考怎么过,2011年9月大学英语B 统考 计算机网考样题
- php mobi_PHP核心技术与最佳实践 mobi epub
- matlab氢原子杂化轨道,原子及分子轨道演示软件——Orbital Viewer
- 【计算机网路-第四章】IP地址和子网掩码
- 世界安全生产与健康日 国美零售这些家电与你息息相关
- 计算机网络实习内容,计算机网络工程实习目的与内容
- 未转变者服务器3.26物品id,Unturned未转变者3.21版本物品ID代码汇总
- Python用pyexiv2读写图片元数据(EXIF、IPTC、XMP)
热门文章
- 编程实现企业发放的奖金根据利润提成问题
- 某社区团购公司宣布破产。。。
- 极验接入教程纯html,VUE接入 腾讯验证码,极验验证码
- Visual Studio 博客圈 转载
- BT 种子,磁力链接是个啥?
- c语言窗口最小化,教你用代码隐藏、最大化、最小化ACCESS的主窗口
- Error resolving version for plugin ‘org.apache.maven.plugins:maven-source-plugin‘ from the resources
- java正则表达式 密码强度_密码验证,密码强度正则表达式
- 3.口袋西游人物属性(03)
- Oracle列转行函数LISTAGG() WITHIN GROUP ()的使用方法