DPark安装及相关资料整理

最近需要处理海量数据的分布式计算及数据挖掘，经过多次选择(hadoop,Spark,DPark)，最后还是选择了DPark，主要是看中DPark的轻量级及python的灵活性，且除了豆瓣外，在几个友公司都有成功的应用案例。

不过很痛苦的是DPark的资料太少了，连github上的官方wiki都不够详细，暂时只能主要靠自己摸索。

这篇文章主要记录DPark的一些资料及我在安装时的一些问题（其实基本是python问题，由于我暂时对python不熟导致的）。

1. DPark一句话简介：

DPark是豆瓣开发的基于Mesos的开源分布式计算框架，是spark的python版克隆。

2. python2.6下DPark安装：

git clone git://github.com/douban/dpark.git
cd dpark
python setup.py install

DPark使用easy_install进行安装，我这边没有setuptools，因此安装下：

yum -y install python-setuptools

问题继续出现，如下：

error: Couldn't find a setup script in /tmp/easy_install-riZxUs/protobuf-2.5.0.zip

坑爹，查了很久才在protobuf的google code中的issue 66中发现了如下说明：

#52 gregory....@gmail.com

Workaround: use easy_install's --allow-hosts options to force downloading from PyPI:easy_install --allow-hosts pypi.python.org protobufWorked for me

配置了easy_install的下载域名：

easy_install --allow-hosts pypi.python.org protobuf

之前的错误消失了，个人推测是之前默认下载google code的protobuf有问题？麻烦知情者告诉我一声，非常感谢！

新的错误总是会出现，又来：

error: Setup script exited with error: command 'gcc' failed with exit status 1

这个问题一般是由于缺少python-dev包导致的，继续装吧！

yum -y install python-devel

总算OK了，对python不熟确实不行，最近只是学习了python的语法，各种常用包的使用还不太清楚，需要继续努力。

3. 最后附上DPark的一些资料

官方中文wiki: https://github.com/jackfengji/test_pro/wiki

google group：https://groups.google.com/forum/#!forum/dpark-users

支持迭代计算的MapReduce框架PDF: http://velocity.oreilly.com.cn/2011/ppts/dpark.pdf

没了。。好惨。有知道其他资料的麻烦继续告诉我，多谢！

DPark安装及相关资料整理相关推荐

转：基于iOS上MDM技术相关资料整理及汇总
转自:http://www.mbaike.net/mdm/6.html 一.MDM相关知识: MDM (Mobile Device Management ),即移动设备管理.在21世纪的今天,数据是企 ...
epoll相关资料整理
http://www.cppblog.com/converse/archive/2008/10/13/63928.html epoll相关资料整理学习epoll有一段时间了,最近终于有一个服务器采用 ...
PRML：Pattern Recognition And Machine Learning 相关资料整理与下载
Pattern Recognition And Machine Learning 相关资料整理与下载前言一.PRML英文原文二.PRML中文翻译版三.PRML勘误与附加评论四.读者整理的笔记 ...
Scaleform相关资料整理
Scaleform相关资料整理官方教程: http://udn.epicgames.com/Three/Scaleform.html 麻将桌的视频: http://gameware.autodesk ...
Citrix 相关资料整理
转载请注明 http://blog.csdn.net/u011046042/article/details/72638345 思杰相关的资料整理: 官方网站 https://www.citrix.co ...
Linux+Docker+腾讯云/阿里云服务器安装MySQL相关命令整理
注:主要是收集整理一些常用的命令主要参考:狂神说docker以及其他的一些命令收集.主要是因为平常安装的mysql外部无法访问 MYSQL的创建用户,授权用户,删除用户,查看用户_ZJE-CSDN博 ...
Vrep/CoppeliaSim：安装及相关资料
目录 Vrep/CoppeliaSim安装相关资料自带场景官方用户手册官方论坛其他网络资料与教程 Vrep/CoppeliaSim安装 Vrep(现已更名为CoppeliaSim)是虚拟机器 ...
文本处理相关资料整理
github 搜索文本相似度文本处理实践相关资料,包含文本特征提取(TF-IDF),文本分类,文本聚类,word2vec训练词向量及同义词词林中文词语相似度计算.文档自动摘要,信息抽取,情感分析与观 ...
无人机相关资料整理-备忘
近期一直在学习无人机相关基础知识以及平台搭建方面的知识,搜集了很多网站的相关信息,有一些比较有用的github.中英文资料.谈论区网址.还收藏了一些免费的课程,以及自己已购买的课程的链接.有些普及的教 ...

DPark安装及相关资料整理

DPark安装及相关资料整理相关推荐

最新文章

热门文章