在类树莓派的ARM开发板上组建大数据集群

2019独角兽企业重金招聘Python工程师标准>>>

先上效果：

这是由三块pine64+开发板搭建的mini集群，网上有用树莓派搭建Hadoop文章，不过由于树莓派的性能实在太差了（很老的CPU，1G内存），所以最终我选择了与之价格相近（200左右一块）的pine64+（官方链接在此：http://www.pine64.com/product），它有一颗4核64位的A53 CPU及2GB DDR3的内存。

我目前安装了Hadoop、Spark、Zookeeper、HBase With Phoenix，除了Spark 1.6.1的snappy尚不支持ARM外（可使用LZ4CompressionCodec代替），搭建过程和普通的硬件没有区别。怎么安装可以参见网上的各类文章或参考我的电子书：http://gudaoxuri.github.io/bd-lab/

再来张使用DBeaver查询HBase的效果：

在ARM板上运行大数据集群在什么用处呢？我觉得有三点：

1. 个人实验用，ARM板便宜，又比虚拟机贴近真实，用来学习或新技术实验是个不错的选择

2. 节能，目前大数据集群很耗能，相比而言，ARM架构有可能在能耗与性能上找到平衡点

3. 移动化，目前大多移动设备都是ARM架构的，如果以后大数据服务单节点足够轻量，可以运行在各个手机中，那么也许会有很多新的场景，这点不是我异想天开，看看databricks的一篇很有意思的调研文章：https://databricks.com/blog/2015/04/01/spark-2-rearchitecting-spark-for-mobile.html

转载于:https://my.oschina.net/gudaoxuri/blog/690174

在类树莓派的ARM开发板上组建大数据集群相关推荐

如何在ARM开发板上从源码编译安装OpenCV和OpenCV contrib
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达本文主要介绍如何在ARM开发板上从源码编译安装OpenCV和OpenCV contrib. OpenC ...
【linux】ARM开发板上设置RTC时间，断电重启后，设置失效的原因分析
问题描述 linux中使用date设置时间后用hwclock -w同步到RTC,断电重启后,有时会失效原因分析保存时间戳 1.使用命令关机(halt)会调用rc0.d中的脚本: 2.使用命令重启( ...
ARM开发板上iconv_open(utf-8, gb2312) 调用失败的解决方法（转）
ARM开发板上iconv_open("utf-8", "gb2312") 调用失败的解决方法应用程序代码如下: static int code_convert ...
将linux内核烧进arm板,ARM开发板上uClinux内核移植
<ARM开发板上uClinux内核移植>由会员分享,可在线阅读,更多相关<ARM开发板上uClinux内核移植(19页珍藏版)>请在人人文库网上搜索. 1.纷傲掌秀悸篷益哑檀扬 ...
摄像头在liunx上的QT显示和OK6410 ARM开发板上的使用
摄像头在liunx上的QT显示和OK6410 ARM开发板上的使用发布者:旺旺雪饼时间:2013-01-05 16:56:09 环境: Ubuntu10.04 arm linux OS: 3. ...
python交叉编译_交叉编译Python3.6.2，使用海思arm-hisiv200-linux-gcc，移植到arm开发板上...
最近在学习Python,感觉使用Python可以快速的写出程序,比之前使用的C语言快多了,能省出很多时间.多学一点知识有更多的选择.本职工作是嵌入式开发,学习了Python后想移植到开发板上,尝试嵌入 ...
linux usb视频开发板,ARM开发板上USB 摄像头图像采集实现
开发板上的arm是AT91RM9200,摄像头选用的是网眼的pc350,主控芯片是ov511+.系统内核是2.4,宿主机是fedora core 6,交叉编译器是2.95.3.就是这些家底了,:-). ...
在ARM开发板上实现LCD+USB键盘
一.LCD驱动这个地方先留着二.USB键盘驱动在linux内核里边提供了usbkbd.c可以直接借助这个模块,编译生成驱动模块加载进内核,其实对于驱动程序,这里还不是重点,最后想要实现的是直接在 ...
在arm开发板上实现播放内存里所有的jpg和bmp格式图片
之前学习的时候一个作业,趁机会发表一下做个记录,bmp图片较为简单就可以实现了,关于bmp图片的原理可参考这个链接https://blog.csdn.net/u013066730/article/de ...

在类树莓派的ARM开发板上组建大数据集群

在类树莓派的ARM开发板上组建大数据集群相关推荐

最新文章

热门文章