我们主要使用Apache Storm进行流处理,并使用Apache HBase作为NoSQL宽列数据库。

即使Apache Cassandra是一个出色的NoSQL数据库,由于Cloudera的分布以及与Cassandra相比更加一致 (请检查CAP定理 ),我们还是更喜欢HBase。

HBase基于HDFS,但出于测试目的,可以轻松将其独立安装。 您只需要下载最新版本,解压缩文件,启动独立节点,然后启动HBase Shell即可播放。

$> tar zxvf hbase-1.1.2-bin.tar.gz
$> cd hbase-1.1.2/bin/
$> ./start-hbase.sh
$> ./hbase shell
hbase(main):001:0> create 'DummyTable', 'cf'
hbase(main):001:0> scan 'DummyTable'

在独立模式下启动HBase时,它也会自动启动本地Zookeeper节点(在默认端口2181中运行)。

$> netstat -anp|grep 2181

HBase和Storm将Zookeeper用作分布式协调器机制。 现在,由于您已经在运行本地Zookeeper节点,因此可以配置并运行本地Storm集群。

  • 下载最新的 Storm
  • 提取
  • 配置“ STORM_HOME / conf / storm.yaml”(检查以下内容)
  • 启动本地集群:
    • $> cd STORM_HOME/bin
  • 日志位于“ STORM_HOME / logs /”目录中
  • 在以下位置检查本地Storm UI: localhost:8080

新的“ storm.yaml ”配置文件的内容:

storm.zookeeper.servers:
- "localhost"nimbus.host: "localhost"supervisor.slots.ports:
- 6701
- 6702

您还可以设置参数“ worker.childopts ”来为每个Worker (处理节点)设置JVM选项。 这是本地JVM的一个简单示例,其中设置了最小/最大堆大小,垃圾回收策略,启用JXM和GC日志。

worker.childopts: "-server -Xms512m -Xmx2560m -XX:PermSize=128m -XX:MaxPermSize=512m -XX:+UseParallelOldGC -XX:ParallelGCThreads=3 -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -verbose:gc -Xloggc:/tmp/gc-storm-worker-%ID%.log -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.port=1%ID% -XX:+PrintFlagsFinal -Djava.awt.headless=true -Djava.net.preferIPv4Stack=true"

所有Worker JVM节点均加载参数“ worker.childopts ”。 变量“%ID%”对应于分配给每个工作程序的端口(6701或6702)。 如您所见,我已经使用它为每个工作程序和不同的GC日志文件启用了不同的JMX端口。

我们使用的是使用JDK 7的Storm,但JDK 8似乎也兼容。 最新的Storm已从Logback切换到Log4j2( 在此处和此处查看完整的发行说明)。

按照上述说明,您将能够在笔记本电脑上运行HBase和Storm迷你群集,而不会出现任何问题。

翻译自: https://www.javacodegeeks.com/2015/12/local-installation-standalone-hbase-apache-storm-simple-cluster.html

在本地安装独立的HBase和Apache Storm简单集群相关推荐

  1. HBase在CentOS上分布集群安装

    场景 CentOS7上搭建Hadoop集群(入门级): https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119335883 在上面搭 ...

  2. 本地安装kylin学习环境

    本地安装kylin学习环境: (以HDP2.5和kylin2.5.0+为例) 原理简介:HDP是一个集成的大数据环境,包括了通用的大数据组件例如MR,hive,HBASE等等,而且有统一的ambari ...

  3. nodejs全局安装和本地安装的区别

    作者:白树 转载自http://www.cnblogs.com/PeunZh... 上一篇文章<npm 常用命令详解>主要是整理了最常使用的npm命令及相关介绍,其中有提到全局安装(npm ...

  4. 03_Flink本地安装、分别解压scala和Flink、配置环境变量、启动集群、提交一个job、停止集群

    1.3.Flink本地安装 1.3.1.分别解压scala和Flink 1.3.2.配置环境变量 1.3.3.启动集群 1.3.4.提交一个job 1.3.5.停止集群 1.3.Flink本地安装 如 ...

  5. 本地安装UCSC基因组浏览器

    UCSC基因组浏览器在大规模高通量数据的可视化和比较分析研究中发挥着重要的作用.拥有了本地浏览器,就可以对自己的测序数据进行更深入的分析和共享使用.本文详细介绍了如何一步步在本地安装.配置.高级使用U ...

  6. hive安装及整合hbase

    hive安装及整合hbase (1). 上传hive安装包并解压 tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /export/server/ (2). 配置hi ...

  7. 尚硅谷大数据技术Zookeeper教程-笔记01【Zookeeper(入门、本地安装、集群操作)】

    视频地址:[尚硅谷]大数据技术之Zookeeper 3.5.7版本教程_哔哩哔哩_bilibili 尚硅谷大数据技术Zookeeper教程-笔记01[Zookeeper(入门.本地安装.集群操作)] ...

  8. 在本地安装divi主题 —— 详细步骤

    加入我们的Divi主题中文社群,一起分享经验.交流技巧.提高技能! 您在使用Divi主题吗?那就快快加入我们的社群,与其他Divi爱好者一起交流经验! 加入我们的Divi主题中文社群,获得最新的Div ...

  9. 本地安装Tomcat详细步骤

    本地安装Tomcat详细步骤 Win10下载安装Tomcat及配置环境变量 一.官网下载Tomcat 二.配置环境变量 三.安装Tomcat 四.检验是否安装成功 五.注意事项 六.问题与解决 Win ...

最新文章

  1. Pjax是什么以及为什么推荐大家用
  2. [转]Linux配置防火墙
  3. Functor、Applicative 和 Monad x
  4. IIS连接数、IIS并发连接数、IIS最大并发工作线程数、应用程序池的队列长度、应用程序池的...
  5. 微软引入linux内核,微软内部已在讨论Linux内核中加入exFAT的可能性
  6. 【HEVC】目前H265分析软件推荐
  7. 国科大高级人工智能8-归结原理和horn子句
  8. 全球首发!计算机视觉Polygon Mesh Processing读书笔记6——微分几何中的Metric Properties
  9. 摄影测量学和计算机视觉,摄影测量学
  10. 利用YYLabel实现图文混排
  11. Excel下拉列表式的动态图表,你会制作吗?
  12. 201771010112罗松《面向对象程序设计(java)》第八周学习总结
  13. Private,Public,Protected
  14. HDMI是什么设备与计算机连接的接口类型,​hdmi接口有什么用?怎么连接电脑?vga和hdmi的区别...
  15. 立体匹配---立体匹配过程
  16. ctfshow-命令执行-web37
  17. Hive 多维度聚合分析查询
  18. 神奇的Redis延迟
  19. wind客户端python接口 java调用
  20. 黑马韩前成linux从入门到精通之UNIX发展史

热门文章

  1. 到底什么是 OAuth 2.0
  2. (十)IDEA添加mybatis-mapp.xml文件
  3. 将编号为0和1的两个栈存放于一个数组空间V[m]中。
  4. 三个剩两个,两个剩一个,最后一个都没剩下。
  5. go编译库给c语言函数返回值,go语言 函数return值的几种情况
  6. android java split_Java中的split函数的用法
  7. 2020最新Java线程池入门(超详细)
  8. rabbitmq启动失败-报Failed to load advanced configuration file解决方法
  9. thinking-in-java(11) 持有对象
  10. 无处不再的广告_我的机器人现在无处可去。 无家可归。 无服务器。