BigData之Storm:Apache Storm的简介、深入理解、下载、案例应用之详细攻略

目录

Apache Storm的简介

Apache Storm的深入理解

1、Storm与hadoop

2、Apache Storm的API

Apache Storm的下载

Current 2.2.x Release

Apache Storm的案例应用

1、Apache Storm集成


Apache Storm的简介

Apache Storm是一个免费的、开源的分布式实时计算系统。Apache Storm使它能够轻松可靠地处理无绑定的数据流,就像Hadoop对批处理所做的那样进行实时处理。Apache Storm很简单,可以与任何编程语言一起使用,而且使用起来很有趣!
        Apache Storm有很多用例:实时分析、在线机器学习、连续计算、分布式RPC、ETL等等。Apache Storm速度很快:基准测试显示,每个节点每秒处理的元组超过100万。它是可扩展的,容错的,保证您的数据将被处理,并且易于设置和操作。
        Apache Storm集成了您已经使用的排队和数据库技术。Apache Storm拓扑消耗数据流,并以任意复杂的方式处理这些流,在计算的每个阶段之间根据需要对流进行重新分区。在教程中内容。

Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易,弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。

官网:http://storm.apache.org/
文档:http://storm.apache.org/releases/current/index.html

Apache Storm的深入理解

1、Storm与hadoop

全量数据处理使用的大多是鼎鼎大名的hadoop或者hive,作为一个批处理系统,hadoop以其吞吐量大、自动容错等优点,在海量数据处理上得到了广泛的使用。但是,hadoop不擅长实时计算,因为它天然就是为批处理而生的,这也是业界一致的共识。否则最近这两年也不会有s4、storm、puma这些实时计算系统如雨后春笋般冒出来啦。

2、Apache Storm的API

Apache Storm有一个简单易用的API。在Apache Storm上编程时,可以操作和转换元组流,元组是一个指定的值列表。元组可以包含任何类型的对象;如果您想使用Apache Storm不知道的类型,那么很容易为该类型注册一个序列化器。

Apache Storm的下载

下载地址:http://storm.apache.org/downloads.html

Current 2.2.x Release

The current 2.2.x release is 2.2.0. Source and binary distributions can be found below. The list of changes for this release can be found here.

Documentation 
Javadocs

  • apache-storm-2.2.0.tar.gz [PGP] [SHA512]
  • apache-storm-2.2.0.zip [PGP] [SHA512]
  • apache-storm-2.2.0-src.tar.gz [PGP] [SHA512]
  • apache-storm-2.2.0-src.zip [PGP] [SHA512]

Apache Storm artifacts are hosted in Maven Central. You can add Apache Storm as a dependency with the following coordinates:

groupId: org.apache.storm
artifactId: storm-{component}
version: 2.2.0

Apache Storm的案例应用

1、Apache Storm集成

Apache Storm集成了任何排队系统和任何数据库系统。Apache Storm的spout抽象使得集成新的排队系统变得很容易。示例队列集成包括:

  1. Kestrel
  2. RabbitMQ / AMQP
  3. Kafka
  4. JMS
  5. Amazon Kinesis

同样,将apachestorm与数据库系统集成也很容易。只需打开与数据库的连接,然后像平常一样读/写。apachestorm将在必要时处理并行化、分区和失败时重试。

BigData之Storm:Apache Storm的简介、深入理解、下载、案例应用之详细攻略相关推荐

  1. SLAM:SLAM(即时定位与地图构建)的简介、发展、案例应用之详细攻略

    SLAM:SLAM(即时定位与地图构建)的简介.发展.案例应用之详细攻略 目录 SLAM的简介 1.我在什么地方?-定位,自身状态. 周围环境是什么样?-建图,外在环境. 2.SLAM的问题描述 3. ...

  2. Dataset之DA:数据增强(Data Augmentation)的简介、方法、案例应用之详细攻略

    Dataset之DA:数据增强(Data Augmentation)的简介.方法.案例应用之详细攻略 目录 DA的简介 DA的方法 DA的案例应用 DA的简介 数据集增强主要是为了减少网络的过拟合现象 ...

  3. ML之DataScience:基于机器学习处理数据科学(DataScience)任务(数据分析、特征工程、科学预测等)的简介、流程、案例应用执行详细攻略

    ML之DataScience:基于机器学习处理数据科学(DataScience)任务(数据分析.特征工程.科学预测等)的简介.流程.案例应用执行详细攻略 目录 数据科学的任务(数据分析.特征工程.科学 ...

  4. ML之FE:数据处理—特征工程之稀疏特征的简介、如何处理、案例应用之详细攻略

    ML之FE:数据处理-特征工程之稀疏特征的简介.如何处理.案例应用之详细攻略 目录 稀疏特征的简介 稀疏特征的如何处理 稀疏特征的案例应用 稀疏特征的简介 信号稀疏表示是过去近20年来信号处理界一个非 ...

  5. Py之lulu:lulu库的简介、安装、案例应用之详细攻略

    Py之lulu:lulu库的简介.安装.案例应用之详细攻略 目录 lulu库的简介 1.支持的站点 lulu库的装 lulu库的案例应用 1.下载音乐 2.下载视频 lulu库的简介 通过该库可下载各 ...

  6. Py之interpret:interpret的简介、安装、案例应用之详细攻略

    Py之interpret:interpret的简介.安装.案例应用之详细攻略 目录 interpret的简介 1.可解释性在ML过程中的重要作用 interpret的安装 interpret的案例应用 ...

  7. Algorithm:网络广告营销领域之归因分析/归因模型的简介、算法、案例应用之详细攻略

    Algorithm:网络广告营销领域之归因分析/归因模型的简介.算法.案例应用之详细攻略 目录 归因分析/归因模型的简介 1.常见几种归因分析模型 2.单触点归因分析VS多触点归因分析 3.归因模型的 ...

  8. Dreamweaver:Dreamweaver软件的界面简介、安装、案例应用之详细攻略

    Dreamweaver:Dreamweaver软件的界面简介.安装.案例应用之详细攻略 目录 Dreamweaver软件的简介 Dreamweaver软件的安装 Dreamweaver软件的界面简介 ...

  9. ML与Optimality:最优化理论(GD随机梯度下降/QN拟牛顿法/CG共轭梯度法/L-BFGS/TR置信域/GA遗传算法/SA模拟退火算法)在机器学习中的简介、常用方法、案例应用之详细攻略

    ML与Optimality:最优化理论(GD随机梯度下降/QN拟牛顿法/CG共轭梯度法/L-BFGS/TR置信域/GA遗传算法/SA模拟退火算法)在机器学习中的简介.常用方法.案例应用之详细攻略 目录 ...

  10. Internet:A/B Testing即对照实验(一种数据驱动决策方法)的简介、原理、案例应用之详细攻略

    Internet:A/B Testing即对照实验(一种数据驱动决策方法)的简介.原理.案例应用之详细攻略 目录 A/B Testing即对照实验(一种数据驱动决策方法)的简介 1.A/B Testi ...

最新文章

  1. 只因路由器密码太弱,IP被黑客利用发虐童图片,无辜夫妇:我们甚至想自杀...
  2. EXCEL中数据的自动匹配主要包含的内容
  3. 南海有macbook吗?
  4. GAN属于计算机视觉领域嘛_计算机视觉领域必知的开放数据集
  5. Java VS .NET:Java与.NET的特点对比
  6. python 栈和队列_Python实现栈和队列的简单操作方法示例
  7. keras从入门到放弃(十)手写数字识别训练
  8. 关于爬虫的一些工具。
  9. C语言中for语句的执行过程是什么?
  10. Java——网络编程练习
  11. java按照商品价格排序_按照指定的类型排序
  12. VS code解决Latex不显示参考文献,正文中显示[?]的问题
  13. JTS(Geometry)工具类
  14. state.php,状态模式(State)
  15. windows双系统如何删除ubuntu系统并重装
  16. 手把手教你写一个脚手架
  17. Go语言Win10环境配置
  18. catkin_make时出现‘CV_RETR_TREE’ was not declared in this scope
  19. android怎么恢复图片,怎么恢复安卓手机照片图片?
  20. Rdata数据导成txt,csv,spss,stata等格式

热门文章

  1. ifstream note
  2. DevExpress v17.2新版亮点——CodeRush篇(二)
  3. 802.1X学习笔记
  4. #每日播报# 8月6日 Github 热门项目汇总
  5. mybatis 批量增加 Parameter '__frch_item_0' not found. Available parameters are [list]
  6. 为部署ASP.NET Core准备:使用Hyper-V安装Ubuntu Server 16.10
  7. Spring 常犯的十大错误,打死都不要犯!
  8. 数据库性能优化的误区!
  9. 分布式架构知识体系必读
  10. 分布式、高并发、多线程,到底有什么区别?