大数据技术之Stome 概念

Storm 是一个分布式的，容错的实时计算系统

Storm 实时低延迟，主要有两个原因：

1 storm 进程是常驻内存的，没有hadoop 里面的不断的起停

2 storm 的数据是不经过磁盘的，都是在内存里面的，处理完成就没有了，数据的交换经过网络，没有磁盘IO

Storm 和hadoop的区别：

数据来源不同，hadoop是hdfs 上某个文件夹下可能是上TB的数据，storm 是实时的新增的一笔数据

处理过程不同，hadoop是分map 和reduce 阶段额，storm 是由用户定义的处理流程，流程中包含多个步骤，每个步骤可以是数据源spout 或处理逻辑 bolt

是否结束，hadoop 最后是要结束的，storm是没有结束状态，到最后一步时，就停滞，等有新数据进入时再唤醒程序

处理速度不同，hadoop 是以处理hdfs 上大数据量为目的的，速度慢，storm是只要处理实时的新增的某一笔内存中的数据即可，速度极快

适用场景不同，hadoop 是以批处理用的，不讲时效性，处理一次就提交一个job storm 处理一段时间内新增的数据，有时效性

与mq 相比，hadoop 没有可比性，storm 可以看作是n 个步骤，每个步骤处理完就向下一个mq 发送消息，监听这个mq 的消费者继续处理

Storm 架构

Nimbus 集群管理，接受jar包，调度topology

nimbus <---> zk<----> slave(supervisor)

nimbus 处理topology submit kill rebalance 等请求

Supervisor 起停worker

监控worker ，把自己的情况汇报给zk

每台机器起一个supervisor 进程

worker 一个jvm进程资源分配单位，可以启动多个executor

每个机器supervisor启动多个worker，默认 4 个

executor 干活的奴隶，线程

executor 创建 spout bolt 对象执行spout bolt 里面的nexttuple() execute()

task

zookeeper

完全分布规划（zk 服务器 3 台，一台nimbus，N台 supervisor服务器）

storm 的核心配置是 conf/storm.yaml

storm.zookeeper.servers:
- "spark001"
- "spark002"
- "spark003"
nimbus.host: "spark001"

storm 的ui 默认端口是 8080 ？？？？？

编程模型，

DAG Spout Bolt

Storm 启动

首先启动zookeeper

依次启动nimbus ，ui supervisor ，logviewer

提交topology

./bin/storm jar examples/storm-starter/storm-starter-topoloies-0.98.0.jar storm.starter.WordCountTopology wordcount

转载于:https://www.cnblogs.com/TendToBigData/p/10501489.html

大数据技术之Stome 概念相关推荐

大数据技术之 Hadoop概念讲解
Hadoop介绍狭义上Hadoop指的是Apache软件基金会的一款开源软件. 用java语言实现,开源允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理 Hadoop核心组件 ...
ssm大数据技术学习网0y331【独家源码】应对计算机毕业设计困难的解决方案
本项目包含程序+源码+数据库+LW+调试部署环境,文末可获取一份本项目的java源码和数据库参考. 系统的选题背景和意义选题背景: 随着信息技术的快速发展和互联网的普及,大数据技术在各个领域中扮演着 ...
《Spark大数据分析：核心概念、技术及实践》大数据技术一览
本节书摘来自华章出版社<Spark大数据分析:核心概念.技术及实践>一书中的第1章,第1节,作者穆罕默德·古勒(Mohammed Guller)更多章节内容可以访问云栖社区"华章 ...
大数据技术_ 基础理论之大数据概念与应用
1.1 大数据的概念与意义 1．从"数据"到"大数据" 时至今日,"数据"变身"大数据","开启了一次重大的时 ...
第一课大数据技术之Fink1.13的实战学习-部署使用和基础概念
第一课大数据技术之Fink1.13的实战学习文章目录第一课大数据技术之Fink1.13的实战学习第一节 Fink介绍 1.1 Flink介绍背景 1.2 Flink 的应用场景 1.3 流式 ...
大数据技术概念以及应用领域完全解读
在写这篇大数据文章之前,我发现身边很多IT人对于这些热门的新技术.新趋势往往趋之若鹜却又很难说的透彻,如果你问他大数据是什么,什么是大数据概念?估计很少能说出一二三来.究其原因,一是因为大家对大数据这 ...
尚硅谷大数据技术Spark教程-笔记09【SparkStreaming（概念、入门、DStream入门、案例实操、总结）】
尚硅谷大数据技术-教程-学习路线-笔记汇总表[课程资料下载] 视频地址:尚硅谷大数据Spark教程从入门到精通_哔哩哔哩_bilibili 尚硅谷大数据技术Spark教程-笔记01[SparkCore ...
【云计算与大数据技术】大数据概念和发展背景讲解（图文解释超详细）
一.什么是大数据大数据是一个不断发展的概念,可以指任何体量或负载下那个超出常规数据处理方法和处理能力的数据,数据本身可以是结构化,半结构化甚至是非结构化的,随着物联网技术与可穿戴设备的飞速发展,数据 ...
后端技术杂谈12：捋一捋大数据研发的基本概念
你了解你的数据吗(开篇) 转自http://www.mdjs.info/2018/03/05/data-warehouse/concept-of-dw/ 0x00 前言你了解你的数据吗? 前几天突然 ...

大数据技术之Stome 概念

大数据技术之Stome 概念相关推荐

最新文章

热门文章