Storm入门教程

1. Storm基础

Storm

Storm主要特点

Storm基本概念

Storm调度器

Pluggable scheduler（可插拔调度器）

Isolation scheduler（隔离调度器）

Storm配置

Guaranteeing Message Processing（消息处理保障机制）

Daemon Fault Tolerance（守护线程容错机制）

理解Storm拓扑的并行

Tutorial

Local模式

在生产环境中运行Topologies

Storm调度器

Storm有4中内置调度器：DefaultScheduler, IsolationScheduler, MultitenantScheduler, ResourceAwareScheduler.

Pluggable scheduler（可插拔调度器）

Storm中可以实现自己的调度器来替代默认的给worker分配executor的调度器。
可以在stom.yaml文件中的“storm.scheduler”选项中配置且自定义的调度器必须实现IScheduler接口。

Isolation scheduler（隔离调度器）

隔离调度器使得多个topologies共享集群资源更加容易和安全。隔离调度器让你指定那个topologies 应该隔离，也就是说隔离的topologies 运行在集群中的特定的机器中，该机器上没有其它运行的topologies 。这些隔离的topologies 具有高优先级别，所以如果和非隔离的topologies竞争资源，资源将会分配给隔离的topologies；如果必须给隔离topologies分配资源，那么将会从非隔离的topologies中获取资源。一旦所有的隔离topologies所需资源得到满足，那么集群中剩下的机器将会被非隔离的topologies共享。
配置隔离调度器：
1）在Nimbus配置选项“storm.scheduler”赋值"org.apache.storm.scheduler.IsolationScheduler"。
2）在"isolation.scheduler.machines"选项中指定每个topology 分配多少台机器。这个配置是一个map集合。如下：
isolation.scheduler.machines:
"my-topology": 8
"tiny-topology": 1
"some-other-topology": 3
提交到集群中的topologies 如果没有出现上上述map中，那么将不会被隔离。注意：该配置只能通过集群的管理员分配
这种隔离调度器解决了多租户问题，通过在多个topologies 完全隔离，避免了topologies 的资源竞争问题。

转载于:https://www.cnblogs.com/yourarebest/p/6010861.html

【原】Storm调度器相关推荐

  1. JStorm与Storm源码分析（三）--Scheduler，调度器

    Scheduler作为Storm的调度器,负责为Topology分配可用资源. Storm提供了IScheduler接口,用户可以通过实现该接口来自定义Scheduler. 其定义如下: public ...

  2. JStorm与Storm源码分析（四）--均衡调度器，EvenScheduler

    EvenScheduler同DefaultScheduler一样,同样实现了IScheduler接口,  由下面代码可以看出: (ns backtype.storm.scheduler.EvenSch ...

  3. Storm自定义调度器实现--DirectScheduler

    前言 最近在研究Storm的任务调度相关的知识,于是就想要试着去改造一下Storm的任务调度,来满足一下现实状况中的一些场景. Storm调度的相关术语 在看Storm的Scheduler代码么之前, ...

  4. 7种主流案例，告诉你调度器架构设计通用法则(干货!)

    女主宣言 今天小编为大家转载一篇来自DBAplus社群的干货文章,希望能够帮助大家对关于调度器的理解.作者张晨,Strikingly数据平台工程师,算法.分布式系统和函数式编程爱好者.Shanghai ...

  5. yarn当中各个主要组件的作用及调度器

    1.ResourceManager主要作用: 处理客户端请求启动/监控ApplicationMaster监控NodeManager资源分配与调度 2.NodeManager主要作用: 单个节点上的资源 ...

  6. Linux桌面GUI系统的调度器应该怎么做才不卡顿呢？

    承接前面两篇文章,继续这个话题: 为什么Linux CFS调度器没有带来惊艳的碾压效果 https://blog.csdn.net/dog250/article/details/95729830 为什 ...

  7. 11.LVS调度器详解

    1. 集群和分布式 系统性能扩展方式: scale up:垂直扩展,向上扩展,增强,性能更强 scale out:水平扩展,向外扩展,增加设备,并行的运行多个服务调度分配问题,cluster 1.1 ...

  8. 鼠眼看Linux调度器

    一.耗子 vs Linux ? "鼠目寸光",应该是个暴光率挺高的成语了,常用来说某人看事情没有深度,看不透本质.毫无疑问,这是一个贬义100%的词.但不管是认识什么未知事物,都一 ...

  9. 鼠眼看Linux调度器 by raise_sail @ chinaunix

    来源:http://my.chinaunix.net/space.php?uid=20043340&do=blog&id=154837 /* 这是一篇4年前的文章.本人最近学习linu ...

  10. Kubernetes调度器源码学习（三）：Preempt抢占机制、调度失败与重试处理

    本文基于Kubernetes v1.22.4版本进行源码学习 5.Preempt抢占机制 当高优先级的Pod没有找到合适的节点时,调度器会尝试抢占低优先级的Pod的节点.抢占过程是将低优先级的Pod从 ...

最新文章

  1. 2021-2027年中国智能调光玻璃行业市场行情动态及投资前景分析报告
  2. docker pip 换源_Docker 部署 jupyterlab 3.0.3
  3. JS 实现图片的预加载（转载）
  4. iOS 11.4.1 正式版越狱
  5. 为什么我们总是喜欢选择差不多的价格
  6. Python print 函数- Python零基础入门教程
  7. 33. 脱壳篇-重建输入表
  8. 强烈推荐深入浅出jBPM
  9. Github Coding Developer Book For LiuGuiLinAndroid
  10. 用得上的商学课-老路
  11. insightface 的学习与使用
  12. 蛋白质二级结构预测－Chou-Fasman预测方法
  13. 柠檬水健康问题打包解答
  14. (PADA)Partial Adversarial Domain Adaptation笔记
  15. Gut：中国药科大学周伟等团队在肠道菌群驱动风湿性关节炎机制研究和中药干预方面取得新进展...
  16. 淘宝手机端详情页的设置
  17. Allegro自动10度走线详细教程
  18. 如何实现单片机按键长按和短按功能
  19. 迈瑞BC5800出图
  20. 关于CG，CV，DIP

热门文章

  1. 记一次自动提醒钉钉机器人的诞生
  2. Linux配置NTP服务器
  3. 分析网站速度和性能的最佳工具
  4. Microsoft Press免费电子书地址
  5. Linux命令学习手册-mount命令
  6. [Publish AAR To Maven] 使用 Gradle 发布 AAR 到 Maven 仓库
  7. 单链表逆置-java（递归与非递归）
  8. element-ui自定义手机号的验证
  9. uni app项目资讯列表展开与收起
  10. python如何向服务器发送文件,在Python中使用套接字向服务器发送文件