flux storm_Apache Storm:如何使用Flux配置KafkaBolt
flux storm
微型框架中的助焊剂可以帮助我们定义和部署Storm拓扑。
Flux有各种包装器,可帮助您定义所需的流并初始化Bolts和Spouts(使用带有或不带有参数的构造函数,并通过反射自动调用自定义配置方法)。
您只需要使用Flux就是将其作为依赖项添加到“ pom.xml”中,通过单个YAML文件进行配置(请检查助焊剂示例 ),然后将其用作主类以在Storm集群中部署拓扑(或作为本地测试)。
为了初始化KafkaBolt ,需要执行以下步骤:
- 通过“ withTopicSelector ”方法定义“ topicSelector ”
- 通过“ withTupleToKafkaMapper ”方法定义一个“ kafkaMapper”
- 通过“ withProducerProperties ”方法定义“ kafkaProducerProps ”
- 使用以上配置初始化“ org.apache.storm.kafka.bolt.KafkaBolt ”
- 作为流的一部分包含在KafkaBolt之上
KafkaBolt的最小Flux配置示例:
components:- id: "stringScheme"className: "org.apache.storm.kafka.StringScheme"- id: "stringMultiScheme"className: "org.apache.storm.spout.SchemeAsMultiScheme"constructorArgs:- ref: "stringScheme"- id: "zkHosts"className: "org.apache.storm.kafka.ZkHosts"constructorArgs:- "localhost:2181"- id: "topicSelector"className: "org.apache.storm.kafka.bolt.selector.DefaultTopicSelector"constructorArgs:- "myTopicName"- id: "kafkaMapper"className: "org.apache.storm.kafka.bolt.mapper.FieldNameBasedTupleToKafkaMapper"- id: "kafkaProducerProps"className: "java.util.Properties"configMethods:- name: "put"args:- "bootstrap.servers"- "localhost:9092"- name: "put"args:- "acks"- "1"- name: "put"args:- "key.serializer"- "org.apache.kafka.common.serialization.StringSerializer"- name: "put"args:- "value.serializer"- "org.apache.kafka.common.serialization.StringSerializer" bolts: - id: "bolt-kafka"className: "org.apache.storm.kafka.bolt.KafkaBolt"parallelism: 1configMethods:- name: "withProducerProperties"args: [ref: "kafkaProducerProps"]- name: "withTopicSelector"args: [ref: "topicSelector"]- name: "withTupleToKafkaMapper"args: [ref: "kafkaMapper"]streams:- name: "spout --> kafkaBolt"from: "spout-1"to: "bolt-kafka"grouping:type: LOCAL_OR_SHUFFLE
有关完整的工作配置示例,请选中此项 ,可以像这样使用 。
在Storm上部署拓扑的示例命令:
storm jar target/sentiment-analysis-storm-0.0.1-SNAPSHOT.jar org.apache.storm.flux.Flux --remote --c nimbus.host=192.168.1.200 src/test/resources/flux/topology_kafka.yaml
KafkaSpout的助焊剂配置已作为官方助焊剂示例进行了描述。 Flux是一个非常有用的框架,它消除了定义和初始化拓扑所需的自定义代码
翻译自: https://www.javacodegeeks.com/2016/05/apache-storm-configure-kafkabolt-flux.html
flux storm
flux storm_Apache Storm:如何使用Flux配置KafkaBolt相关推荐
- Apache Storm:如何使用Flux配置KafkaBolt
微型框架中的助焊剂可以帮助我们定义和部署Storm拓扑. Flux有各种包装器,可帮助您定义所需的流并初始化Bolts和Spouts(使用带有或不带有参数的构造函数,并通过反射自动调用自定义配置方法) ...
- Storm学习笔记——安装配置
1.安装一个zookeeper集群 2.上传storm的安装包,解压 3.修改配置文件conf/storm.yaml #所使用的zookeeper集群主机 storm.zookeeper.server ...
- flux react php,Vue的Flux框架之Vuex状态管理器
学习vue之前,最重要是弄懂两个概念,一是"what",要理解vuex是什么:二是"why",要清楚为什么要用vuex. Vuex是什么? Vuex 类似 Re ...
- create-react-app搭建环境+Less+element+router+flux状态管理
这两天在学习react的状态管理,看了facebook的flux,自己弄了个简单的示例.有兴趣的朋友可以瞧瞧. 本示例没什么实际作用,纯粹是为了试验flux的一些特性而随便弄的,还请不要笑话,哈哈! ...
- 时序数据库InfluxDB 2.0 alpha 发布:主推新的Flux查询语言,TICK栈将成为整体
InfluxDB 2.0的第一个alpha版本正式发布.2.0版本的愿景是将TICK整合成一个整体,将时序数据库.UI.仪表盘工具以及后台处理和监控代理置于一组API后面.从1.x到2.0产品线代表了 ...
- 【翻译】如何获得强大的GitOps?美国国防部使用Flux和Helm
作者:Tamao Nakahara 2021年9月30日 项目帖子由Weaveworks博客交叉发布,作者是Tamao Nakahara,Weaveworks的开发者体验主管和Flux社区经理. 挑战 ...
- Flux数据脚本语言
官方文档:Flux data scripting language | InfluxDB Enterprise 1.9 Documentation 目录 1.Flux设计原则 2.启用Flux 3.执 ...
- Spring Web flux基础(一)
1.SpringWebflux 介绍 (1)是 Spring5 添加新的模块,用于 web 开发的,功能和 SpringMVC 类似的,Webflux 使用 当前一种比较流行响应式编程出现的框架. ( ...
- flux unity 流体_Java ProjectReactor框架之Flux篇
Spring5现处在第四个预发布版,正式版将要发布了,它带来的一大特性就是响应式框架Spring WebFlux.默认使用ProjectReactor框架.因此.本文通过ProjectReactor中 ...
最新文章
- java if (name!=null name!=),命名不规范,lombok泪两行!
- 想让语音助手听懂方言,这个数据集或能帮你?
- 在Python中使用LLVM接口:llvmpy和llvmlite
- View事件分发机制(源码分析篇)
- JPA关系映射之one-to-many和many-to-one
- 从0搭建在线聊天室,只需4步!
- layui select 修改_layui修改select的值的方法
- Linux执行命令unable to create new native thread问题
- python下载matplotlib.finance模块_关于Matplotlib中No module named 'matplotlib.finance'的解决办法...
- OpenJDK织机和结构化并发
- 没有什么内存问题,是一行Python代码解决不了的
- sim800a指令_SIM900A 各功能指令 详细版
- 判断四张扑克牌能否凑成24点游戏算法
- 牛刀杀鸡-开源社区API之抢楼大作战
- 值得推荐的在线报表设计器
- Android4.1
- centos8在桌面添加pycharm和idea快捷方式没有allow launching选项问题
- 暴力递归转动态规划----以货币数问题展开
- [Redis] Redis实战
- 分布式任务调度系统设计:详解Go实现任务编排与工作流