flume 多chanel配置
#配置文 a1.sources= r1 a1.sinks= k1 k2 a1.channels= c1 c2 #Describe/configure the source a1.sources.r1.type = avro a1.sources.r1.bind = slave3 a1.sources.r1.port = 50001 a1.sources.r1.host=slave3 a1.sources.r1.selector.type = replicating a1.sources.r1.channels = c1 c2 #第一个 hdfs a1.sinks.k1.type = hdfs a1.sinks.k1.channel = c1 a1.sinks.k1.hdfs.path = /maats5/%{logtype}/logdate=%{date}/ a1.sinks.k1.hdfs.filePrefix = %{logtype}-%{date} a1.sinks.k1.hdfs.round = true a1.sinks.k1.hdfs.roundValue = 1 a1.sinks.k1.hdfs.roundUnit = hour a1.sinks.k1.hdfs.rollInterval = 180000 a1.sinks.k1.hdfs.rollSize = 134217700a1.sinks.k1.hdfs.useLocalTimeStamp = true a1.sinks.k1.hdfs.fileType=DataStream a1.sinks.k1.hdfs.writeFormat=Text #第二个到kafka#a1.channels = c1 #a1.sinks = k1 #a1.sinks.k1.type = org.example.MySink #a1.sinks.k1.channel = c1a1.sinks.k2.channel = c2 a1.sinks.k2.type = my.bigdata.KafkaSink2 a1.sinks.k2.kafka.topic = maats1 a1.sinks.k2.kafka.bootstrap.servers = slave3:9092 a1.sinks.k2.kafka.flumeBatchSize = 20 a1.sinks.k2.kafka.producer.acks = 1 a1.sinks.k2.kafka.producer.linger.ms = 1 #a1.sinks.ki.kafka.producer.compression.type = snappy# Usea channel which buffers events in memory a1.channels.c1.type= memory a1.channels.c1.capacity= 1000 a1.channels.c1.transactionCapacity= 100 a1.channels.c2.type= memory a1.channels.c2.capacity= 1000 a1.channels.c2.transactionCapacity= 100
转载于:https://www.cnblogs.com/rocky-AGE-24/p/7469297.html
flume 多chanel配置相关推荐
- Flume简介及配置
Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用.Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 clo ...
- Flume HDFS Sink配置详解
Name Default Description channel – type – 组件的名称,必须为:HDFS hdfs.path – HDFS目录路径,例如:hdfs://namenode/f ...
- 【flume】flume的安装配置理解
1.Flume 的一些核心概念: 组件 功能 Agent 使用JVM 运行Flume.每台机器运行一个agent,但是可以在一个agent中包含多个sources和sinks. 名称 作用 Clien ...
- 拦截 数据_大数据之六类Flume拦截器配置
时间戳拦截器 Timestamp.conf #1.定义agent名, source.channel.sink的名称a4.sources = r1a4.channels = c1a4.sinks = k ...
- Flume篇---Flume安装配置与相关使用
一.前述 Copy过来一段介绍Apache Flume 是一个从可以收集例如日志,事件等数据资源,并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务,或者数集中机制.flume具有高可用, ...
- 【原创】flume-1.3.0安装配置以及flume启动说明
Flume介绍 一 flume基本介绍 Apache flume是一个分布式的.可靠的和可用的用来高效收集.同济和移动大量数据从众多不同sources到一个集中的数据存储库的系统. Flume eve ...
- [转]大数据环境搭建步骤详解(Hadoop,Hive,Zookeeper,Kafka,Flume,Hbase,Spark等安装与配置)
大数据环境安装和配置(Hadoop2.7.7,Hive2.3.4,Zookeeper3.4.10,Kafka2.1.0,Flume1.8.0,Hbase2.1.1,Spark2.4.0等) 系统说明 ...
- 【Flume】举例分析如何配置Flume
Flume非常灵活,日常工作中可以根据实际需求配置. 如果大家不知道Flume支持哪些配置,那么可以关注Flume官网. 在Configuration标签下有Flume Source,Flume Si ...
- 大数据——Flume安装配置和使用
Flume安装配置和使用 Flume安装和配置 测试 监控端口数据 监控文件信息 监控文件夹中的新文件 监控文件写入HDFS中 监控文件上传到HDFS并去除首条字段信息(拦截器) 内置拦截器 自定义拦 ...
最新文章
- 包邮免费送2022年科研人专属趣味台历,微科盟年终福利,错过悔一年!
- 解决Matlab Help文档需要登录才能查看的问题
- android活动管理器,Android 中管理所有的 Acyivity 活动
- 解决redis启动时的警告
- app式成语_疯狂的成语app
- iOS常用于显示几小时前/几天前/几月前/几年前的代码片段
- AJAX+JavaScript无刷新检查用户名
- HihoCoder 1323 回文字符串
- MSP, CMP傻傻分不清楚?一文读懂云管理的春天
- Nodejs windows的安装
- Hadoop有什么用
- RTP audio video profile
- java.io.serializable_java.io.Serializable浅析 | 学步园
- ztree带有选项框的树形菜单使用
- JBoss下载and安装
- Vue2组件通信方式
- 《Visual Basic.Net 循序渐进》
- 发那科sub_PMC功能指令之定时器TMR(SUB3)
- 3DMAX利用IGame导出骨骼动画概要
- 微信小程序rich-text富文本图片自适应处理
热门文章
- Debezium同步mysql数据
- Windows11 开发者版尝鲜安装教程
- conda Solving environment: failed InvalidVersionSpecError: Invalid version spec: =2.7
- Gavin老师Transformer直播课感悟 - 基于Retrieval的具有Fine-grained架构的对话系统(二)
- 四国军旗辅助记忆小工具
- Hadoop Java HotSpot(TM) Client VM warning: You have loaded library /
- Arm 确认对华禁售先进芯片设计产品;谷歌不准备推出 ChatGPT 类聊天产品;Bugzilla 宣布未来计划|极客头条...
- 如何实现SIMOTION设备与CF卡的绑定
- android 18x games,Mainstays 18X24 Flexible Pastry Mat
- 2021-11-24 WinFrom面试题 如何设置MenuStrip控件中菜单项的快捷键?