flume 中的 hdfs sink round 和roll
http://blog.csdn.net/kntao/article/details/49278239
http://flume.apache.org/FlumeUserGuide.html#exec-source
默认的是是SequenceFile所以数据存在hdfs上通过命令查看的时候会是乱码,如果此时需要修改filetype和writeFormat来修改
hdfs.fileType | SequenceFile | File format: currently SequenceFile, DataStream or CompressedStream (1)DataStream will not compress output file and please don’t set codeC (2)CompressedStream requires set hdfs.codeC with an available codeC |
其中DataStream是文本文件
a1.sinks.k1.type = hdfs a1.sinks.k1.channel = c1 a1.sinks.k1.hdfs.path = /maats/%{APPSTORE}/%Y%m%d/%H a1.sinks.k1.hdfs.filePrefix = events- a1.sinks.k1.hdfs.round = true a1.sinks.k1.hdfs.roundValue = 10 a1.sinks.k1.hdfs.roundUnit = minute a1.sinks.k1.hdfs.useLocalTimeStamp = true a1.sinks.k1.hdfs.fileType=DataStream a1.sinks.k1.hdfs.writeFormat=Text
转载于:https://www.cnblogs.com/rocky-AGE-24/p/6984313.html
flume 中的 hdfs sink round 和roll相关推荐
- Flume中的HDFS Sink配置
Flume中的HDFS Sink配置参数说明 type:hdfs path:hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/flume/webdata/ filePrefi ...
- Flume中的HDFS Sink配置参数说明
Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下. channel type:hdfs path:写入hdfs的路径,需要包含文件系统标识,可以使用flum ...
- flume组件之hdfs sink
简介 flume的三大组件 source\channel\sink对应着采集位置类型\缓存类型\下沉地类型 本文主要讲解sink中的hdfs sink的常见属性以及常见问题 常用属性 type:指定s ...
- Flume sinks案例HDFS Sink(每 5 秒在 hdfs 上创建一个新的文件夹)
参考网址:hdfs sinks %t Unix 时间戳,毫秒 %{host} 替换名为"host"的事件 header 的值.支持任意标题名称. %a 星期几的短名,即 Mon, ...
- flume中hdfs sinks参数配置详解
Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下. channel type hdfs path 写入hdfs的路径,需要包含文件系统标识,比如:hdfs: ...
- 【Flume】【源码分析】flume中sink到hdfs,文件系统频繁产生文件,文件滚动配置不起作用?
本人在测试hdfs的sink,发现sink端的文件滚动配置项起不到任何作用,配置如下: a1.sinks.k1.type=hdfs a1.sinks.k1.channel=c1 a1.sinks.k1 ...
- [ETL] Flume 理论与demo(Taildir Source Hdfs Sink)
一.Flume简介 1. Flume概述 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集.聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据: ...
- Flume HDFS Sink配置详解
Name Default Description channel – type – 组件的名称,必须为:HDFS hdfs.path – HDFS目录路径,例如:hdfs://namenode/f ...
- Flume之HDFS Sink使用案例
前言 操作系统:CentOS 7 Java版本:1.8.0_221 Flume版本:1.8.0 HDFS版本:2.7.7 Flume agent配置:Netcat TCP Source.Memory ...
最新文章
- Codeforces Round #699 (Div. 2) F - AB Tree(贪心、树上DP)超级清晰,良心题解,看不懂来打我 ~
- 微信小游戏开发教程-新建项目
- android 记一次富文本加载之路
- c: realloc()函数解析
- 图解Oracle 12c创建数据挖掘(Data Miner)用户dmuser
- yum 安装服务出现报错收集
- 面试必会系列 - 2.1 MySQL知识点大汇总(基本架构,存储引擎,锁,事务,索引,B+树等等)
- 0009:err:module:__wine_process_init failed to load xxx
- 模拟数据集上训练神经网络,网络解决二分类问题练习
- ES6新特性_Promise介绍与基本使用---JavaScript_ECMAScript_ES6-ES11新特性工作笔记024
- 调用OpenCVSharp进行拍照
- <<游戏设计艺术>>笔记
- led数字字体_led电视质量排行榜
- 微积分:2.1导数中的中值定理
- 【EXCEL】去除多余行列
- 电脑文件自动备份云服务器,电脑文件自动备份云服务器
- 欢迎使用CSDN-markdown编辑器不啵啵啵啵啵啵啵啵啵啵啵啵
- json 微信小程序 筛选_微信小程序(同城小程序)_总结二(筛选功能)
- 程序员《周易》入门一
- 苹果犯了“围师必阙”大忌
热门文章
- linux运维笔试题目,linux运维相关的笔试题目_笔试题目
- c++word书签_「职场必备」干货!WORD办公软件快捷键,小编整理拿走不谢
- python安装包找不到setup_如何安装没有setup.py的Python模块?
- 贪心策略取得最优解的条件_什么是贪心算法?
- VS2019 WPF制作OTA上位机(一)新建工程
- php curl form-data,在php curl multipart / form-data请求中发送一个文件和json数据
- mysql_result 对应mysqli哪个_php – 如何在mysqli中转换mysql_result?
- php的延时sleep函数
- linux中将光标与操作系统,linux操作系统基本命令介绍(2)
- python解释器环境中、用于表示上一次_文学人类学概说_尔雅文学人类学概说答案第四小节课后作业答案...