flume的sink测试赫赫有名

public class MySink extends AbstractSink implements Configurable {
//前缀
private String prefix;
//后缀
private String suffix;
//创建你logger对象
private static final Logger LOG = LoggerFactory.getLogger(AbstractSink.class);
// Logger LOG = LoggerFactory.getLogger(AbstractSink.class);
//sink的process需要处理是hi五
public Status process() throws EventDeliveryException {
//获取channel
Channel channel = getChannel();
//获取一个事务
Transaction transaction = channel.getTransaction();
//开始处理事务
transaction.begin();
//状态
Status status;

    try {//初始化事件Event event = null;//轮询数据，如果获取不到，等待0.5秒，while可以一直读取Channel中的事件 直到为空while ((event = channel.take()) == null){Thread.sleep(500);}//如果获取到数据byte[] body = event.getBody();//将body包装成String,因为要去控制台打印，所以包装成字符串String s = new String(body);//通过log将数据输出到控制台LOG.info(prefix + s + suffix);status = Status.READY;//处理完，提交事务transaction.commit();}catch (Exception e){//异常回滚status = Status.BACKOFF;transaction.rollback();}finally {//关闭事务transaction.close();}return status;
}public void configure(Context context) {prefix = context.getString("prefix","PD");suffix = context.getString("suffix","SD");}

}

flume的sink测试赫赫有名相关推荐

flume的source测试赫赫有名
public class MySource extends AbstractSource implements Configurable, PollableSource { //前缀参数 privat ...
Flume 自定义 Sink
Flume 自定义 Sink 1)介绍 Sink 不断地轮询 Channel 中的事件且批量地移除它们,并将这些事件批量写入到存储或索引系统.或者被发送到另一个 Flume Agent.Sink 是完 ...
flume自定义sink
用户不仅可以自定义flume的source,还可以自定义flume的sink,用户自定义sink在flume中只需要继承一个基类:AbstractSink,然后实现其中的方法就可以了,例如我现在的需求 ...
flume hdfs sink 文件滚动策略
一般使用hdfs sink都会采用滚动生成文件的方式,hdfs sink滚动生成文件的策略有: 基于时间基于文件大小基于hdfs文件副本数(一般要规避这种情况) 基于event数量基于文件闲置时 ...
【Flume】【源码分析】flume中sink到hdfs，文件系统频繁产生文件，文件滚动配置不起作用？
本人在测试hdfs的sink,发现sink端的文件滚动配置项起不到任何作用,配置如下: a1.sinks.k1.type=hdfs a1.sinks.k1.channel=c1 a1.sinks.k1 ...
FLume 常用Sink配置说明
1.Sink 常用的Sink类型 HDFS Sink 这个Sink将Event写入Hadoop分布式文件系统(也就是HDFS). 目前支持创建文本和序列文件. 它支持两种文件类型的压缩. 可以根据写入 ...
Flume的Sink类型
1.HDFS Sink 该sink把events写进Hadoop分布式文件系统(HDFS).它目前支持创建文本和序列文件.它支持在两种文件类型压缩.文件可以基于数据的经过时间或者大小或者事件的数量周期 ...
Flume 监控之测试 Ganglia
配置修改修改/opt/module/flume-1.7.0/conf目录下的flume-env.sh配置 JAVA_OPTS="-Dflume.monitoring.type=gangli ...
flume http sink
# 指定Agent的组件名称 a1.sources = r1 a1.sinks = k1 a1.channels = c1# 指定Flume source(要监听的路径) a1.sources.r1. ...

flume的sink测试赫赫有名

flume的sink测试赫赫有名相关推荐

最新文章

热门文章