Flume性能测试报告

1. 测试环境

1.1 硬件

CPU：Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz（8核）
内存：16G

1.2 软件

Flume：1.6.0
Hadoop：2.6.0-cdh5.5.0
Kfaka：2.11-0.9.0.1
JDK：1.8.0_91-b14 64位

1.3 测试文件

文件大小：107M ，共490010条记录

1.4 Flume配置

（1）Source配置
Flume Source采用spooldir的方式，直接读取预先准备好的测试文件。

agent.sources.source1.type = spooldir
agent.sources.source1.spoolDir=/data/flume/dir

（2）MemoryChannel配置

agent.channels.memoryChannel.capacity = 1000000
agent.channels.memoryChannel.transactionCapacity = 1000000
agent.channels.memoryChannel.type=memory

（3）FileChannel配置

agent.channels.fileChannel.type = file
agent.channels.fileChannel.checkpointDir = /data/flume/checkpoint
agent.channels.fileChannel.dataDirs = /data/flume/data

（4）JVM配置

JAVA_OPTS="-Xms256m -Xmx256m -Xss256k -Xmn128m -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit"

2. 写入文件性能

Flume Config	Time（s）	Throughput（events/s）
MemoryChannel+FileSink	51	9608
FileChannel+FileSink	250	1960

3. 写入Kafka性能

Flume Config	Time（s）	Throughput（events/s）
KafkaSink+MemoryChannel	57	8597
KafkaChannel	50	9800
KafkaSink+FileChannel	830	590

4. 写入HDFS性能

Flume Config	Time（s）	Throughput（events/s）
FileChannel+HdfsSink	148	3311

Flume性能测试报告相关推荐

emqx速度_EMQX-3.0性能测试报告-ReadtheDocs.PDF
EMQX-3.0性能测试报告-ReadtheDocs.PDF EMQX-3.0性性性能能能测测测试试试报报报告告告 Release 3.0.4 杭杭杭州州州云云云科科科技技技有有有限限限公公公司司司 ...
Jmeter-jtl性能测试报告转换-2种导出方法
方法一*********************** 环境搭建 1.Java JDK (版本最好在1.6或者1.6以上) 2.ANT 安装下载地址:http://ant.apache.org/b ...
[原]如何做一份精致的性能测试报告？
如何做一份精致的性能测试报告? 以上是我在知乎提出的问题,感谢梧桐同学的回答,Quote中的文字是我的描述在做系统的过程中会遇到需要对整个系统做测试的情况,包括一些基准测试,容量测试,压力测试等.如 ...
达尔文流媒体服务器（Darwin Streaming Server）（DSS）并发性能测试报告
[转自]http://blog.csdn.net/xiejiashu/article/details/40919565 原标题:<Darwin Streaming Server性能测试报告> ...
深度学习框架Caffe, MXNet, TensorFlow, Torch, CNTK性能测试报告
香港浸会大学对于深度学习框架Caffe, MXNet, TensorFlow, Torch, CNTK性能测试报告 http://dlbench.comp.hkbu.edu.hk/
性能测试报告模板_性能测试规范之测试报告
1.1性能测试报告概述在对结果进行分析并得出结论之后,性能测试工程师要把它们以文字报告的形式发送给相关人员,这就是性能测试报告.除了书面文字之外,可能的话,还会召集人员开专门的会议进行报告讲解和结果 ...
Jmeter性能测试报告导出
一.环境搭建 Java JDK(此处版本为1.8) apache-ant安装下载地址:https://ant.apache.org/bindownload.cgi apache-Jmeter安装下 ...
电商平台性能测试报告
性能测试报告概况 A3Mall是一个电商系统平台,是一个面向B ...
性能测试平台搭建及简单使用(jmeter分布式+influxdb2.0+grafana)附性能测试报告
目录一.jmeter分布式配置 1.分布式介绍 2.配置JDK 3.slave机器配置(linux系统为例,windows资源杂乱不建议使用) 4.master机器配置(windows系统为例,作为 ...

Flume性能测试报告

1. 测试环境

1.1 硬件

1.2 软件

1.3 测试文件

1.4 Flume配置

2. 写入文件性能

3. 写入Kafka性能

4. 写入HDFS性能

Flume性能测试报告相关推荐

最新文章

热门文章