tensflower官方测试案例_大数据性能测试介绍
点击上方蓝色字体,选择“设为星标”
回复”资源“获取更多资源
大数据技术与架构点击右侧关注,大数据开发领域最强公众号!
大数据真好玩点击右侧关注,大数据真好玩!
大数据性能测试的目的
1.大数据组件的性能回归,在版本升级的时候,进行新旧版本的性能比对
2.在新版本/新的生产环境 发布之后获取性能基线,建立可度量的参考标准,为其他测试场景或者调优过程提供对比参考
3.在众多的发行版本中进行测试比对,为PoC测试提供参考数据
4.支持POC测试,得出结论,到时候可以根据业务模型和需求,或者根据客户需求 选择不同的方案
5.在客户方进行性能测试,达到客户要求的性能标准满足客户使用的需求。
性能测试的时机
1.上线新版本
2.上线新的环境/新的主机
3.开辟了新的区域
4.PoC 测试
5.性能专项测试
性能测试的步骤
1.明确测试的目标
确定性能测试场景,集群规模和规格,数据量,数据格式,压缩算法等。比如版本迭代测试,需要和历史版本集群规格和参数对齐,以便比较版本性能是否劣化;Poc测试需要明确客户场景;软件发行商测试,需要与发行商集群规模保持一致。
2.申请主机环境和测试周期
3.搭建运行环境和监控
获取的性能指标 部分包含:性能数据,比如带宽,磁盘IO,CPU,内存等指标
4.开展测试 测试过程中使用nmon或者其他系统监控的工具记录系统指标变化,以供发现系统瓶颈,利于后续调优。
5.针对性能结果进行调整优化,进行迭代性能测试
6.出具性能测试报告
大数据组件测试工具和方法
除了上述主流的大数据主键外还有Hbase等
除了主流的测试工具 Hibench 之外还有雅虎的大数据测试套件
https://github.com/Intel-bigdata/HiBenchhttps://github.com/elastic/rallyhttps://github.com/yahoo/streaming-benchmarkshttps://github.com/brianfrankcooper/YCSB
大数据性能调优
1.在大数据领域普遍存在数据倾斜的问题,需要参考对应组件的官方文档
2.参考业界的案例介绍
大数据相关的测试
基准测试 单一用户单个事务的测试,目的是在对选择的用户在无压力的情况下获取系统处理单个请求的情况
负载测试 通过逐步增加系统的负载,测试系统性能的变化
稳定性测试 通过给系统加载一定的业务压力,运行7*24 小时,以此检测系统是否稳定运行。
功能测试 特别是在OLAP引擎选择的时候,需要测试其对标准SQL支持的情况,如部门不支持update和delete操作, 不支持with语句,不支持except和intersection操作等
性能需求 CPU,内存,磁盘IO,网络负载使用率不超过80% 响应时间 90%的 读取 写入 导出 导入 不超过 3s,有不到10%的响应时间不超过 5s
测试案例 1.在不同数据量 (100G 500G 1T) 分别对Hadoop和spark 进行读取,数据写入,数据导出 数据导入基准测试
2.在不同数据量下进行并行 和读写混合测试
3.在不同数据量下进行 7 * 24小时的数据稳定性测试
测试观察指标
1.CPU 使用率 2.内存使用率 3.IO 4.网络 5.响应时间 6.其他指标
版权声明:
本文为大数据技术与架构整理,原作者独家授权。未经原作者允许转载追究侵权责任。编辑|冷眼丶微信公众号|import_bigdata欢迎点赞+收藏+转发朋友圈素质三连
文章不错?点个【在看】吧! ?
tensflower官方测试案例_大数据性能测试介绍相关推荐
- countByKey()案例和foreach(func)案例_大数据培训课程
12 countByKey()案例 作用:针对(K,V)类型的RDD,返回一个(K,Int)的map,表示每一个key对应的元素个数. 需求:创建一个PairRDD,统计每种key的个数 (1)创建一 ...
- 大数据项目开发案例_大数据开发相关术语解析
Java['dʒɑːvə] 当前软件开发行业应用最广.就业量最大的编程语言,在各类编程语言排行榜长期位列第一.是企业软件开发的首选语言,也是Android系统的开发语言. Java吸取了C++语言的众 ...
- 数据帮助企业决策案例_大数据可以如何帮助您的企业
数据帮助企业决策案例 您经常听到大数据一词. 但这到底是什么意思? 大数据被定义为"可能会挖掘信息的任何数量的结构化,半结构化和非结构化数据." 太好了,这意味着所有企业需要做的就 ...
- collect()案例和count()案例_大数据培训课程
collect()案例 作用:在驱动程序中,以数组的形式返回数据集的所有元素. 需求:创建一个RDD,并将RDD内容收集到Driver端打印 (1)创建一个RDD scala> val rdd ...
- first()案例和take(n)案例_大数据培训课程
first()案例 作用:返回RDD中的第一个元素 需求:创建一个RDD,返回该RDD中的第一个元素 (1)创建一个RDD scala> val rdd = sc.parallelize(1 t ...
- 农林资金 大数据审计案例_大数据审计:现状与发展
大数据审计:现状与发展 [摘要]传统手工环境下,审计人员常用的审计方法包括检查法.观察法.重新计算法.外部调查法.分析法.鉴定法等.随着信息技术的发展,被审计单位的运行越来越依赖于信息化环境.信息化环 ...
- tensflower官方测试案例_Storm自带测试案例的运行
之前Storm安装之后,也知道了Storm的一些相关概念,那么怎么样才可以运行一个例子对Storm流式计算有一个感性的认识呢,那么下面来运行一个Storm安装目录自带的测试案例,我们的Storm安装在 ...
- apache atlas 案例_大数据元数据开源解决方案apache atlas
[实例简介] 大数据元数据开源解决方案apache atlas,提供数据治理,元数据管理等功能 [实例截图] [核心代码] apache-atlas-1.1.0-sources.tar └── apa ...
- 关于大数据技术的演讲_大数据核心技术介绍:大数据处理技术
大数据之所以能够从概念走向落地,说到底还是因为大数据处理技术的成熟,面对海量的数据,在有限的硬件条件下,以低成本满足大数据处理的各种实际需求.那么具体处理大数据需要哪些技术,今天我们来简单介绍一下大数 ...
最新文章
- redis维护问题总结
- java 监听 变量_[Java学习小记]使用PropertyChangeSupport来监听变量的变化
- 15.卷1(套接字联网API)---Unix域协议
- oracle job定时报错,Oracle定时任务Job笔记
- java 判断客户端是手机端还是PC端(SSH框架)
- 自定义配置ros arduino bridge功能包集
- 山东理工大学ACM平台题答案 1235 计算球体积
- eclipse 选取当前行_Eclipse常用快捷键
- 本地文件打开不支持ajax,我读本地文件时,Ajax无法正常工作
- 如何安装微信解决小黑块问题(一定可以使用)
- 拟合系数 / 决定系数 / R方 / R^2的理解
- 500Illegal PORT command 错误 无法取得目录列表 8uftp
- FX5u plc 如何实现网络远程通讯
- Wamp PHP5.5.12安装Redis扩展--Star.Hou
- 关于 .NET Core(.NET Core 指南)
- 25.SwiftyJSON转换JSON的注意
- 如何将visio格式转换成EPS
- python矩阵对角线求和numpy_以numpy计算对角线和(更快)
- 寒假回家只带一本书:《编程之美》——华中科技大学博优书店调研小记
- matlab中遍历数组元素
热门文章
- Gradle 使用指南 -- 基础配置
- CES中国企业被查抄案最新进展:美公司主动撤诉
- 在SaaS领域,单纯的免费策略根本行不通!
- 使用jmeter测试java程序
- 《PHP、MySQL和Apache入门经典(第5版)》一2.11 实践练习
- 基于OpenGL编写一个简易的2D渲染框架-03 渲染基本几何图形
- org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in receiveBlock for block
- shutdown命令远程关机
- 3745路由器配置简单的dhcp server
- mysql clomn_mysql 备份脚本