Hadoop集群下进行集成测试的小策略

2019独角兽企业重金招聘Python工程师标准>>>

对于maven工程来说，默认的integration test是作为构建周期的一个phase进行的，这对一般的工程进行集成测试来说是很方便的，但是对于Hadoop（或HBase）项目来说是不太适合的，主要是因为一方面它们的应用都是在集群环境下运行的，另一方面开发环境可能是windows而非linux,这些原因使得在本地开发环境下使用mvn命令进行integration test变得很不方便，当然，你也可以在集群测试环境上检出代码来进行integration test，但是这样做除了需要在测试集群上建立开发环境，如安装构建工具，配置管理工具等，还有可能在开发测试阶段催生很多细小琐碎的check-in。就我个人来说，比较倾向的一种干净利落的方式是把测试代码打成jar包，上传至目标集群，使用命令行启动测试（推荐使用testng进行集成测试），通过一个bat脚本把这些动作集成起来，这样做可以在开发端一键完成，使用起来还是非常方便的。实际上，这种操作方式在hadoop这种“基于linux"的"集群“环境下是非常适用和通用的，不只是集成测试，包括项目的部署，服务的启动都可以这样做，从实践上来看，可以大提升开发效率，效果很好。

转载于:https://my.oschina.net/pangzhuzhu/blog/327089

Hadoop集群下进行集成测试的小策略相关推荐

hadoop集群swap_hadoop集群调优－OS和文件系统部分
OS and File System 根据Dell(因为我们的硬件采用dell的方案)关于hadoop调优的相关说明,改变几个Linux的默认设置,Hadoop的性能能够增长大概15%. open f ...
Hadoop详解(五)——ZooKeeper详解，ZooKeeper伪分布搭建和集群搭建，Hadoop集群搭建，sqoop工具的使用
ZooKeeper简介什么是ZooKeeper? ZooKeeper是Google的Chubby一个开源的实现,是Hadoop分布式协调服务. 它包含了一个简单的原语集,分布式应用程序可以基于它实现 ...
VMware Workstation 9下基于Ubuntu 12.10服务器版本的Hadoop集群的配置
(主要参照http://os.51cto.com/art/201211/363116.htm) 一.概述其实,网上关于Hadoop集群的配置的资料不可谓不少,但是,细细找来,多半是在有图形桌面的环境 ...
Hadoop集群环境下网络架构的设计与优化
2019独角兽企业重金招聘Python工程师标准>>> 大数据时代,研究大数据的IT 厂商把研究重心放在优化大数据系统软件架构.优化业务逻辑.优化数据分析算法.优化节点性能等方向,而 ...
FreeBSD下安装配置Hadoop集群(三)
先给自己做个广告: 开源Hive管理工具phpHiveAdmin今日更新0.05 beta2 ChangeLog: 1. sql查询页全部重写,复杂查询现在可以用异步非阻塞的方式实时的查看map/re ...
Windows下安装Cygwin配置Hadoop集群
Hadoop集群一般是配置到Linux系统之上,如果电脑用的是Windows系统,那么可以通过虚拟机安装Linux系统或者在Windows上安装Cygwin来模拟Linux环境,从而搭建Hadoop集 ...
FreeBSD下安装配置Hadoop集群(性能调优)
hadoop的性能调优是个比较艰难的事情,由于这个系统的整个环境比较复杂,对于接触时间不长的人来说,配置都很难,更别说找出性能优化的点了. 性能优化涉及的方面很广,操作系统,网络配置,配置文件,调度器 ...
CentOS7下Hadoop集群搭建
文章目录 1.概念 1.1.主从结构 1.2.Hadoop集群角色名称 2.安装前准备 2.1.安装软件准备 2.2.Hadoop集群服务器规划 3.安装 3.1 解压文件 3.2 修改配置文件 3. ...
windows下eclipse远程连接hadoop集群开发mapreduce
转载请注明出处,谢谢 2017-10-22 17:14:09 之前都是用python开发maprduce程序的,今天试了在windows下通过eclipse java开发,在开发前先搭建开发环境.在此 ...

Hadoop集群下进行集成测试的小策略

Hadoop集群下进行集成测试的小策略相关推荐

最新文章

热门文章