Dr.Elephant的安装及使用

简介

参见LinkedIn开源Dr.elephant。

“大象医生”是LinkedIn推出的一款Hadoop和Spark性能调节工具。根据LinkedIn软件工程师Akshay Rai在其微博中的介绍，这款工具将更好的帮助用户理解、分析并提高他们的工作效率。

　大象医生像一个真正的医生一样诊断问题的根源，通过简单的流程图为用户剖析问题。此外，你还可以通过大象医生添加很多启发式的规则，使其变得更加贴合个人使用习惯。

　据悉，LinkedIn已经将大象医生应用于多个方面，比如监测流对集群的影响，理解流运行缓慢的原因，如何调整提高流量，与之前的任务比较执行情况，流程故障排查等。

安装要点

1. 安装 Play framework

最新的Play Framework的执行命令为activator，并而不是play。故需安装Play旧版，我安装的是2.2.6版。

2. 编译

报错

[warn]  [FAILED     ] org.mortbay.jetty#jetty;6.1.26!jetty.zip:  (0ms)
[warn] ==== local: tried
[warn]   /home/asin/SoftWare/play-2.2.6/repository/local/org.mortbay.jetty/jetty/6.1.26/zips/jetty.zip
[warn] ==== activator-launcher-local: tried
[warn]   file:/home/asin/.activator/repository/org.mortbay.jetty/jetty/6.1.26/zips/jetty.zip
[warn] ==== activator-local: tried
[warn]   file:/home/asin/SoftWare/activator-dist-1.3.10/repository/org.mortbay.jetty/jetty/6.1.26/zips/jetty.zip
[warn] ==== public: tried
[warn]   http://repo1.maven.org/maven2/org/mortbay/jetty/jetty/6.1.26/jetty-6.1.26.zip
[warn] ==== typesafe-releases: tried
[warn]   http://repo.typesafe.com/typesafe/releases/org/mortbay/jetty/jetty/6.1.26/jetty-6.1.26.zip
[warn] ==== typesafe-ivy-releasez: tried
[warn]   http://repo.typesafe.com/typesafe/ivy-releases/org.mortbay.jetty/jetty/6.1.26/zips/jetty.zip
[warn] ==== Typesafe Releases Repository: tried
[warn]   http://repo.typesafe.com/typesafe/releases/org/mortbay/jetty/jetty/6.1.26/jetty-6.1.26.zip

手动下载包jetty.zip，放在/home/asin/SoftWare/play-2.2.6/repository/local/org.mortbay.jetty/jetty/6.1.26/zips/。

3. 部署

[[31merror[0m] play - Specified key was too long; max key length is 767 bytes [ERROR:1071, SQLSTATE:42000]
Oops, cannot start the server.
@7084jd09e: Database 'default' is in an inconsistent state!at play.api.db.evolutions.Evolutions$.checkEvolutionsState(Evolutions.scala:193)at play.api.db.evolutions.Evolutions$.applyScript(Evolutions.scala:277)

参照Dr.Elephant启动过程问题汇总，设置索引限制解决该问题。但注意首先将之前的数据库drelephant删掉重建。

4. 使用

启动hadoop后，运行示例作业，并没有在http://localhost:8080/界面看到任何作业记录。原来JobHistoryServer服务并未启动，使用如下命令启动。并使用命令jps查看是否有JobHistoryServer输出。

$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

将Dr.Elephant部署到CDH集群，见 Dr.Elephant在CDH上的部署。

参考文章

dr-elephant官方安装文档—Developer Guide
dr-elephant官方部署文档—Administrator Guide
Dr. Elephant大象医生安装文档
Dr.Elephant 部署启动详细流程
Dr.Elephant启动过程问题汇总

Dr.Elephant的安装及使用相关推荐

Dr. Elephant大象医生安装文档
Dr.Elephant被定位成一个对Hadoop和Spark任务进行性能监控和调优的工具,它能够自动收集Hadoop平台所有的度量标准,并对收集的数据进行分析,并将分析结果以一种简单且易于理 ...
Dr Elephant（HIVE JOB监控调优）安装使用
一.简单介绍 Dr.elephant是一款对Hadoop和Spark任务进行性能监控和调优的工具官方介绍 github地址安装文档(Must-Read) 二.安装中注意的问题 1.编译失败,测试用 ...
Dr.Elephant开发者指南
收录自:http://blog.csdn.net/qsc0624/article/details/51274145 ------------------------ 创建Dr.Elephant项目获 ...
Dr.Elephant简介
收录自http://blog.csdn.net/qsc0624/article/details/51249020 --------- Dr.Elephant被定位成一个对Hadoop和Spark任务进 ...
LinkedIn开源Dr.elephant，Hadoop爽了
在开源项目方面,LinkedIn一直在为全世界的数据工作者做出贡献.近日,为了提高开发人员的Hadoop和spark工作效率,LinkedIn再次做出贡献,开源了其一款工具"大象医生(Dr. ...
connection error mysql_MySQL数据库之Dr.Elephant mysql connection error
本文主要向大家介绍了MySQL数据库之Dr.Elephant mysql connection error ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助. This is the ...
LVS+DR源码安装
lvs+DR置文档:(64位机器) #create by laoseng #lvs最好的是用url进行健康检测.但是端口方便,一般用.在配置文件,其中的url字符串是md5加密的值.学习补充!lvs重 ...
LVS之DR原理、安装、调试
Centos 6.8 X64 192.168.187.150 vip地址 192.168.187.151 director 192.168.187.152 realA 192.168.187.153 ...
搭建本地Yum软件源安装Cloudera Manager 5
记录操作过程,不过多介绍相关知识以及原理,有问题自行百度或留言讨论. 一.搭建web服务服务器有两台虚拟机,elephant用于安装cdh-server相关作为管理者,monkey用于安装cdh-a ...