不多说,直接上干货!

Kudu安装前的建议说明(博主推荐)

Kudu官网推荐的步骤:

  本篇博文是installing Kudu using parcels or packages的方式。

http://kudu.apache.org/docs/installation.html#_build_from_source

规划

            kudumaster    kudu-tserver

   master        是               是

   slave1                否             是

      slave2              否         是

第一步:配置Yum的Repository

使用Yum来安装kudu,但由于kudu还不是Yum的常规组建,直接安装会找不到kudu,所以第一步需要将kudu的repo文件下载并放置到合适的位置。
下载kudu的repo,进入http://kudu.apache.org/docs/installation.html 页面,在下图中找到和自己的操作系统匹配的链接进行下载。

  对于这里,其实看官网一点都不难啦。大家别恐惧,对于大数据的各个组件,也就是那么一回事。

  我这里的Linux操作系统是CentOS6.5,若你是其他的版本,对应官网来,对照入座就是了。

  说白了,这种安装的风格,跟ClouderManager一样的,毕竟是一个大家族的。

 将下载成功的cloudera-kudu.repo文件放置到/etc/yum.repos.d/目录下(master、slave1、slave2)

  这里,因为我的大数据集群是master、slave1、slave2。

[cloudera-kudu]
# Packages for Cloudera's Distribution for kudu, Version 5, on RedHat    or CentOS 6 x86_64
name=Cloudera's Distribution for kudu, Version 5
baseurl=http://archive.cloudera.com/kudu/redhat/6/x86_64/kudu/5/
gpgkey = http://archive.cloudera.com/kudu/redhat/6/x86_64/kudu/RPM-GPG-KEY-cloudera
gpgcheck = 1

第二步:安装kudu
#这是官网的解释sudo yum install kudu                         # Base Kudu files
sudo yum install kudu-master                  # Kudu master init.d service script and default configuration
sudo yum install kudu-tserver                 # Kudu tablet server init.d service script and default configuration
sudo yum install kudu-client0                 # Kudu C++ client shared library
sudo yum install kudu-client-devel            # Kudu C++ client SDK

  但是,我这里为了给大家更仔细详细的来安装部署。

  比如我这里master是作为kudu-master的,

# yum install kudu kudu-master kudu-client0 kudu-client-devel -y

  比如我这里master、slave1、slave2是作为kudu-tserver的,

# yum install kudu kudu-tserver kudu-client0 kudu-client-devel -y

第三步:配置master和tserver节点
安装完成之后。
在/etc/kudu/conf目录下有两个文件:master.gflagfile和tserver.gflagfile 。
master.gflagfile的配置修改为:
  (目录可以根据自己的习惯来制定,但在启动kudu之前一定要事先创建好,否则master无法正常启动)
(当然,如果不改,则就是默认在/opt下)
以下是默认的
# cat /etc/kudu/conf/master.gflagfile
# Do not modify these two lines. If you wish to change these variables,
# modify them in /etc/default/kudu-master.
--fromenv=rpc_bind_addresses
--fromenv=log_dir
--fs_wal_dir=/opt/kudu/master
--fs_data_dirs=/opt/kudu/master

以下是自定义的
# cat /etc/kudu/conf/tserver.gflagfile
# Do not modify these two lines. If you wish to change these variables,
# modify them in /etc/default/kudu-tserver.
--fromenv=rpc_bind_addresses
--fromenv=log_dir--fs_wal_dir=/home/data/kudu/master
--fs_data_dirs=/home/data/kudu/master

tserver.gflagfile修改为:
  以下是默认的
# cat /etc/kudu/conf/tserver.gflagfile
# Do not modify these two lines. If you wish to change these variables,
# modify them in /etc/default/kudu-tserver.
--fromenv=rpc_bind_addresses
--fromenv=log_dir
--fs_wal_dir=/opt/kudu/tserver
--fs_data_dirs=/opt/kudu/tserver
--tserver_master_addrs=master:7051

以下是自定义的
# cat /etc/kudu/conf/tserver.gflagfile
# Do not modify these two lines. If you wish to change these variables,
# modify them in /etc/default/kudu-tserver.
--fromenv=rpc_bind_addresses
--fromenv=log_dir--fs_wal_dir=/home/data/kudu/tserver
--fs_data_dirs=/home/data/kudu/tserver
--tserver_master_addrs=master:7051

注意,这里的--tserver_master_addrs指明了集群中master的地址,指向同一个master的tserver形成了一个kudu集群。

设置权限

   以下是默认安装的

# mkdir /opt/kudu && chown kudu:kudu /opt/kudu

以下是自定义安装的
# mkdir /home/data/kudu && chown kudu:kudu /home/data/kudu

可能遇到的问题:
根据官网的介绍,配置完成之后就可以启动kudu了。
启动master和tserver的命令分别为:
sudo service kudu-master start
sudo service kudu-tserver start

或者
/etc/init.d/kudu-master  start
/etc/init.d/kudu-tserver  start

但启动失败,查看日志发现kudu的启动有一个前提,NTP服务必须启动并处以同步状态。
启动NTP服务的命令为:
systemctl start NTP

服务启动后,需要5-10钟来完成同步。判断是否已经完成同步可以使用命令:ntpstat,如果输出为:
synchronised to NTP server (120.25.108.11) at stratum 3time correct to within 114 mspolling server every 1024 s

表示同步已经完成。
再次启动kudu,还是报错,查看日志,发现是对/home/data/kudu没有操作权限。这个目录是我用root账号创建的,但kudu的启动默认会使用一个叫kudu的用户。执行下列命令来改变目录的所有者:
cd /home/data/kudu
chowm -R kudu:kudu ./*

再次执行启动master(在master这台服务器上启动)和tserver(在master,slave1,slave2这三台服务器上都启动)的命令,终于成功了。 
再在浏览器上通过http://<_host_name_>:8051 和 http://<_host_name_>:8050 可以分别查看master和tserver的详情。

 图形界面
  通过master端的web界面观察运行情况:http://master:8051

  

  可以看到所有组件都已安装完毕了。

  更多见官网,其实不难的,比如开机启动啊等,

sudo chkconfig kudu-master on
sudo chkconfig kudu-tserver on

  官网

http://kudu.apache.org/docs/installation.html#rhel_from_source

  另一种安装Kudu的方法。

Kudu安装(官网推荐的步骤)(installing build Kudu from source)

转载于:https://www.cnblogs.com/zlslch/p/7607700.html

Kudu安装(官网推荐的步骤)(installing Kudu using parcels or packages)相关推荐

  1. Kudu安装(官网推荐的步骤)(installing build Kudu from source)

    不多说,直接上干货! Kudu安装前的建议说明(博主推荐) 这是安装Kudu的另一种方法 Kudu安装(官网推荐的步骤)(installing Kudu using parcels or packag ...

  2. 全网最详细中英文ChatGPT-GPT-4示例文档-从0到1快速入门AI智能问答应用场景——官网推荐的48种最佳应用场景(附python/node.js/curl命令源代码,小白也能学)

    从0到1快速入门AI智能问答应用场景 Introduce 简介 setting 设置 Prompt 提示 Sample response 回复样本 API request 接口请求 python接口请 ...

  3. 如何在百度百科里创建一个百科词条,百度百科官网创建词条步骤方法

    很多朋友表示特别希望能在百度百科里创建一个百科词条,但是在百度百科官网却不知如何操作创建百科词条,连最基本的百度百科操作步骤可能都不清楚,下面洛希爱做百科网为大家分享如何在百度百科里创建一个百科词条, ...

  4. 全网最详细中英文ChatGPT-GPT-4示例文档-智能AI写作从0到1快速入门——官网推荐的48种最佳应用场景(附python/node.js/curl命令源代码,小白也能学)

    从0到1快速入门智能AI写作应用场景 Introduce 简介 setting 设置 Prompt 提示 Sample response 回复样本 API request 接口请求 python接口请 ...

  5. docker安装官网

    docker安装官网 Docker安装 DockerCompose安装 DockerRegistry Docker安装 docker安装在Windows docker安装在CentOS docker安 ...

  6. Ubuntu16.04下Mongodb官网卸载部署步骤(图文详解)(博主推荐)

    不多说,直接上干货! 前期博客 Ubuntu16.04下Mongodb官网安装部署步骤(图文详解)(博主推荐) https://docs.mongodb.com/manual/tutorial/ins ...

  7. Ubuntu 下安装官网最新版Mongodb (apt命令安装)

    linus(Ubuntu-server版)安装/使用/修改配置 MongoDB (apt命令安装) 截图如下,具体教程参照图片下方 图片一: 图片二: 图片三: 1.官网下载地址 https://ww ...

  8. 2. ROS安装(官网教程/简单好用)

    >>点赞,收藏+关注,理财&技术不迷路<< https://www.ros.org/  本文翻译自官网安装教程,附上原网站 目录: 安装 配置您的Ubuntu存储库 配 ...

  9. MinGW 64的安装 - 官网sourceforge安装失败非翻墙解决办法

    问题: MinGW的windows 64 版本,现在统一在sourceforge上下载,可是sourceforge上只是下载了一个安装文件: mingw-get-setup.exe 然后,执行这个安装 ...

最新文章

  1. PYTHON——多线程:队列Queue数据结构
  2. Nginx端口占用问题
  3. 【刷题】BZOJ 4657 tower
  4. python拦截数据包_使用Python进行TCP数据包注入(伪造)
  5. mysql in操作_MySQL查询in操作排序
  6. python简单程序实例-python实现的简单窗口倒计时界面实例
  7. AMPL Matlab 自动求导(AD)求解雅克比、海森矩阵
  8. 为什么说Mobileye最辉煌的5年就是落后的5年
  9. NeuSE: A Neural Snapshot Ensemble Method for Collaborative Filtering(阅读论文笔记)
  10. Fixed Gear DIY整车配色 JavaScript版制作过程
  11. 大数据时代的教育宏观治理体制现代化变革
  12. 清北学堂模拟赛d4t4 a
  13. AppCan学习笔记
  14. bat命令启动谷歌浏览器无痕模式
  15. 操作系统期末知识点总结
  16. 新概念1 课文和单词(2022/12/22)
  17. 2020-07-03
  18. 用python分析NBA联盟球员信息,才知道这些秘密!
  19. P2657 [SCOI2009]windy数 题解
  20. 奇偶校验、累加和校验、CRC 算法

热门文章

  1. 【深度学习】目标检测算法 YOLO 最耐心细致的讲解
  2. 三步搞定ABAP DOI操作EXCEL
  3. 列主元消去法例题详解_列主元消去法
  4. 利用c#快速知道哪些qq好友空间屏蔽了自己
  5. Spring Boot cache backed guava/caffeine
  6. 【风马一族_xml】xml语法
  7. 用php语言说句情话,说给女朋友的感动情话50句
  8. 大数据产品开发流程规范_大数据开发步骤和流程
  9. fiddler--HTTP协议调试工具
  10. 基于C#的ArcEngine二次开发教程(03):ArcEngine的接口查询技术底层分析