基于HDP版本的YDB安装部署(转)
第三章 YDB依赖环境准备
一、硬件环境
硬件如何搭配,能做到比较高的性价比,不存在短板。合理的硬件搭配,对系统的稳定性也很关键。
1.CPU不是核数越高越好,性价比才是关键。
经常遇到很多的企业级客户,他们机器配置非常高,CPU有128 VCore,256G内存,但是只挂载了1块8T的SATA硬盘,千兆网卡。
这样的机器配置比较适合计算密集型的业务,但是如果是IO密集型的业务的话,就会发现磁盘成为瓶颈,会发现磁盘利用率100%,网络利用率100%,但是CPU只用了不到5%。存在巨大的资源浪费。
2.SAS、SATA与SSD 磁盘的选择与对比
吞吐量(Throughput),指单位时间内可以成功传输的数据数量。对于大量顺序读写的应用,如VOD(Video On Demand),则更关注吞吐量指标。
如下图所示,普通磁盘的IOPS与SSD磁盘的性能相差悬殊,特别是企业级SSD磁盘,能相差千倍以上。
3.SSD的颗粒请不要选择TLC
TLC的寿命太短,虽然便宜,但是用不了几个月就基本报废,一般个人电脑使用。不适合企业级使用,性价比较好的建议选用MLC颗粒。
4.延云YDB建议的硬件配置
离线模式:至少2块独立的物理硬盘分别用于HDFS数据盘、系统盘。
实时模式:至少3块独立的物理磁盘分别用于Kafka数据盘,、HDFS数据盘、系统盘
二、磁盘如何挂载?
1.逻辑卷的问题
2.关于RAID
3.关于系统盘与数据盘
4.关于磁盘阵列与云
5.将大磁盘空间的硬盘与小磁盘空间的硬盘混合挂载
三、操作系统如何选择
1.延云推荐使用CentOS 6.6,6.5的系统(请不要使用CentOS7)
2.尽量选择安装英文语言环境,中文版Ambari有时会有问题,。
对于YDB来说,是不挑操作系统版本的,只要您的系统能安装上Hadoop,那么YDB一般都能运行起来。甚至有些同学还在MAC上调试YDB。但是如果您是要运行在生产系统上,操作系统的选择就尤为重要了。
四、操作系统设置
1.Ulimit配置
echo "* soft nofile 128000" >> /etc/security/limits.conf
echo "* hard nofile 128000" >> /etc/security/limits.conf
echo "* soft nproc 128000" >> /etc/security/limits.conf
echo "* hard nproc 128000" >> /etc/security/limits.conf
sed -i 's/1024/unlimited/' /etc/security/limits.d/90-nproc.conf
cat /etc/security/limits.d/90-nproc.conf
2.Swap的问题
echo "vm.swappiness=1" >> /etc/sysctl.conf
3.网络配置优化
echo " net.core.somaxconn = 32768 " >> /etc/sysctl.conf
4.SSH无密码登录
安装 Hadoop与Ambari均需要无密码登录
设置方法请参考如下命令
ssh-keygen
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
ssh-copy-id root@ydbslave01
ssh-copy-id root@ydbslave02
…..
5.关闭防火墙
6.配置机器名,以及hosts域名解析
切记 hosts文件中 不要将localhost给注释掉,并且配置完毕后,执行下 hostname -f 看下 是否能识别出域名
7.setenforce与Umask配置
sed -i 's/enabled=1/enabled=0/' /etc/yum/pluginconf.d/refresh-packagekit.conf
cat /etc/yum/pluginconf.d/refresh-packagekit.conf
echo umask 0022 >> /etc/profile
8.检查/proc/sys/vm/overcommit_memory的配置值
如果为2,建议修改为0,否则有可能会出现,明明机器可用物理内存很多,但JVM确申请不了内存的情况。
9.语言环境配置
echo "export LANG=en_US.UTF-8 " >> ~/.bashrc
10.配置时间同步
Hadoop,YDB等均要求机器时钟同步,否则机器时间相差较大,整个集群服务就会不正常,所以一定要配置。建议配置NTP服务。
参考资料如下:http://www.linuxidc.com/Linux/2009-02/18313.htm
11.JDK安装部署
YDB支持JDK1.7,JDK1.8,为了便于管理和使用,建议使用YDB随机提供的JDK1.8
12.环境变量
请大家千万不要在公共的环境变量配置HIVE、Spark、LUCENE、HADOOP等环境变量,以免相互冲突。
13.请检查盘符,不要含有中文
尤其是Ambari,有些时候,使用U盘或移动硬盘复制软件,如果这个移动硬盘挂载点是中文路径,这时在安装Ambari的时候会出现问题,一定要注意这个问题。
14.检查磁盘空间,使用率不得超过90%
默认Yarn会为每台机器保留10%的空间,如果剩余空间较少,Yarn就会停掉这些机器上的进程,并出现Container released on a *lost* node错误。
15.关键日志,定时清理,以免时间久了磁盘满了
如可以编辑crontab -e 每小时,清理一次日志,尤其是hadoop日志,特别占磁盘空间
0 */1 * * * find /var/log/hadoop/hdfs -type f -mmin +1440 |grep -E "\.log\." |xargs rm -rf
第四章 基于HDP的YDB部署(推荐)
一、安装前的准备
二、软件下载
1.请从HDP官方下载 HDP与HDP-UTILS
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.5.0.0/HDP-2.5.0.0-centos6-rpm.tar.gz
2.请准备好系统安装盘.iso文件或者系统yum源
mkdir -p /opt/ydbsoftware/centosyum
mount -o loop /opt/ydbsoftware/CentOS-6.6-x86_64-bin-DVD1.iso /opt/ydbsoftware/centosyum
3.从http://url.cn/42R4CG8获取延云软件
2)延云YDB提供的Spark (注意不要使用HDP提供的spark)
三、软件上传
1.JDK安装
将安装包中的JDK安装到/opt/ydbsoftware/jdk1.8.0_60
分发到每台机器上,且路径统一为
/opt/ydbsoftware/jdk1.8.0_60
2.选定一台机器安装YDB的机器,上传软件
将全部软件上传到/opt/ydbsoftware目录下,并解压,注意是/opt/ydbsoftware,千万别写错了,且不能随意更改路径。
3.配置HTTP服务(在解压后的目录执行)
nohup Python -m SimpleHTTPServer &
4.YUM源配置
cat << EOF >/etc/yum.repos.d/ambari.repo
baseurl=http://ydbmaster:8000/centosyum
baseurl=http://ydbmaster:8000/AMBARI-2.4.1.0/centos6/2.4.1.0-22
baseurl=http://ydbmaster:8000/HDP/centos6
baseurl=http://ydbmaster:8000/HDP-UTILS-1.1.0.21/repos/centos6
5.安装与配置ambari-server(只需要在一台机器安装)
6.设置ambari
7.启动ambari-server
然后就可以打开 http://xx.xx.xx.xx:8080 安装hadoop了 默认用户名与密码均为 admin
四、HDP页面设置
1.开始创建集群
2.配置HDP源
3.部署的机器列表与登录私钥配置
4.部署Ambari-Agent
5.选择安装部署服务
6.服务分配
7.HDFS配置
8.YARN配置
9.MapReduce配置
10.ZooKeeper配置
11.Ambari Metrics 配置
12.KAFKA配置
13.HDP部署完成
五、部署YDB
1.软件解压
解压开随机附带的spark1.6.3_hadoop2.7.3.tar.gz,里面是我们改过bug的Spark
解压开随机附带的ya100.1.x.x.zip,里面是YDB
2.注意观察,如下三个目录是否存在
/opt/ydbsoftware/spark1.6.3_hadoop2.7.3
3.安装ydb
ln -s /opt/ydbsoftware/spark1.6.3_hadoop2.7.3 /opt/ydbsoftware/spark
4.YDB的ambari配置
1)添加服务
2)A组配置:基本配置
3)B组配置:环境路径配置
4)C组配置:存储相关路径配置
5)D组配置:Kafka相关配置
6)开始安装
7)安装完毕
8)服务检查
tail -f /opt/ydbsoftware/ya100/logs/ya100.log 看是否有报错,当出现如下的日志,表示启动成功
打开yarn的8088页面,看启动的Container数量以及内存的时候是否正确
2.可以了解每个表的运行情况,每个分区的数据条数,数据量大小。
默认启动的端口号为1210,如果在 ydb_site.yaml里配置了ydb.httpserver.port,则以配置的端口号为准。
了解延云ya100、ydb的用法、进行测试、生成演示demo
包含了YDB的表的创建,ya100与YDB表的连接,查询的使用,数据的导入等
在spark ui里可以看到 每个用户查询SQL的执行进度,响应时间等,也可以杀掉有异常的一些任务。
1.首先打开您的yarn调度页面(默认端口是8088端口),并在里面找到ya100 on spark的任务,如下图所示
转载于:https://www.cnblogs.com/hd-zg/p/7114960.html
基于HDP版本的YDB安装部署(转)相关推荐
- 基于HDP版本的YDB安装部署
第三章 YDB依赖环境准备 一.硬件环境 硬件如何搭配,能做到比较高的性价比,不存在短板.合理的硬件搭配,对系统的稳定性也很关键. 1.CPU不是核数越高越好,性价比才是关键. 经常遇到很多的企业级客 ...
- 记一次 基于Hadoop 3.3.0 安装部署 Spark 3.0.0 分布式集群
一.基本信息 官网 http://spark.apache.org/ Apache Spark 官方文档中文版(Spark 2.2.0) http://spark.apachecn.org/#/ Sp ...
- 基于原版Hadoop的YDB部署(转)
YDB依赖环境准备 一.硬件环境 硬件如何搭配,能做到比较高的性价比,不存在短板.合理的硬件搭配,对系统的稳定性也很关键. 1.CPU不是核数越高越好,性价比才是关键. 经常遇到很多的企业级客户,他们 ...
- 基于原版Hadoop的YDB部署
YDB依赖环境准备 一.硬件环境 硬件如何搭配,能做到比较高的性价比,不存在短板.合理的硬件搭配,对系统的稳定性也很关键. 1.CPU不是核数越高越好,性价比才是关键. 经常遇到很多的企业级客户,他们 ...
- Docker 下 jitsi-meet 视频服务器 安装部署
一.参考网站 官网文档地址:Self-Hosting Guide - Docker | Jitsi Meet 二.Docker 版本 三.安装部署 3.1.下载并解压缩安装包 地址:Release s ...
- OpenStack Pike 版本的 Mistral 安装
OpenStack Pike 版本的 Mistral 安装部署 # 安装环境使用的centos 7.3 1. 安装 Mistral 安装包. # yum -y install openstack-m ...
- Teleport堡垒机安装部署
一.安装 本文针对 v3.x 及以上版本进行说明. 1.1 下载并安装 Teleport支持下列Linux平台的部署 (如果您在其它Linux平台上部署通过,请告知我们): Ubuntu 14.04 ...
- logicaldoc 6.5 结合postgresql 9.x安装部署—基于windows平台
2019独角兽企业重金招聘Python工程师标准>>> 湘中朱生 2012年9月于深圳 说明:原创内容,请勿转载! <1> 从官网下载部署包 官方网站提供源码包和集成 ...
- Linux下基于Openstack安装部署私有云
Openstack的帮助文档:https://docs.openstack.org/stein/ 一个购买私有云的网站:https://console.qingcloud.com/ 一.云计算 基本概 ...
最新文章
- Dubbo开源现状与未来规划
- HTC打算一条道走到黑,开始资助「脑后插管操作」
- java 删除文件失败_java 文件删除失败(被进程占用)
- linux的mysql本地yum安装_Linux下MySQL5.7.18 yum方式从卸载到安装过程图解
- 使用.NET Core 2.1的Azure WebJobs
- 计算机专业杀毒,计算机病毒查杀
- uva 10622——Perfect P-th Powers
- matlab dct稀疏系数,Matlab DCT详解
- 程序员都很老实?你错了,其实程序员真实的样子是这样的
- AsyncToken模式替换通用的Listener模式
- 企业微信 Android端开发
- PTA习题 计算某年某月某日是该年中的第几天
- iVX和其它低代码平台没啥好比的 (一)
- cacheable 表达式,多个方法参数的@Cacheable键
- 相关系数和相关性分析(下):肯德尔相关系数
- AI面相手相V3.2.0无限多开版h5公众号版本源码(含搭建教程+运营文案图片)
- Office365 Word 打开某个文件就自动卡死关闭
- 中国292座城市政商关系排行榜(2020)
- 深入理解PHP之strpos
- 翻译java语言的软件_java实现英文翻译程序
热门文章
- PyTorch导入报错:ValueError: module functions cannot set METH_CLASS or METH_STATIC
- linux虚拟机设置固定IP
- 白话智能锁—卡片钥匙安全
- linux命令大全 pwd,linux操作系统pwd的基本语法
- python将文字转换为语音_python把文字转成语音
- 帮你全面了解人工智能
- 第三天 入口文件index.php 01
- 计算机翻译语料库,人工智能与翻译
- 微信红包封面免费领取,自定义个性化红包封面
- 网民特大好消息ipv9根服务器,ipv9根服务器