基于HDP版本的YDB安装部署
第三章 YDB依赖环境准备
一、硬件环境
硬件如何搭配,能做到比较高的性价比,不存在短板。合理的硬件搭配,对系统的稳定性也很关键。
1.CPU不是核数越高越好,性价比才是关键。
经常遇到很多的企业级客户,他们机器配置非常高,CPU有128 VCore,256G内存,但是只挂载了1块8T的SATA硬盘,千兆网卡。
这样的机器配置比较适合计算密集型的业务,但是如果是IO密集型的业务的话,就会发现磁盘成为瓶颈,会发现磁盘利用率100%,网络利用率100%,但是CPU只用了不到5%。存在巨大的资源浪费。
2.SAS、SATA与SSD 磁盘的选择与对比
吞吐量(Throughput),指单位时间内可以成功传输的数据数量。对于大量顺序读写的应用,如VOD(Video On Demand),则更关注吞吐量指标。
如下图所示,普通磁盘的IOPS与SSD磁盘的性能相差悬殊,特别是企业级SSD磁盘,能相差千倍以上。
3.SSD的颗粒请不要选择TLC
TLC的寿命太短,虽然便宜,但是用不了几个月就基本报废,一般个人电脑使用。不适合企业级使用,性价比较好的建议选用MLC颗粒。
4.延云YDB建议的硬件配置
离线模式:至少2块独立的物理硬盘分别用于HDFS数据盘、系统盘。
实时模式:至少3块独立的物理磁盘分别用于Kafka数据盘,、HDFS数据盘、系统盘
二、磁盘如何挂载?
1.逻辑卷的问题
2.关于RAID
3.关于系统盘与数据盘
4.关于磁盘阵列与云
5.将大磁盘空间的硬盘与小磁盘空间的硬盘混合挂载
三、操作系统如何选择
1.延云推荐使用CentOS 6.6,6.5的系统(请不要使用CentOS7)
2.尽量选择安装英文语言环境,中文版Ambari有时会有问题,。
对于YDB来说,是不挑操作系统版本的,只要您的系统能安装上Hadoop,那么YDB一般都能运行起来。甚至有些同学还在MAC上调试YDB。但是如果您是要运行在生产系统上,操作系统的选择就尤为重要了。
四、操作系统设置
1.Ulimit配置
echo "* soft nofile 128000" >> /etc/security/limits.conf
echo "* hard nofile 128000" >> /etc/security/limits.conf
echo "* soft nproc 128000" >> /etc/security/limits.conf
echo "* hard nproc 128000" >> /etc/security/limits.conf
sed -i 's/1024/unlimited/' /etc/security/limits.d/90-nproc.conf
cat/etc/security/limits.d/90-nproc.conf
2.Swap的问题
echo "vm.swappiness=1" >> /etc/sysctl.conf
3.网络配置优化
echo " net.core.somaxconn = 32768 " >> /etc/sysctl.conf
4.SSH无密码登录
安装 Hadoop与Ambari均需要无密码登录
设置方法请参考如下命令
ssh-keygen
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
ssh-copy-id root@ydbslave01
ssh-copy-id root@ydbslave02
…..
5.关闭防火墙
6.配置机器名,以及hosts域名解析
切记 hosts文件中 不要将localhost给注释掉,并且配置完毕后,执行下 hostname -f 看下 是否能识别出域名
7.setenforce与Umask配置
sed -i 's/enabled=1/enabled=0/' /etc/yum/pluginconf.d/refresh-packagekit.conf
cat /etc/yum/pluginconf.d/refresh-packagekit.conf
echo umask 0022 >> /etc/profile
8.检查/proc/sys/vm/overcommit_memory的配置值
如果为2,建议修改为0,否则有可能会出现,明明机器可用物理内存很多,但JVM确申请不了内存的情况。
9.语言环境配置
echo "export LANG=en_US.UTF-8 " >> ~/.bashrc
10.配置时间同步
Hadoop,YDB等均要求机器时钟同步,否则机器时间相差较大,整个集群服务就会不正常,所以一定要配置。建议配置NTP服务。
参考资料如下:http://www.linuxidc.com/Linux/2009-02/18313.htm
11.JDK安装部署
YDB支持JDK1.7,JDK1.8,为了便于管理和使用,建议使用YDB随机提供的JDK1.8
12.环境变量
请大家千万不要在公共的环境变量配置HIVE、Spark、LUCENE、HADOOP等环境变量,以免相互冲突。
13.请检查盘符,不要含有中文
尤其是Ambari,有些时候,使用U盘或移动硬盘复制软件,如果这个移动硬盘挂载点是中文路径,这时在安装Ambari的时候会出现问题,一定要注意这个问题。
14.检查磁盘空间,使用率不得超过90%
默认Yarn会为每台机器保留10%的空间,如果剩余空间较少,Yarn就会停掉这些机器上的进程,并出现Container released on a *lost* node错误。
15.关键日志,定时清理,以免时间久了磁盘满了
如可以编辑crontab -e 每小时,清理一次日志,尤其是hadoop日志,特别占磁盘空间
0 */1 * * * find /var/log/hadoop/hdfs -type f -mmin +1440 |grep -E "\.log\." |xargs rm -rf
第四章 基于HDP的YDB部署(推荐)
一、安装前的准备
二、软件下载
1.请从HDP官方下载 HDP与HDP-UTILS
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.5.0.0/HDP-2.5.0.0-centos6-rpm.tar.gz
2.请准备好系统安装盘.iso文件或者系统yum源
mkdir -p /opt/ydbsoftware/centosyum
mount -o loop /opt/ydbsoftware/CentOS-6.6-x86_64-bin-DVD1.iso /opt/ydbsoftware/centosyum
3.从http://url.cn/42R4CG8获取延云软件
2)延云YDB提供的Spark (注意不要使用HDP提供的spark)
三、软件上传
1.JDK安装
将安装包中的JDK安装到/opt/ydbsoftware/jdk1.8.0_60
分发到每台机器上,且路径统一为
/opt/ydbsoftware/jdk1.8.0_60
2.选定一台机器安装YDB的机器,上传软件
将全部软件上传到/opt/ydbsoftware目录下,并解压,注意是/opt/ydbsoftware,千万别写错了,且不能随意更改路径。
3.配置HTTP服务(在解压后的目录执行)
nohup Python -m SimpleHTTPServer &
4.YUM源配置
cat << EOF >/etc/yum.repos.d/ambari.repo
baseurl=http://ydbmaster:8000/centosyum
baseurl=http://ydbmaster:8000/AMBARI-2.4.1.0/centos6/2.4.1.0-22
baseurl=http://ydbmaster:8000/HDP/centos6
baseurl=http://ydbmaster:8000/HDP-UTILS-1.1.0.21/repos/centos6
5.安装与配置ambari-server(只需要在一台机器安装)
6.设置ambari
7.启动ambari-server
然后就可以打开 http://xx.xx.xx.xx:8080 安装hadoop了 默认用户名与密码均为 admin
四、HDP页面设置
1.开始创建集群
2.配置HDP源
3.部署的机器列表与登录私钥配置
4.部署Ambari-Agent
5.选择安装部署服务
6.服务分配
7.HDFS配置
8.YARN配置
9.MapReduce配置
10.ZooKeeper配置
11.AmbariMetrics配置
12.KAFKA配置
13.HDP部署完成
五、部署YDB
1.软件解压
解压开随机附带的spark1.6.3_hadoop2.7.3.tar.gz,里面是我们改过bug的Spark
解压开随机附带的ya100.1.x.x.zip,里面是YDB
2.注意观察,如下三个目录是否存在
/opt/ydbsoftware/spark1.6.3_hadoop2.7.3
3.安装ydb
ln -s /opt/ydbsoftware/spark1.6.3_hadoop2.7.3 /opt/ydbsoftware/spark
4.YDB的ambari配置
1)添加服务
2)A组配置:基本配置
3)B组配置:环境路径配置
4)C组配置:存储相关路径配置
5)D组配置:Kafka相关配置
6)开始安装
7)安装完毕
8)服务检查
tail -f /opt/ydbsoftware/ya100/logs/ya100.log 看是否有报错,当出现如下的日志,表示启动成功
打开yarn的8088页面,看启动的container数量以及内存的时候是否正确
2.可以了解每个表的运行情况,每个分区的数据条数,数据量大小。
默认启动的端口号为1210,如果在 ydb_site.yaml里配置了ydb.httpserver.port,则以配置的端口号为准。
了解延云ya100、ydb的用法、进行测试、生成演示demo
包含了YDB的表的创建,ya100与YDB表的连接,查询的使用,数据的导入等
在spark ui里可以看到 每个用户查询SQL的执行进度,响应时间等,也可以杀掉有异常的一些任务。
1.首先打开您的yarn调度页面(默认端口是8088端口),并在里面找到ya100 on spark的任务,如下图所示
如果点击后,发现域名解析不了,请在您机器本地配置好相关host,或者直接改成对应的IP。
基于HDP版本的YDB安装部署相关推荐
- 基于HDP版本的YDB安装部署(转)
第三章 YDB依赖环境准备 一.硬件环境 硬件如何搭配,能做到比较高的性价比,不存在短板.合理的硬件搭配,对系统的稳定性也很关键. 1.CPU不是核数越高越好,性价比才是关键. 经常遇到很多的企业级客 ...
- 记一次 基于Hadoop 3.3.0 安装部署 Spark 3.0.0 分布式集群
一.基本信息 官网 http://spark.apache.org/ Apache Spark 官方文档中文版(Spark 2.2.0) http://spark.apachecn.org/#/ Sp ...
- 基于原版Hadoop的YDB部署(转)
YDB依赖环境准备 一.硬件环境 硬件如何搭配,能做到比较高的性价比,不存在短板.合理的硬件搭配,对系统的稳定性也很关键. 1.CPU不是核数越高越好,性价比才是关键. 经常遇到很多的企业级客户,他们 ...
- 基于原版Hadoop的YDB部署
YDB依赖环境准备 一.硬件环境 硬件如何搭配,能做到比较高的性价比,不存在短板.合理的硬件搭配,对系统的稳定性也很关键. 1.CPU不是核数越高越好,性价比才是关键. 经常遇到很多的企业级客户,他们 ...
- Docker 下 jitsi-meet 视频服务器 安装部署
一.参考网站 官网文档地址:Self-Hosting Guide - Docker | Jitsi Meet 二.Docker 版本 三.安装部署 3.1.下载并解压缩安装包 地址:Release s ...
- OpenStack Pike 版本的 Mistral 安装
OpenStack Pike 版本的 Mistral 安装部署 # 安装环境使用的centos 7.3 1. 安装 Mistral 安装包. # yum -y install openstack-m ...
- Teleport堡垒机安装部署
一.安装 本文针对 v3.x 及以上版本进行说明. 1.1 下载并安装 Teleport支持下列Linux平台的部署 (如果您在其它Linux平台上部署通过,请告知我们): Ubuntu 14.04 ...
- logicaldoc 6.5 结合postgresql 9.x安装部署—基于windows平台
2019独角兽企业重金招聘Python工程师标准>>> 湘中朱生 2012年9月于深圳 说明:原创内容,请勿转载! <1> 从官网下载部署包 官方网站提供源码包和集成 ...
- Linux下基于Openstack安装部署私有云
Openstack的帮助文档:https://docs.openstack.org/stein/ 一个购买私有云的网站:https://console.qingcloud.com/ 一.云计算 基本概 ...
最新文章
- 面试:BigDecimal一定不会丢失精度吗?
- 直接铸造与“ as”运算符?
- ibatis3 一对一搞定
- 玩转C语言之自定义数据类型-typedef
- WebRTC / Jitsi / 架构
- Python 前端的第三方库
- Windows8之hyper-v探索
- 蔡高厅老师 - 高等数学阅读笔记 - 10 - 函数图像的描绘 - 微分三角形 -曲率(44 ~48)
- asp.net 在webconfig里自定义错误页
- 电商渠道转化越来越低,究竟怎样引流才能提高转化率?
- Bootstrap 提示工具(Tooltip)弹出框
- Notepad3(高级文本编辑器)v5.19.815.2595版本更新啦
- HTML页面跳转的方法
- java programer认证_关于考SUNJAVAPROGRAMMER的几点建议
- 如何彻底清除流氓的2345安全卫士及2345SafeCenterSvc服务?
- K线形态识别—K线反转形态之底部反转形态
- Windows最值得安装的小众软件
- 物联网竞赛-LoRa和NB-IOT模块学习知识汇总
- 极品婆媳龙争虎斗---终极PK王者之战(10)
- Node.JS实战57:给图片加水印。
热门文章
- 用Floyd算法解决选址问题(附完整matlab代码)
- 海康威视的工业相机的使用经历
- SUSE系统关闭防火墙的命令
- 批处理将生词导入金山词霸生词本!
- Socks5代理服务器示例详解
- [Place 30-876] Port ‘txclk‘ is assigned to PACKAGE_PIN * which can
- GEE遥感云大数据在林业中的应用
- 【在Angular项目中使用googlemaps】
- ios中导入第三方类库
- 芯片破壁者(十六):德州仪器的“罗生门”