每天汇总----10.18

1.hdfs 伪分布式哪三个进程，简写 NN DN SNN

2.yarn伪分布式哪两个进程，简写 RM NM

3.简述 nn做什么的? 管理文件系统的命名空间，维护文件系统的目录树的，定期接受来自DN的blockmap

4.简述 snn是做什么的那幅图，是否能够描述清楚? 定期来去NN上的fsimage和editlog合并成新的fsimage.ckpt并返沪给NN

5.一个文件130M，block设为128M，系统设置3副本，请问多少块，多少存储 6个block，存储390M

6.拓展题: 所以，假如都是5M 10M 20M这些小文件，我们是不是为了避免nn节点内存的压力，要不合并这些小文件，要不就将冷数据迁移到比如oss，s3存储上是的，NN上不适合存储大量的小文件，无论小文件还是大文件都将占用相同的NN资源，小文件太多了会对NN造成很大的压力

7.假如让你找配置参数，你会在官网找吗区分是***-env.sh文件中配置的还是在xml文件中配置的，然后再去官网中的doc中查找

8.简述你们对shuffle的理解通俗一点解释叫洗牌，不同节点上的数据进行重新分配

9.简述什么是数据本地化 DN和NM部署在同一个节点上，是的计算和数据存储不同的网络io来传输

10.简述mr提交到yarn上第一阶段是client将作业提交到yarn上面，yarn为其分配contanier和开启ApplicationMaster程序，第二阶段是ApplicationMaster申请资源并分配tasks到相应的container，同时监控他们

11.hive数据分为元数据和数据，那么你们课程中，分别存储在哪里 mysql hdfs，hive上的元数据一般存储在关系型数据库当中

每天汇总----10.18相关推荐

背水一战 Windows 10 (18) - 绑定: 与 Element 绑定, 与 Indexer 绑定, TargetNullValue, FallbackValue...
原文:背水一战 Windows 10 (18) - 绑定: 与 Element 绑定, 与 Indexer 绑定, TargetNullValue, FallbackValue [源码下载] 背水一战 ...
QT学习-10/18/2012
1.QT-使QSplitter分割线不能移动:http://cooker.iteye.com/blog/733481 m_tableSplitter = new QSplitter(Qt::Horiz ...
Java黑皮书课后题第10章：*10.18（大素数）编写程序找出五个大于Long.Max_VALUE的素数
10.18(大素数)编写程序找出五个大于Long.Max_VALUE的素数题目破题代码运行结果题目 10.18(大素数)编写程序找出五个大于Long.Max_VALUE的素数破题类似编程 ...
10.15 iptables filter表小案例10.16/10.17/10.18 iptables nat表应用
2019独角兽企业重金招聘Python工程师标准>>> 10.15 iptables filter表小案例 iptables 命令.语法总结 iptables-nvL //查看ipt ...
训练日志 2018.10.18
花了一周时间把之前学过的算法和题重新看了一下,重新架构了一下知识体系,对 DP 和搜索有了更深刻的认识,这周正式开始图论内容,抽空再将搜索的优化和 A* 算法学习一下 2018.10.18
Groovy轻松入门——通过与Java的比较，迅速掌握Groovy （更新于2008.10.18）
摘自: http://www.blogjava.net/BlueSUN/archive/2007/03/10/103014.html Groovy轻松入门--通过与Java的比较,迅速掌握Groovy ...
【DockerCE】Docker-CE 20.10.18正式版发布
官网地址(For RHEL/CentOS 7.9): https://download.docker.com/linux/centos/7/x86_64/stable/Packages/ 20.10. ...
解决报错Error: libzip5-tools conflicts with libzip-0.10.1-8.el7.x86_64
yum install php php-devel安装php时遇见报错 Error: libzip5-tools conflicts with libzip-0.10.1-8.el7.x86_64Yo ...
日志10.24整合项目文档并运行+周报10.18~22工作总结
日志10.24整合项目文档并运行一. 安装pnpm,更新代码与远程同步,启动后端itms-server.前端itms-webapp项目 1.安装pnpm:已管理员身份运行命令行,跳转到前端文件夹it ...

每天汇总----10.18

每天汇总----10.18相关推荐

最新文章

热门文章