每天10分钟—

1.hdfs 伪分布式哪三个进程，简写

NN   DN  SNN

2.yarn伪分布式哪两个进程，简写

RM       NM

3.简述 nn做什么的?

管理文件名称，维护目录树，定期接受DN的心跳信息

4.简述 snn是做什么的那幅图，是否能够描述清楚?

定期去NN上的fsimage和editlog合并成新的fsimage并且返回给NN

5.一个文件130M，block设为128M，系统设置3副本，请问多少块，多少存储

6块   256M

6.拓展题: 所以，假如都是5M 10M 20M这些小文件，我们是不是为了避免nn节点内存的压力，要不合并这些小文件，要不就将冷数据迁移到比如oss，s3存储上

是的，大量存储小文件会让NN节点压力过大，所以需要合并

7.假如让你找配置参数，你会在官网找吗

看是配置env.sh还是.xml文件之后再去官网的文档里找

8.简述你们对shuffle的理解

洗牌，将相同key值放在一起

9.简述什么是数据本地化

NN 和 DN同一节点

10.简述mr提交到yarn上

client将作业提交到yarn上，yarn的NM分配contanier和开启ApplicationMaster
ApplicationMaster申请资源并且分配到相应的container，同时监控他们

11.hive数据分为元数据和数据，那么你们课程中，分别存储在哪里

元数据在关系型数据库中，数据在hdfs上

每天10分钟——10.18相关推荐

每天10分钟——10.22
1.查看当前目录是什么命令 pwd 2.切换到上一次和上一层目录 cd - cd .. 3.创建目录命令,连续目录的参数 mkdir mkdir -p 4.mv和cp什么区别剪切和复制的区别 5.v ...
10分钟10行代码开发APP(delphi 应用案例)
总结一下用到的知识(开发环境安装配置不计算在内): 第六章使用不同风格的按钮: 第十七章让布局适应不同大小与方向的窗体: 第二十五章使用 dbExpress访问 InterBase ToGo ...
比特币区块的产生速度为何被设定为10分钟？
链客,专为开发者而生,有问必答! 此文章来自区块链技术社区,未经允许拒绝转载. 众所周知,比特币的block产生速度被设定为了10分钟,按着官方wiki所说,每一个节点需要一些时间来确认block(& ...
10分钟内基于gpu的目标检测
10分钟内基于gpu的目标检测 Object Detection on GPUs in 10 Minutes 目标检测仍然是自动驾驶和智能视频分析等应用的主要驱动力.目标检测应用程序需要使用大量数据集 ...
github创建静态页面_如何在10分钟内使用GitHub Pages创建免费的静态站点
github创建静态页面 Static sites have become all the rage, and with good reason – they are blazingly fast a ...
以太坊区块链同步_以太坊69：如何在10分钟内建立完全同步的区块链节点
以太坊区块链同步 by Lukas Lukac 卢卡斯·卢卡奇(Lukas Lukac) Ethereu M 69:如何在10分钟内建立完全同步的区块链节点 (Ethereum 69: how to ...
php提示密码错误的代码_php 实现密码错误三次锁定账号10分钟
直接上个代码 /** * 登录 * 1.接收数据 * 2.正则判断接收到的数据是否合理 * 3.根据用户名获取用户数据 * 获取到数据 -> 继续执行 * 没有获取到数据 -> 提示:用户 ...
sql server 以10分钟分组统计人数
请问针对时间段从每天早上7点开始统计每十分钟人解决思路: 我以前做过一个关于月份的,是说每3个月以分组,其实是一样的.不过可能啊,整体数据量大会有问题.如果你只是求一天的,那绝对没问题. [1]如果 ...
怎么灵活使用Graph, Document, Key/Value 三种混合模型的数据库？--Java 10分钟教程
这是一个关于如何用Java Sync Driver 4.1使用ArangoDB的简短教程.在不到10分钟的时间内,您将学会如何用Java 操作ArangoDB (ArangoDB on Github) ...

每天10分钟——10.18

每天10分钟——10.18相关推荐

最新文章

热门文章