大数据开发工程师笔试题

1，下面哪个程序负责 HDFS 数据存储？
a)NameNode
b)Jobtracker
c)Datanode
d)secondaryNameNode
e)tasktracker

2，下列哪个程序通常与NameNode 在一个节点启动？
a)SecondaryNameNode
b)DataNode
c)TaskTracker
d)Jobtracker

3，下列哪项通常是集群的最主要瓶颈
a)CPU
b)网络
c)磁盘 IO
d)内存

4，HBase 依靠什么存储底层数据
a) HDFS
b) Hadoop
c) Memory
d) MapReduce

5，LSM 含义是？
a) 日志结构合并树
b) 二叉树
c) 平衡二叉树
d) 长平衡二叉树

6，关于 HBase 二级索引的描述，哪些是正确的？
a) 核心是倒排表
b) 二级索引概念是对应 Rowkey 这个“一级”索引
c) 二级索引使用平衡二叉树
d) 二级索引使用 LSM 结构

7，解压.tar.gz 结尾的 HBase 压缩包使用的 Linux 命令是？

a) tar-zxvf
b) tar -zx
c) tar -s
d) tar –nf

8，请简述一下HDFS的体系结构。

9，如何使用MapReduce实现两个表join，可以考虑一下几种情况：（1）一个表大，一个表小（可放到内存中）；（2）两个表都是大表？

10，insert into 和 override write区别？

11，flume不采集Nginx日志，通过Logger4j采集日志，优缺点是什么？

12，请简述一下Spark应用转换流程

13，Redis,传统数据库,hbase,hive 每个之间的区别是什么？

14，用mapreduce来实现下面需求？
现在有10个文件夹,每个文件夹都有1000000个url.现在让你找出top1000000url。

15，现有一个log文件，其中每一行格式如下(存在‘=’后面为空的情况，如第二行，需要转换成"null")
project_id=test&page_id=mobile_home&action=view&widget_id=mb_home_top_rec&content_version=1&country=pl&language=pl
project_id=test&page_id=mobile_home&action=view&widget_id=&content_version=1&country=pl&language=pl
请编写函数，读取该文本文件，并处理成RDD[Map]格式返回，函数格式如下，请编写{}中代码实现功能。

def processData(spark: SparkSession, readPath: String) = { }

16，
uid subject_id score
1001 01 90
1001 02 90
1001 03 90
1002 01 85
1002 02 85
1002 03 70
1003 01 70
1003 02 70
1003 03 85

请找出所有科目成绩都大于某一学科平均成绩的学生，编写SQL完成要求。

17，使用Java语言实现二分查找

大数据开发工程师笔试题相关推荐

大数据开发工程师面试题(附答案)
之前采访毕业生的时候,有小伙伴提出意见,想看小编分享一些面试的干货,于是小编不负众望,今天给大家带来了一篇大神级面经,希望可以帮助即将毕业或正在找工作的小伙伴儿们,祝你们早日找到心仪的工作! 在这里我 ...
大数据开发工程师面试题以及答案整理（二）
Redis性能优化,单机增加CPU核数是否会提高性能 1.根据业务需要选择合适的数据类型,并为不同的应用场景设置相应的紧凑存储参数. 2.当业务场景不需要数据持久化时,关闭所有的持久化方式可以获得最佳 ...
大数据开发工程师面试题答案
填空 1. nohup , setsid , &, 2.server.xml 4. 5. 问答题一:
某某证券大数据开发工程师招聘笔试题
某某证券大数据开发工程师招聘笔试题一.基础知识(单选题,每题1分,共10分) 1.实现两个远程主机之间的文件复制是用 ( D ) . A . mv B . cp C . cut D. scp 2.一 ...
大数据开发工程师的面试题
大数据开发工程师的面试题通常包括:1. 对大数据技术的理解:2. 如何使用Hadoop构建大数据系统:3. 如何使用MapReduce来处理大数据:4. 如何使用Spark分析大数据:5. 如何使用N ...
【求职】小米 2018 秋招测试开发工程师笔试题
小米 2018 秋招测试开发工程师笔试题一.单选题 1.静态变量static 在不同的实例中地址是否一样?他们储存在什么区域?( ) A. 地址一样,在堆栈区. B. 地址不一样,在堆栈区. C. ...
数据库开发转行大数据开发工程师怎么样?
数据库开发转行大数据开发工程师怎么样?大数据的方向的工作有大数据运维工程师.大数据开发工程师.数据分析.数据挖掘.架构师等.有工作经验想转行大数据开发主要考察基础.学习能力.解决问题的能力.想转转行大 ...
如何成为一名大数据开发工程师，工作经验总结
如何成为一名大数据开发工程师,工作经验总结原画心旗 2019-11-06 13:35:22 首先,我个人进入大数据行业也纯属偶然,当年实习的时候做的是纯纯的Java开发,后来正式毕业了以后找了份Ja ...
iOS开发工程师笔试题
iOS开发工程师笔试题 1. Object-c的类可以多重继承么?可以实现多个接口么?Category是什么?重写一个类的方式用继承好还是分类好?为什么? Object-c的类不可以多重继承:可以 ...

大数据开发工程师笔试题

大数据开发工程师笔试题相关推荐

最新文章

热门文章