大厂面试 | 阿里巴巴大数据工程师面试题汇总

坐标城市：浙江杭州

面试公司：阿里巴巴

面试岗位：大数据工程师

面试难度：给4星吧

面试感受：还行吧，就是紧张了有点

本人学计算机的，同时也自学了Java、Python、C#、前端等，感觉都是皮毛，最后觉得还是大数据比较适合我，不过技术之间都是想通的，越来越发现自己欠缺的知识其实还有很多。

面试题

1.kafka 重启是否会导致数据丢失

2.讲一讲checkpoint

3.描述mapreduce的过程，中间有几次写磁盘

4.ORC、Parquet等列式存储的优点

5.调度系统的实现，开源调度系统Azkaban

6.zookeeper HA原理

7.二分法以及变种

8.用java实现多种排序算法

9.如何用redis实现分布式锁

10.ArraryBlockingQueue的实现

11.一个文本文件，大约有一万航，每行一个词，要求统计出其中最频繁出现的前10个词

12.上千万或上亿数据（有重复），统计其中出现最多的前n个数据

13.有10个文件，每个文件1g，每个文件的每一行存放的都是用户的query，meigewenjiandequery都有可能重复，要求你按照query的频率来排序

14.海量日志数据，提取出某日访问百度最多次数的那个IP

15.zookeeper选举机制

16.zookeeper的端口水命，作用

17.zookeeper主从服务器如何通信

18.HFile数据格式中的KeyValue介绍

19.Spark中的Work主要工作是什么

20.Spark有几种部署模式，每种模式有什么特点

21.spark的driver的功能是什么

22.Spark master HA主从切换过程不会影响到集群已有作业的运行，为什么

23.spark streaming读取kafka的两种方式

24.spark master使用zookeeper进行ha，有哪些源数据保存到Zookeeper里面

25.spark rdd如何区分宽依赖窄依赖

26.怎么解决kafka的数据丢失

27.怎么查看kafka的offset

围绕kafka、spark、Hadoop问的较多，相当有难度，本关已过~，喜欢杭州，希望能进阿里！

大厂面试 | 阿里巴巴大数据工程师面试题汇总相关推荐

银行大数据工程师笔试题
Spark有3种运行模式(分布式部署方式):独立集群运行模式.YARN运行模式.Mesos运行模式. SecondaryNameNode:它的目的是帮助 NameNode 合并编辑日志,减少 Name ...
大数据工程师面试题(附答案)
MapReduce 1. 不指定语言,写一个WordCount的MapReduce 我:最近刚学了scala,并且就有scala版本的WordCount,刚好学以致用了一下: 对大数据[数据分析,数据 ...
大数据工程师基础试题
1.在Linux环境下,用Linux基本命令完成如下操作: 1.重命名/home/qqbook/script/下的aa.txt 文件名为:cc.txt : 2.清空/home/qqbook/scrip ...
《大数据之路：阿里巴巴大数据实践》第二篇数据模型篇-读书笔记
目录 8.大数据领域建模综述 8.1 为什么需要数据建模 8.2 关系数据库系统和数据仓库 8.3 从OLTP和OLAP系统的区别看模型方法论的选择 8.4 典型的数据仓库建模方法论 8.4.1 ER ...
如何成为阿里巴巴大数据开发工程师？你要学习很多东西
大数据大数据,个个都在喊但究竟什么是大数据开发,如何成为一个大数据开发工程师?加米谷大数据请添加链接描述的这篇文章告诉你如何成为阿里巴巴也需要的大数据工程师. 大数据通用处理平台 1.Spark 2 ...
2021年大数据工程师面试内容包括哪些?
2021年大数据工程师面试内容包括哪些? [导语]近年来,大数据发展如火如荼,很多人都选择学习大数据专业或者转行大数据,大数据里又包含很多就业岗位,所以在进行岗位选择的时候,还是需要大家合理选择,为了 ...
当我说转行大数据工程师时，众人笑我太疯癫，直到四个月后......
[不要错过文末彩蛋] 申明: 本文旨在为[大数据自学者|大数据专业学生|工资低的程序员(Java/Python等)]提供一个从入门到入职的的大数据技术学习路径,不适合5年以上大数据工程师的进阶学习. ...
大数据工程师的日常工作是什么？要掌握哪些核心技术？
很多人都听过大数据工程师,但却很少人知道他们是做什么的?下面就带大家一起来了解一下大数据工程师的日常. 如果你对大数据感兴趣,下面的内容你一定要看看: 大数据工程师是做什么的? 分析历史.预测未来.优 ...
刚面完阿里蚂蚁金服的大数据工程师，有话说
//蚂蚁金服// 蚂蚁金服,嗯,996 的岗位. 老读者可能很吃惊,小编不是纯做 SQL 吗,跑蚂蚁去做什么大数据工程师呢,SQL 能管用吗!很负责的告诉你,管用.Hive 与 SQL 本是同根生,语 ...
你们是不是真的很缺大数据工程师？
00 缘起之所以有这个话题,是因为周末加班中午吃饭与一个同行朋友聊起了这个话题,之后再细细地结合一些其他接触的东西,确实是有些感触的. 并且对于行业的一些现状,也的确有些自己的看法,对不对先不论,这 ...

大厂面试 | 阿里巴巴大数据工程师面试题汇总

大厂面试 | 阿里巴巴大数据工程师面试题汇总相关推荐

最新文章

热门文章