2020年阿里大数据一面面经,看看你还有啥不知道的？

一、PV和UV是怎么计算的，UV怎么进行去重的？不用ES该如何实现去重？

思路：首先要理解PV、UV的基本概念。去重分两种，一种是基本的数据结构(Hashset等)，另外一种是借助框架去实现(bigmap、hyperloglog等)。

二、说说 flink,spark streaming,storm 的区别？

三、讲一讲spark的调度执行逻辑，stage，宽依赖和窄依赖，容错机制？

这部分由于内容太多，只提供部分重点答案。

1.调度执行逻辑：

spark shuffle：因为具有某种共同的特征的一类数据需要最终汇聚（aggregate）到一个计算节点进行计算，这个数据重新打乱然后汇聚到不同节点的过程就是 shuffle。

老版本：Hash Base shuffle 产生的临时文件数 = MapTask * ResultTask

弊：会产生过多的临时文件。

新版本：SortBased

2020年阿里大数据一面面经,看看你还有啥不知道的？相关推荐

从数据来源、数据生态、数据技术、数加平台等方面，漫谈阿里大数据
目前人人都在谈大数据,谈DT时代,但是,大数据是什么,每个人都有自己的一个看法,好比盲人摸象,每个都认为自己摸到是真正的大象.我也担心我所看到的,只是大数据的冰山一角,毕竟,将引领整个人类下一次变革的 ...
阿里大数据打假：实时分析数据每秒1亿次
电商平台被投诉的问题主要集中在四个方面,包括商品质量不合格和假冒的现象比较严重.七天无理由退货难落实.消费者个人信息遭泄露,以及网上支付安全难保障. 假货泛滥遭遇集体诉讼新消法实施两周年仍需落实 ...
阿里大数据技术如何进化？资深技术专家带你回顾
阿里妹导读:很多童鞋在后台留言,希望看到大数据相关的文章.因此,今天带来一篇阿里资深专家观滔在2017年云栖大会的精彩分享,为大家展示阿里大数据计算服务的进化演进.以及MaxCompute解读. 一. ...
详解：从Greenplum、Hadoop到现在的阿里大数据技术
对于企业来说,但是到底云计算是什么呢?相信很多企业都有这样的困惑,让我们一起回到这个原始的起点探讨究竟什么是云计算?云计算对于企业而言到底意味什么? 云计算的三条发展路径及三种落地形态当回到最初的起 ...
【赵渝强老师】阿里云大数据ACP认证之阿里大数据产品体系
阿里大数据产品体系是基于阿里云飞天平台上的数据处理服务.主要分为阿里云大数据基础产品和阿里云数加平台,其产品架构图如下所示: 一.阿里云大数据基础产品 1.云数据库--RDS(ApsaraDB for ...
云栖大会不能错过的一个专场——阿里大数据
摘要: 2017云栖大会不能错过的一个专场--阿里大数据论坛系统性揭秘阿里巴巴背后的数据中台,如何从EB级别海量数据中掘金导语: 将阿里十余年在大数据领域沉淀的技术能力和应用实践对外分享,首次系 ...
阿里大数据产品Dataphin上线公共云，将助力更多企业构建数据中台
日前,由阿里数据打造的智能数据构建与管理Dataphin,重磅上线阿里云-公共云,开启智能研发版本的公共云公测!在此之前,Dataphin以独立部署方式输出并服务线下客户,已助力多家大型客户高效自动化 ...
未来在哪里？我是这样看阿里大数据的
9月8日,阿里巴巴18周年庆,大数据为阿里献上了一份大礼! 为了这个"成年礼",一张图发布了此次年会大数据:21个国家,800多名外籍员工,4万名员工,35班次高铁,100多个航班 ...
数据库仓工具箱及阿里大数据之路--阅读总结
一.数据仓库工具箱 1.主要内容结合业务场景,阐述 1.维度建模以及事实表的基本及相关概念. 2.根据业务主题的总线矩阵图,梳理业务流程.指标以及对应的维度. 3.关于事实表的阐述. 4.企业层面的 ...

2020年阿里大数据一面面经,看看你还有啥不知道的？

2020年阿里大数据一面面经,看看你还有啥不知道的？相关推荐

最新文章

热门文章