【面经】中邮消费金融大数据开发二面面经

自我介绍

项目的架构讲一下

Spark 调优用过哪些

参数设置和 SQL 代码改写。

Spark 基于内存的，什么时候会写磁盘

mapreduce 任务后期再计算的时候，每一个 job 的输出结果会落地到磁盘，后续有其他的 job 需要依赖于前面 job 的输出结果，这个时候就需要进行大量的磁盘 io 操作。性能就比较低。

spark 任务后期再计算的时候，job 的输出结果可以保存在内存中，后续有其他的 job 需要依赖于前面 job 的输出结果，这个时候就直接从内存中获取得到，避免了磁盘 io 操作，性能比较高。

对于 spark 程序和 mapreduce 程序都会产生 shuffle 阶段，在 shuffle 阶段中它们产生的数据都会落地到磁盘。

Spark 作业提交流程

对数仓建模了解多少，用什么模型

Flink 了解多少

最有成就感的事情

下次遇到这种问题如何解决

压力最大的事情

反问

【面经】中邮消费金融大数据开发二面面经相关推荐

【面经】中邮消费金融大数据开发面经
欢迎点击此处关注公众号. 公司介绍: 中邮消费金融有限公司(以下简称"中邮消费金融")成立于2015年11月,总部设在广州,经中国银行保险监督管理委员会批准成立,由中国邮政储蓄银行 ...
中邮消费金融签约神策数据致力最优产品与服务模式
随着"互联网+"引领金融业转型升级,大数据为企业提供了重要支撑.近日,中邮消费金融有限公司(下称"中邮消费金融")签约神策数据,致力于金融服务和产品创新.以最优 ...
融 360、中邮消费金融、作业帮分享数据分析产品选型心得
在神策数据 B 轮融资暨 2017 年战略发布会现场,除了 5 家顶级资本方的站台(5家顶级投资方同台现身,力捧神策数据为哪般?),聚美优品电商产品总监范忱(聚美优品范忱:我是如何将用户推荐准确率提升 ...
【营销获客一】消费金融大数据营销获客
[营销获客一]消费金融大数据营销获客一.消费金融的前世今生 1.强监管下的民间借贷蓝海 2.金融危机下的经济增长转型 3.学术导向的推波助澜 4.消费金融的必然诞生 5.实践后的真知二.以营销认识 ...
独家：中邮消费金融董事长卸任，回归邮储银行
作者 | 周古来源 | 镭射财经(leishecaijing) 「镭射财经」独家获悉,中邮消费金融首任董事长兼法定代表人林茂新卸任,已回到邮储银行内部任职,现任江西邮储银行党委书记.行长.林茂新此前 ...
腾讯、迅雷、顺丰等存在多项问题被通报，还有中邮消费金融等
11月23日,广东通信管理局发布通报称,发现疑似存在问题App 237款,经核验确定问题App 共88款.其中,千聊.夸克.NOW直播.唯品会.迅雷.企鹅电竞.立刷.中邮钱包.顺丰金融等被点名. 据了 ...
包银消费CTO汤向军：消费金融大数据风控架构与实践
01 风险在哪里 1.1 信用风险根据银行业的风险理论,信用风险是指借款人因各种原因未能及时.足额偿还债权人或银行贷款而违约的可能性. 信用风险的风控重点在于,甄别客户违约的原因究竟是还款能力,还是 ...
中邮消费金融面试随笔
秋招以来的第一次面试,昨天早上才做的笔试,晚上就收到了面试通知.今天一大早就出门坐地铁来到了大学城华工中心酒店一楼等候面试.短信通知上写的是10点场,然而我从9点半等到了11点多,最后是我和另外一个也 ...
【采用】机器学习在金融大数据风险建模中的应用
本文在传统风险模型体系的基础上,嫁接逻辑回归和决策树模型建立T-L模型,并结合Random Forest模型完善模型结构.采用T-L核模型替代RF模型中的传统决策树模型,将RF模型和T-L核模型结合, ...