机器学习/推荐系统/推荐系统算法工程师面试指导

面试指导

文章目录

面试指导
1、机器学习/推荐系统/推荐系统算法工程师面试技能图
2.1 推荐系统算法相关面试笔试题
- 2.2 机器学习相关问题
- 重点：
- 2.3 框架方面
- 2.4 业务流程
3、简历指导项目编写
4、书籍资料网站推荐

1、机器学习/推荐系统/推荐系统算法工程师面试技能图
2、知识、工具、逻辑、业务面试题
3、简历编写与招聘需求
4、书籍资料网站推荐

1、机器学习/推荐系统/推荐系统算法工程师面试技能图

但抛开具体的岗位要求，从稍高的角度角度看待这个问题，一名机器学习/推荐系统算法、研发工程师的技术素质基本可以拆解成下面四个方面：知识、工具、逻辑、业务。

在最小要求的基础上，算法工程师的能力要求是相对全面的。其实所谓算法工程师，就是因为你不仅应该是一位合格的“工程师”，还应该再次基础上有算法的改进和实现的能力。除此之外，大数据工程师更注重大数据工具和平台的改进，研究员则在知识和逻辑层面相对突出。

下面给出相关要求，有通用的要求，不管是做不想关的领域。然后深入一个具体领域如推荐系统工程师的职位，会对应有一些具体的能力要求：

知识：主要是指你对ML相关知识和理论的储备(40%)

机器学习相关的知识+基础的深度学习知识
如主流CTR模型、推荐算法模型的原理和技术细节

工具：将你的ML知识应用于实际业务的框架工具(30%)

如coding能力、spark、tensorflow、serving相关工具

逻辑：基础算法逻辑相关(10%)

常见基础算法题，逻辑题，模型之间演化关系，考量举一反三能力

业务：深入理解所在行业的商业模式，从业务中发现而改进模型算法的能力(20%)

根据比如文章推荐构建模型场景和需求，了解业务走向，根据业务指定目标模型

2.1 推荐系统算法相关面试笔试题

11.如果选用一种其他的模型替代XGBoost或者改进XGBoost你会怎么做，为什么？（业务+逻辑+知识）

1、协同过滤（基于物品和基于用户）的原理，ItemCF、UserCF、SVD矩阵分解必须会说明？

2、以下推荐方法中，推荐结果多样性最好的是：（ B ）

A. 基于内容的推荐

B. 基于用户的协同过滤推荐

C. 基于物品的协同过滤推荐

D. 热门推荐

3、请描述至少2种熟悉的推荐系统中常用的算法原理（如: 协同过滤、矩阵分解等）

4、协同过滤经常被用于推荐系统，包含基于内存的协同过滤、基于模型的协同过滤以及混合模型。以下说法不正确的是（C）

基于用户的协同过滤推荐、基于物品的协同过滤推荐都是基于内存的协同过滤推荐
混合模型综合两个模型的优点，通常能够达到由于两者的效果
基于内存的协同过滤可以较好解决冷启动问题
基于内存的协同过滤实现比较简单,新数据可以较方便的加入

5、协同过滤是推荐系统构成中非常经典的算法，分为基于用户的协同过滤和基于物品的协同过滤。它的本质是通过计算用户与用户之间的相似度，或物品与物品的相似度来对用户的兴趣进行预测，进而推荐相关物品给用户。请使用上述知识解答下面问题：

(1)现有五个用户A，B，C，D，E；三个物品X，Y，Z；通过分析用户在网站上的购物历史和人群画像标签，分析出各个用户对各个物品的兴趣指数。兴趣指数见下面表格：

	X	Y	Z
A	3	4	3
B	2	4	4
C	3	5	4
D	2	2	3
E	4	1	4

现需要向用户E推荐相机，已知A，B，C，D对于三种相机M，N，O的兴趣打分如下:

	M	N	O
A	3	4	3
B	5	1	2
C	2	5	5
D	4	2	3

请给出给E推荐相机的最佳顺序, 给出详细解答过程

(2) 在上述的问题中，大家可以发现，协同过滤对于用户的历史数据依赖较强，那么对于冷启动问题，有什么样比较好的解决方法？

6、视频推荐场景中过于聚焦的视频推荐往往会损害用户体验，所以，系统会通过一定程度的随机性给用户带来发现的惊喜感。假设在某推荐场景中，经计算A和B两个视频与当前访问用户的匹配度分别为0.8分和0.2分，系统将随机为A生成一个均匀分布于0到0.8的最终得分，为B生成一个均匀分布于0到0.2的最终得分，那么最终B的分数大于A的分数的概率为（ B）

1/2、 1/8、1/16、1/4

7、协同过滤经常被用于推荐系统，包含基于内存的协同过滤，基于模型的协同过滤以及混合模型，以下说法正确的是

基于模型的协同过滤能比较好的处理数据稀疏的问题
基于模型的协同过滤不需要item的内容信息
基于内存的协同过滤可以较好解决冷启动问题
基于内存的协同过滤实现比较简单，新数据可以较方便的加入

8、说说矩阵分解

9、简述word2vec；说说滑动窗口大小以及负采样个数的参数设置以及设置的比例；怎么衡量学到的embedding的好坏

10、说说推荐系统算法大概可以分为哪些种类：（1）基于内容；（2）基于协同过滤：基于内存（UB IB）；基于模型（MF）

11、推导LR过程

12、图结构是怎么存储的？利用你所做的这个图结构实现深度/广度优先遍历，深度优先遍历用栈结构实现；广度优先遍历用队列结构实现

13、详细描述工作，画出来整体框架？

14、随机森林有了解吗？知道里面的有放回的采样方法吗？给定n个小球，有放回地采样。当n趋向于无穷的时候，某小球不被取到的概率是多少？

15、关键词怎么提取的？TF-IDF有改进吗？怎么改进？与TextRank区别？

16、UserCF、ItemCF公式？原理区别?与基于内容的推荐的区别？

2.2 机器学习相关问题

重点：

线性回归、逻辑回归
决策树相关算法：决策树、随机森林、GBDT、XGboost
聚类相关算法
神经网络：NN相关基础原理
算法优化：正则化、梯度下降等

1.GBDT的原理**（知识）**

2.决策树节点分裂时是如何选择特征的？（知识）

3.写出Gini Index和Information Gain的公式并举例说明

（知识）

4.分类树和回归树的区别是什么？（知识）

5.与Random Forest作比较，并以此介绍什么是模型的6.Bias和Variance**（知识）**

7.XGBoost的参数调优有哪些经验**（工具）**

8.XGBoost的正则化是如何实现的**（工具）**

9.XGBoost的并行化部分是如何实现的**（工具）**

10.为什么预测股票涨跌一般都会出现严重的过拟合现象

（业务）

1.softmax函数的定义是什么？（知识）

2.神经网络为什么会产生梯度消失现象？（知识）

3.常见的激活函数有哪些？都有什么特点？（知识）

4.挑一种激活函数推导梯度下降的过程。（知识+逻辑）

5.Attention机制什么？（知识）

6.阿里是如何将attention机制引入推荐模型的？（知识+业务）

7.DIN是基于什么业务逻辑引入attention机制的？（业务）

8.DIN中将用户和商品进行了embedding，请讲清楚两项9.你知道的embedding方法。（知识）

10.你如何serving类似DIN这样的深度学习模型**(工具+业务)**

查找相关资料找到更多面试题：《百面机器学习》

2.3 框架方面

大数据相关框架：spark、hbase、Hive、kafka
深度学习框架：TensorFlow

2.4 业务流程

项目总结

3、简历指导项目编写

二、掌握技能（根据就业方向选择性增加修改删除）

1、机器学习相关、模型、算法原理、特征处理

2、深度学习推荐、基础推荐相关

3、大数据框架、数据库使用

熟练使用Numpy科学计算工具、Pandas数据分析包、Matplotlib数据可视化工具等进行数据操作、采集、处理、清洗、可视化、规整数据集。
熟悉Scikit-learn机器学习框架，熟练掌握K-近邻、LinearRegression、LogisticsRegression、RidgeRegression、LassoRegression、Decision Tree、Bayes、SVM、K-Means等机器学习算法应用。
熟悉PCA进行数据降维。
熟练掌握特征工程的使用(REF, chi2)。
熟悉数据集的基本处理方法(空值处理, 数据归一化以及标准化)
熟悉欠拟合、过拟合产生的原因及解决办法。
熟练应用网格搜素、交叉验证、混淆矩阵进行模型参数调优和模型评估。
熟悉常见集成的分类及算法，例如RF(Bagging)、GBDT(Boosting)算法。
熟悉hadoop的搭建以及相关组件（Yarn、Hdfs、MapReduce）的使用、开发；
熟练使用Flume数据采集工具；
熟悉hbase、mysql等相关数据库使用，以及Hivesql的编写；
熟悉Kafka消息处理工具；
熟悉spark 、spark sql 、spark streaming 架构模型及使用；
熟练使用linux系统，熟悉常用的linux的shell命令，能在linux系统下搭建开发环境；
掌握sqoop的数据迁移工具的使用；
熟悉深度学习框架TensorFlow。

三、项目介绍编写（根据项目特点选择性增加修改删除）：

1、项目的描述

样本：

黑马头条推荐系统建立在海量用户与海量文章之上，使用Lambda架构整合实时计算和离线计算，借助分布式环境提升计算能力；使用Flume收集用户的点击、浏览、收藏等行为，建立用户画像和文章画像，并存储于HDFS集群；通过离线Spark SQL计算建立HIVE特征中心，存储到HBase集群；通过ALS、LR、Wide&Deep等机器学习与深度学习、推荐算法进行智能推荐，达到千人千面的用户推荐效果。

项目描述：本项目是一个个性化推荐系统。该项目以离线推荐为主，实时推荐为辅, 协同过滤与基于内容推荐相结合，来提高用户体验并增加用户粘性及使用时间。主要的流程包括业务数据处理，书籍画像建模，日志数据处理处理，实时推荐等部分。

项目描述

项目描述：一个为用户提供家居主题讨论、商城服务、客户调查、社区功能的平台。爱尚家居广告推荐系统旨在提高用户转率，提高公司收益，增加用户体验，主要的包括创建ALS模型，召回商品，基于逻辑回归实现CTR预估，离线数据处理缓存，实时推荐等

项目描述：本项目主要是通过收集用户的行为数据，用户经常关注和收听的内容，以及用户的年龄分布，终端设备等，对每个用户建立用户画像，通过训练模型，完成推荐系统。目的是做到更精准的推送，在不影响业务的前提下，进行精准推送，增高用户黏性。

随着视频网站的不断增多，为了更好的满足客户体验度，电影推荐可以很好的解决这一问题。根据电影的种类、评分，再加上用户的性别、年龄等信息，进行多维度数据分析，实现推荐用户可能喜欢的电影，实现推荐同类型的电影，建立客户个性化推荐系统，给用户以良好的

进行分类，然后分析推荐效果，并针对用户的行为数据不断完善用户画像；

该项是典型社交类的好友推荐设计开发项目。该系统是在用户的角度，快速的找到与自己志趣相投的以及很可能成为好友的用户。项目包括二度好友推荐，拥有共同圈子、共同兴趣的好友，浏览过个人主页等个性化的推荐策略；购物达人、博览群圈、随即标签的非个性化推荐。无论是新用户还是老用户，都能在系统迅速的建立起自己的社交圈，提高了用户黏度。

该项目是典型的电商推荐项目，该系统主要是是为用户推荐商品，使用户更开速的找到自己想要购买的以及用户可能会消费的商品，本项目基于用户历史行为包括用户的浏览、收藏、分享、购买等行为，对用户的每一个行为给予相应的权重，应用协同过滤进行个性化推荐；通过历史销量、近期销量排行、收藏数等指标进行非个性化推荐，通过用户默认收货地址进行店铺推荐的过滤

2、项目架构与技术点

项目架构：Flume + Kafka +HDFS + Spark Streaming + Spark SQL + HBase+ TensorFlow

1、使用flume收集日志数据，将用户行为数据采集到HDFS

2、通过Flume将用户行为数据采集到HDFS；

3、Kafka对接Flume将用户行为日志收集到消息队列；

4、Spark Streaming实时处理Kafka发送来的点击日志，实时更新特征、实时更新召回集；

1．通过Flume获取点击流日志数据，以及通过sqoop获取mysql中静态数据；

2．将数据保存到hdfs中，构建hive数据仓库；

3．通过spark读取数据文件，进行数据的处理；

4．最终将数据保存到Hbase中，保存到hbase和redis中

5、spark离线保存tfrecords文件

6、采用TensorFlow estimator进模型训练

7、TF serving进行模型部署

10、物品文本的关键词、主题词构建，TFIDF、TextRank使用

11、文本向量word2vec计算

12、标签存储进Hbase，并将标签和历史标签进行对比，根据衰减系数进行合并

3、项目业务拓展：

社交类推荐、电商推荐商品、资讯类推荐、

4、书籍资料网站推荐

书籍

《推荐系统系统与深度学习》

《百面机器学习》

《机器学习》-周志华

资料网站论文：

RecSys:https://recsys.acm.org/best-papers/

了解最新推荐系统论文动态，模型变化特点。每年学习几篇新新结构

面试题、推荐问题社区:

实习｜美团机器学习算法岗实习四面面经（推荐系统方向）https://zhuanlan.zhihu.com/p/65034443?utm_source=wechat_session&utm_medium=social&utm_oi=752139001741201408
在你做推荐系统的过程中都遇到过什么坑？https://www.zhihu.com/question/32218407/answer/588762146?utm_source=wechat_session&utm_medium=social&utm_oi=752139001741201408
2019校招｜算法面经+春秋招总结（含BAT TM W等）:https://zhuanlan.zhihu.com/p/47150666?utm_source=wechat_session&utm_medium=social&utm_oi=752139001741201408
2019秋招｜算法岗面经（阿里头条网易爱奇艺等）https://zhuanlan.zhihu.com/p/45287109?utm_source=wechat_session&utm_medium=social&utm_oi=752139001741201408