【字节跳动暑期实习】计算机视觉实习生-互娱研发-抖音/抖音火山版/直播/影像

一面

自我介绍

尽量将自己参与过得项目讲清楚

项目细节询问

1.请详细描述一下简历中提到的参加过的两场kaggle竞赛
    1.1室内定位这场比赛中的特征都有哪些
1.2使用的模型训练一次大概需要多少时间（11:23）
1.3简单说一下伪标签的使用过程
2.项目中提到的震后救援机器人重定位的项目请简述一下
    震后救援项目是在我做完kaggle比赛之后与导师协商的，将SLAM做成一种数据分析的形式，震后救援机器人所在的空间可能及其狭小，阴暗，受限，狭小与受限影响激光雷达的效果，阴暗影响相机的特征点基础的技术效果，受室内定位kaggle竞赛的启发，意   在通过接收稀疏的wifi、蓝牙信息、直接的RGB图像（类比人的黑暗空间探索）、加速度计、磁场计、imu等数据信息完成机器人定位，之所以提到重定位是因为它与常规的SLAM有一些区别，常规SLAM要求机器人进行一定距离的移动，通过历史定位信息修正进而完成整个过程，重定位要求及时性，就是机器人开机，只运行一个很小的距离或者原地旋转一周即可生成可靠的定位。数据驱动的这种learning形式的方法可以做到。
3.简历中提到的泡泡机器人SLAM的公众号维护，请详细说一下令你印象最深刻的推送，为什么
    3.1通过机器人运行学计算机器手上各部分细节的具体位置，这些大致位置可以为分割提供一定程度的先验，然后借助深度图像中的深度信息，完成机器手的过度分割
    3.2获得过度分割位置后，使用RGB图像重新进行精细化的分割
    3.3机器手分割出来后，可以将其加入任意的图像中制作数据集
    3.4训练一个网络可以分割机器手
    3.5新输入一幅图像（遇到一个新环境下的物体），通过自识别网络就可以分割出机器手，又通过一个前景分割可以分离出手抓到的物体，从而完成像素级的注释。
4.简要介绍一下简历中关于汽车自动驾驶的项目（26:30）

经典视觉方法

1.有了解过经典SOTA视觉方向的模型吗？包含SLAM和非SLAM两方面
2.上述这些方法的代码有仔细研究过吗？（VLAM，ORB-SLAM之类的）
3.传统视觉的方法，包括描述子之类的要熟悉（34:04）
4.重定位的建图部分怎么处理的？要求将SLAM的大致过程最好看一下
5.对于SLAM中的解优化问题了解多少？（45:08）
6.如对优化方法中的BA了解多少？

深度学习机器学习随机提问

1.简历中提到kaggle的比赛都是你自己在做，那么你怎么去了解一个模型的有效性以及如何抉择模型的选用和改进问题（39:55）
2.数据类别不平衡的问题怎么去解决
    参考上述链接中关于类别不平衡的危害定义与解决方法：分类中常见的类别不平衡问题解决方法_weepon的博客-CSDN博客_类别不平衡，以及【机器学习】如何解决数据不平衡问题 - Charlotte77 - 博客园，解决方法主要有
    2.1扩大数据集，延伸一下就是kaggle的比赛只要是没明确规定不可使用扩展数据集，那么能否找到额外的数据集是取胜的关键之一
    2.2欠采样，分为两种，一是直接舍弃部分样本，当然会影响效果；二是可以采用交叉验证，每次交叉组中取少部分样本较大的一组
    2.3过采样，分为两种，一是直接复制较少的样本，容易过拟合；如果是回归任务，可以考虑差值运算
    2.4过采样与欠采样配合使用
    2.5选择其他评价指标：准确率和AUC这两个指标在样本类别不平衡任务中表现极差，可以使用PR曲线之类更鲁棒的评价指标
    2.6尝试使用不同的分类算法：因为不同的算法适用于不同的任务与数据，应该使用不同的算法进行比较。决策树往往在类别不均衡数据上表现不错。它使用基于类变量的划分规则去创建分类树，因此可以强制地将不同类别的样本分开。目前流行的决策树算法有：C4.5、C5.0、CART和Random Forest等
    2.7对模型进行惩罚：你可以使用相同的分类算法，但是使用一个不同的角度，比如你的分类任务是识别那些小类，那么可以对分类器的小类样本数据增加权值，降低大类样本的权值（这种方法其实是产生了新的数据分布，即产生了新的数据集，译者注），从而使得分类器将重点集中在小类样本身上。一个具体做法就是，在训练分类器时，若分类器将小类样本分错时额外增加分类器一个小类样本分错代价，这个额外的代价可以使得分类器更加“关心”小类样本。例如：一类支持向量机（one class SVM）
    2.8我们可以从不同于分类的角度去解决数据不均衡性问题，我们可以把那些小类的样本作为异常点(outliers)，因此该问题便转化为异常点检测(anomaly detection)与变化趋势检测问题(change detection)。
3.过拟合和欠拟合的解决方法
    过拟合的解决方法较为常见，这里说说欠拟合：欠拟合出现原因1.模型复杂度过低；2.特征量过少；3. 降低正则化约束。欠拟合的情况常见解决方法有
    3.1增加新特征，可以考虑加入进特征组合、高次特征，来增大假设空间
    3.2添加多项式特征，这个在机器学习算法里面用的很普遍，例如将线性模型通过添加二次项或者三次项使模型泛化能力更强
    3.3减少正则化参数，正则化的目的是用来防止过拟合的，但是模型出现了欠拟合，则需要减少正则化参数
    3.4使用非线性模型，比如核SVM 、决策树、深度学习等模型
    3.5调整模型的容量(capacity)，通俗地，模型的容量是指其拟合各种函数的能力
    3.6容量低的模型可能很难拟合训练集；使用集成学习方法，如Bagging ,将多个弱学习器Bagging
4.描述一下机器学习中的生成式和判别式机器学习之判别式模型和生成式模型 - nolonely - 博客园
                                                                机器学习--判别式模型与生成式模型 - 博临天下 - 博客园
    4.1判别式模型是对条件概率建模，即P(y|x,θ)
    常见的判别式模型有线性回归、支持向量机SVM、神经网络、集成学习如boosting、条件随机场等
    举例：例如logistic回归就利用hθ(x) = g(θTx)对p(y|x;θ)建模（其中g(z)是sigmoid函数）。假设现在有一个分类问题，要根据一些动物的特征来区分大象(y = 1)和狗(y = 0)。给定这样的一种数据集，回归模型比如logistic回归会试图找到一条直线也就是决策边界，来区分大象与狗这两类，然后对于新来的样本，回归模型会根据这个新样本的特征计算这个样本会落在决策边界的哪一边，从而得到相应的分类结果。
    判别式模型关心给定的输入x，会给出什么样的预测结果y，更关心这个预测值
    4.2生成式模型则会对x和y的联合分布p(x, y)建模，然后通过贝叶斯公式来求得p(yi|x)最大的yi，即

常见的生成式模型有隐马尔可夫模型HMM、朴素贝叶斯模型、高斯混合模型GMM、LDA、高斯、混合多项式、马尔可夫的随机场
举例：首先，根据训练集中的大象样本，我们可以建立大象模型，根据训练集中的狗样本，我们可以建立狗模型。然后，对于新来的动物样本，我们可以让它与大象模型匹配看概率有多少，与狗模型匹配看概率有多少，哪一个概率大就是那个分类。
生成式模型更关注输入X和输出Y之间的关系（如朴素贝叶斯，结果是连乘得到的）

code部分

1.一个数组去除所有的重复元素（45:41）自定义数据结构
2.为什么要写一个class类
    养成习惯，大量文件之间互相调用方便
3.平时都用python吗C++怎么样
    不熟练
4.为什么要写一个set和list的数据结构
    set的大范围查找要快些，小范围查找无所谓使用哪种，list可以包含重复数据，set会去重
5.list查找复杂度
    Python 中list ,set,dict的大规模查找效率_Icoding_F2014的博客-CSDN博客为参考链接，单次查询中：看来list 就是O(n)的；而set做了去重，本质应该一颗红黑树（猜测，STL就是红黑树），复杂度O(logn)；dict类似对key进行了hash,然后再对hash生成一个红黑树进行查找，其查找复杂其实是O(logn),并不是所谓的O(1)。O(1)只是理想的实现，实际上很多hash的实现是进行了离散化的。dict比set多了一步hash的过程，so 它比set慢，不过差别不大。so,如果是要频繁的查找，请使用set吧！
6.list在储存上是连续的吗
    不是连续的
7.set是怎么实现的
    list的数据结构是动态数组，元组是固定长度的数组，dict和set的数据结构都是哈希表

实习的时间规划是怎么安排的

678三个月

反问

传统视觉的重要性（01:01:59）
实习的具体的工作内容是什么

总结弱点

机器人重定位的解释竟然被问住了，这个着实不应该，上面给出了一种回答
单纯视觉方向和传统视觉SLAM方向的相关问题被问住了
代码部分果然还是弱项啊，关于数据结构什么的不清楚
机器学习经典公式的推导必须熟练

总结一面后补充知识点

机器学习方面

1.树模型
1.1 基本树模型之前写过，在这里：CSDN
1.2 树模型中的C4.5具有一定的处理数据类别不平衡问题的能力
1.3 XGBoost，lightBoost，GBTA等树模型扩充

2.线性回归
先写一写树模型和线性回归模型主要是因为这两个模型的可解释性较强，对于大厂来说“可解释性”更加重要

视觉方面

1.我看字节跳动这份岗位的JD描述中包含了一些位姿估计、三维重建等部分的需要，加上一面时对SLAM相关部分的众多提问，我预估这部分对这份岗位应该是很需要的，那么我想起来我的工作中有篇论文是对点云的后处理，现将这部分整理一下，以备二面