机器学习常见面试题整理
By Kubi Code
- 1. 有监督学习和无监督学习的区别
- 2. 正则化
- 3. 过拟合
- 3.1. 产生的原因
- 3.2. 解决方法
- 4. 泛化能力
- 5. 生成模型和判别模型
- 6. 线性分类器与非线性分类器的区别以及优劣
- 6.1. 特征比数据量还大时,选择什么样的分类器?
- 6.2. 对于维度很高的特征,你是选择线性还是非线性分类器?
- 6.3. 对于维度极低的特征,你是选择线性还是非线性分类器?
- 7. ill-condition病态问题
- 8. L1和L2正则的区别,如何选择L1和L2正则
- 9. 特征向量的归一化方法
- 10. 特征向量的异常值处理
- 11. 越小的参数说明模型越简单
- 12. svm中rbf核函数与高斯和函数的比较
- 13. KMeans初始类簇中心点的选取
- 13.1. 选择批次距离尽可能远的K个点
- 13.2. 选用层次聚类或者Canopy算法进行初始聚类
- 14. ROC、AUC
- 14.1. ROC曲线
- 14.2. AUC
- 14.3. 为什么要使用ROC和AUC
- 15. 测试集和训练集的区别
- 16. 优化Kmeans
- 17. 数据挖掘和机器学习的区别
- 18. 备注
有监督学习和无监督学习的区别
- 有监督学习:对具有标记的训练样本进行学习,以尽可能对训练样本集外的数据进行分类预测。(LR,SVM,BP,RF,GBRT)
- 无监督学习:对未标记的样本进行训练学习,比发现这些样本中的结构知识。(KMeans,DL)
正则化
正则化是针对过拟合而提出的,以为在求解模型最优的是一般优化最小的经验风险,现在在该经验风险上加入模型复杂度这一项(正则化项是模型参数向量的范数),并使用一个rate比率来权衡模型复杂度与以往经验风险的权重,如果模型复杂度越高,结构化的经验风险会越大,现在的目标就变为了结构经验风险的最优化,可以防止模型训练过度复杂,有效的降低过拟合的风险。
奥卡姆剃刀原理,能够很好的解释已知数据并且十分简单才是最好的模型。
过拟合
如果一味的去提高训练数据的预测能力,所选模型的复杂度往往会很高,这种现象称为过拟合。所表现的就是模型训练时候的误差很小,但在测试的时候误差很大。
产生的原因
- 因为参数太多,会导致我们的模型复杂度上升,容易过拟合
- 权值学习迭代次数足够多(Overtraining),拟合了训练数据中的噪声和训练样例中没有代表性的特征.
解决方法
- 交叉验证法
- 减少特征
- 正则化
- 权值衰减
- 验证数据
泛化能力
泛化能力是指模型对未知数据的预测能力
生成模型和判别模型
- 生成模型:由数据学习联合概率分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型,即生成模型:P(Y|X)= P(X,Y)/ P(X)。(朴素贝叶斯)
生成模型可以还原联合概率分布p(X,Y),并且有较快的学习收敛速度,还可以用于隐变量的学习 - 判别模型:由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型,即判别模型。(k近邻、决策树)
直接面对预测,往往准确率较高,直接对数据在各种程度上的抽象,所以可以简化模型
线性分类器与非线性分类器的区别以及优劣
如果模型是参数的线性函数,并且存在线性分类面,那么就是线性分类器,否则不是。
常见的线性分类器有:LR,贝叶斯分类,单层感知机、线性回归
常见的非线性分类器:决策树、RF、GBDT、多层感知机
SVM两种都有(看线性核还是高斯核)
- 线性分类器速度快、编程方便,但是可能拟合效果不会很好
- 非线性分类器编程复杂,但是效果拟合能力强
特征比数据量还大时,选择什么样的分类器?
线性分类器,因为维度高的时候,数据一般在维度空间里面会比较稀疏,很有可能线性可分
对于维度很高的特征,你是选择线性还是非线性分类器?
理由同上
对于维度极低的特征,你是选择线性还是非线性分类器?
非线性分类器,因为低维空间可能很多特征都跑到一起了,导致线性不可分
ill-condition病态问题
训练完的模型测试样本稍作修改就会得到差别很大的结果,就是病态问题(这简直是不能用啊)
L1和L2正则的区别,如何选择L1和L2正则
他们都是可以防止过拟合,降低模型复杂度
- L1是在loss function后面加上 模型参数的1范数(也就是|xi|)
L2是在loss function后面加上 模型参数的2范数(也就是sigma(xi^2)),注意L2范数的定义是sqrt(sigma(xi^2)),在正则项上没有添加sqrt根号是为了更加容易优化
L1 会产生稀疏的特征
- L2 会产生更多地特征但是都会接近于0
L1会趋向于产生少量的特征,而其他的特征都是0,而L2会选择更多的特征,这些特征都会接近于0。L1在特征选择时候非常有用,而L2就只是一种规则化而已。
特征向量的归一化方法
- 线性函数转换,表达式如下:y=(x-MinValue)/(MaxValue-MinValue)
- 对数函数转换,表达式如下:y=log10 (x)
- 反余切函数转换 ,表达式如下:y=arctan(x)*2/PI
- 减去均值,乘以方差:y=(x-means)/ variance
特征向量的异常值处理
- 用均值或者其他统计量代替
越小的参数说明模型越简单
过拟合的,拟合会经过曲面的每个点,也就是说在较小的区间里面可能会有较大的曲率,这里的导数就是很大,线性模型里面的权值就是导数,所以越小的参数说明模型越简单。
追加:这个其实可以看VC维相关的东西感觉更加合适
svm中rbf核函数与高斯和函数的比较
高斯核函数好像是RBF核的一种
KMeans初始类簇中心点的选取
选择批次距离尽可能远的K个点
首先随机选取一个点作为初始点,然后选择距离与该点最远的那个点作为中心点,再选择距离与前两个点最远的店作为第三个中心店,以此类推,直至选取大k个
选用层次聚类或者Canopy算法进行初始聚类
ROC、AUC
ROC和AUC通常是用来评价一个二值分类器的好坏
ROC曲线
曲线坐标上:
- X轴是FPR(表示假阳率-预测结果为positive,但是实际结果为negitive,FP/(N))
- Y轴式TPR(表示真阳率-预测结果为positive,而且的确真实结果也为positive的,TP/P)
那么平面的上点(X,Y):
- (0,1)表示所有的positive的样本都预测出来了,分类效果最好
- (0,0)表示预测的结果全部为negitive
- (1,0)表示预测的错过全部分错了,分类效果最差
- (1,1)表示预测的结果全部为positive
针对落在x=y上点,表示是采用随机猜测出来的结果
ROC曲线建立
一般默认预测完成之后会有一个概率输出p,这个概率越高,表示它对positive的概率越大。
现在假设我们有一个threshold,如果p>threshold,那么该预测结果为positive,否则为negitive,按照这个思路,我们多设置几个threshold,那么我们就可以得到多组positive和negitive的结果了,也就是我们可以得到多组FPR和TPR值了
将这些(FPR,TPR)点投射到坐标上再用线连接起来就是ROC曲线了
当threshold取1和0时,分别得到的就是(0,0)和(1,1)这两个点。(threshold=1,预测的样本全部为负样本,threshold=0,预测的样本全部为正样本)
AUC
AUC(Area Under Curve)被定义为ROC曲线下的面积,显然这个面积不会大于1(一般情况下ROC会在x=y的上方,所以0.5<AUC<1).
AUC越大说明分类效果越好
为什么要使用ROC和AUC
因为当测试集中的正负样本发生变化时,ROC曲线能基本保持不变,但是precision和recall可能就会有较大的波动。
http://www.douban.com/note/284051363/?type=like
测试集和训练集的区别
训练集用于建立模型,测试集评估模型的预测等能力
优化Kmeans
使用kd树或者ball tree(这个树不懂)
将所有的观测实例构建成一颗kd树,之前每个聚类中心都是需要和每个观测点做依次距离计算,现在这些聚类中心根据kd树只需要计算附近的一个局部区域即可
数据挖掘和机器学习的区别
机器学习是数据挖掘的一个重要工具,但是数据挖掘不仅仅只有机器学习这一类方法,还有其他很多非机器学习的方法,比如图挖掘,频繁项挖掘等。感觉数据挖掘是从目的而言的,但是机器学习是从方法而言的。
备注
题目主要来源于网络,答案主要来源于网络或者《统计学习方法》,还有自己一小部分的总结,如果错误之处敬请指出
如果想要了解关于常见模型的东东可以看这篇机器学习常见算法个人总结(面试用)文章
转载于:https://www.cnblogs.com/nolonely/p/7309252.html
机器学习常见面试题整理相关推荐
- 面:常见面试题整理(操作系统)
常见面试题整理(操作系统) 常见面试题整理(操作系统) 2018年03月08日 20:47:11 逃离地球的小小呆 阅读数:20782 (一)请分别简单说一说进程和线程以及它们的区别. 进程是具有一定 ...
- 常见面试题整理--操作系统篇(每位开发者必备)
这两日整理了很多编程方面的资料:教学视频.书籍资源以及实战项目全部放在了百度网盘里,资源的目录以及获取方式都放在了文末的图上,你可以直接翻至文末查看. 有过面试经历的人都知道操作系统是面试官必问的几大 ...
- 常见面试题整理--数据库篇(每位开发者必备
常见面试题整理--数据库篇(每位开发者必备) 转载自:https://zhuanlan.zhihu.com/p/23713529 知乎专栏 继续前面有关于的Python面试的两篇内容:P ...
- Java常见面试题整理(一)
Java常见面试题整理 字符串 抽象类与接口 集合 多线程 锁 IO流 网络编程 字符串 主要包括String.StringBuffer和StringBuilder基本概念 String相关知识 St ...
- 操作系统常见面试题整理
(一)请分别简单说一说进程和线程以及它们的区别. 进程是具有一定功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源调度和分配的一个独立单位. 线程是进程的实体,是CPU调度和分派的基本单位 ...
- (操作系统) 常见面试题整理
(一)请分别简单说一说进程和线程以及它们的区别. 进程是具有一定功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源调度和分配的一个独立单位. 线程是进程的实体,是CPU调度和分派的基本单位 ...
- 常见面试题整理(操作系统)
(一)请分别简单说一说进程和线程以及它们的区别. 进程是具有一定功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源调度和分配的一个独立单位. 线程是进程的实体,是CPU调度和分派的基本单位 ...
- 机器学习——逻辑回归常见面试题整理
逻辑回归 1.介绍 逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法,运用梯队下降来求解参数,来达到将数据二分类的目的. 2.逻辑回归的损失函数和梯度下降参数迭代方法 逻辑回归的损失函数是它的 ...
- 用python编制一个的类_常见面试题整理--Python概念篇
前言 众所周知,每年的三月份和四月份都是招聘.找工作的高峰期,所以被人们成为金三银四,所以小编特地整理了一些关于Python的面试题,希望对你们有所帮助! (一).这两个参数是什么意思:*args,* ...
最新文章
- git上的分支命名规范
- LinksysWrt1900acs刷官方镜像并开启FTP
- Python有了concurrent的话mutiprocessing和threading还有存在的意义吗?
- clion安装glfw_MacOS上使用Clion配置Vulkan开发环境
- Ubuntu gbk,utf-8 转换
- 红旗桌面版本最新运用要领和结果解答100例-3
- 当你辛辛苦苦写的博客文章被无情复制,成为了他的原创,你作何感想?
- Bmob移动后端云服务平台--Android从零開始--(二)android高速入门
- python编写量化交易程序英语_Python量化交易开源框架:AmazingQuant
- Windows 2008 防火墙开放端口
- 作为项目经理如何做好项目进度管理
- word中如何将空格变成换行
- 2021-05-12 MongoDB面试题 什么情况下需要用到MongoDB的分片
- 从源码解析-Android系统启动流程概述 init进程zygote进程SystemServer进程启动流程
- JavaWeb-Servlet(上)
- 【基础知识】现在很火的app上的deeplink技术,到底是什么?
- 少儿编程会培养什么能力
- ucb计算机硕士专业,美国CS、CE、ECE硕士项目你能区分开吗?
- Maven基础(2):Maven详解
- (linux)MMC 卡驱动分析