一、线性回归面试题总结
1.什么是线性回归?
是一种预测模型,利用各个特征的数值去预测目标值。线性回归的主要思想是给每一个特征分配一个权值,最终的预测结果是每个特征值与权值的乘积之和再加上偏置。所以训练的目标是找到各个特征的最佳权值和偏置,使得误差最小。
2.线性回归要预测的函数是什么形式?
特征的线性组合,即每个特征值与权值的乘积之和再加上偏置。
3.线性回归的损失函数是什么?
一般使用最小二乘法,损失函数是各个样本真实值与预测值之差的平方和,需要找到合适的参数,也就是权重和偏置,使得这个误差平方和最小。
其中共有mmm个样本点,乘以1/2是为了方便计算
4.线性回归的求解方法
- 公式法。损失函数对w和b分别进行求导,令导数为0,然后求解w和b。
矩阵X需要是满秩矩阵,非满秩矩阵在求逆时会出现问题。
样本数量要大于特征数量,即方程数大于未知数。 - 优化方法。初始化w和b,然后使用优化方法不断进行优化求解。通常使用梯度下降法
5.线性回归不好的原因
- 普通线性回归容易过拟合,使用LASSO或者RIDGE回归试试。
- 数据不符合线性回归的假设
- 可能需要进一步进行特征工程
6.岭回归(L2正则化)
损失函数变为:
在原来的损失函数基础上加入w参数的平方和乘以λ\lambdaλ(加入w的L2范数) 。相当于增加了一个约束项,在这个约束之下求损失函数的最小值。
7.Lasso回归(L1正则化)
损失函数:
在损失函数中加入w的L1范数,w容易落到坐标轴上,即Lasso回归容易得到稀疏矩阵
8.Ridge回归和Lasso回归的使用目的和使用场景
- 解决普通线性回归过拟合的问题;
- 解决方程求解法中非满秩矩阵无法求解的问题;
- 约束参数
9.Ridge回归和Lasso回归谁更好
Lasso回归(L1)同时做变量选择和参数收缩,而ridge回归只做参数收缩
Lasso回归以使得一些特征的系数变小,甚至还使一些绝对值较小的系数直接变为0,从而增强模型的泛化能力,对少量变量有中等或大尺度的影响的时候用lasso回归。
在对多个变量只有小或中等尺度影响的时候,使用Ridge回归。
10.什么是ElasticNet回归
ElasticNet综合了L1正则化项和L2正则化项,以下是它的公式:
ElasticNet在我们发现用Lasso回归太过(太多特征被稀疏为0),而岭回归也正则化的不够(回归系数衰减太慢)的时候,可以考虑使用ElasticNet回归来综合,得到比较好的结果。
10.线性回归要求数据服从正态分布?
我们假设线性回归的噪声服从均值为0的正态分布。 当噪声符合正态分布N(0,delta^2)时,因变量则符合正态分布N(ax(i)+b,delta2),其中预测函数y=ax(i)+b。这个结论可以由正态分布的概率密度函数得到。也就是说当噪声符合正态分布时,其因变量必然也符合正态分布。
在用线性回归模型拟合数据之前,首先要求数据应符合或近似符合正态分布,否则得到的拟合函数不正确。
11.简要介绍一下线性回归处理步骤,怎么确定因变量与自变量间线性关系,什么情况下可停止迭代,怎么避免过拟合情况?
一般来说缺失值处理、类别变量数值化,异常值处理,连续特征离散化(数据分桶),归一化等等,当两次迭代所带来的增益小于事先给定的阈值时,或者达到事先设定的最大迭代次数,则停止迭代过程,过拟合没法避免只能说是尽量降低过拟合的影响,通过l1、l2正则化、减少特征的数量、增大样本的数量等等。
一、线性回归面试题总结相关推荐
- 数据结构 线性表试题
数据结构 线性表试题 1. 数组A[1-5,1-6]每个元素占5个单元,将其按行优先次序存储在起始地址为1000的连续的内存单元中,则元素A[5,5]的地址为: A.1120 B.1125 C.114 ...
- 根据标签分布来选择损失函数
来自 | 知乎 作者丨马东什么 来源丨https://zhuanlan.zhihu.com/p/304462034 编辑丨极市平台 本文仅作学术交流,如有侵权,请联系后台删除. 本文约2000字, ...
- 蓝桥杯国赛 C/C++ ABC组题解(第四届 ~ 第十二届)
2020年第十一届蓝桥杯国赛 题号 类型 C++ A组 C++ B组 C++ C组 试题A 结果填空 合数个数 美丽的 2 美丽的 2 试题B 结果填空 含 2 天数 (日期处理) 扩散 (BFS) ...
- c++软开需要的知识
找到C++开发岗一步一个脚印 1 C语言 1.1 C语言基础语法 1.2 分支与循环 1.3 操作符详解 1.4 函数使用 1.5 数组基础 1.6 指针基础 1.7 结构体 1.8 C调试 1.9 ...
- 线性表11|单链表小结:腾讯面试题 - 数据结构和算法16
线性表11|单链表小结:腾讯面试题 让编程改变世界 Change the world by program 静态链表的删除操作 我们的故事还没结束,小C看到小A和2B这样非法的勾当,内心觉得很不爽,一 ...
- 面试题 (斐波那契数列,复杂度为线性)
来自网易的一道看似简单的笔试题 题目:要求以线性时间复杂度实现斐波那契数列. 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, ...... 众所周知的斐波那契实现方式为递归 ...
- 程序员面试金典 - 面试题 05.04. 下一个数(线性扫描)
文章目录 1. 题目 2. 解题 2.1 STL 2.2 线性扫描 2.3 位运算 1. 题目 下一个数.给定一个正整数,找出与其二进制表达式中1的个数相同且大小最接近的那两个数(一个略大,一个略小) ...
- 线性判别用于提取词向量_历年试题公开 | 2017级线性代数(I)期末试题
为了帮助同学们更好地学习,理学院微信公众号收集了部分大学数学.大学物理公共课程试题及参考解答择期进行发布(试题和解答不同期发布),建议同学们自己动手做做帮助巩固所学知识,之后可参见后期给出的参考解答! ...
- 摄像头线性矫正的c语言实现,摄影测量考试试题及详细答案
1摄影测量学 2航向重叠 3单像空间后方交会 4相对行高 5像片纠正 6解析空中三角测量 7透视平面旋转定律 8外方位元素 9核面 10绝对定向元素 一.填空 1摄影测量的基本问题,就是将______ ...
最新文章
- Ubuntu下安装OpenGL/Glut库
- python 数组 indexof_Javascript Array.lastIndexOf()方法
- Scrapy爬取美女图片续集 (原创)
- POJ 1989 The Cow Lineup【最短非子序列】
- 软件测试工程师-Linux介绍、命令
- 学习Android之SharedPreferences使用
- 记录——《C Primer Plus (第五版)》第八章编程练习第六题
- python自动化输入文本_快速掌握Python Selenium Web自动化:)四、使用Selenium在网页上进行操作...
- 为【桌面右键菜单 - 新建文档】添加快捷键
- 利用向量求点到线的最短距离
- 小知识:Windows XP优化全攻略(网吧型)
- 此Apple ID尚未在iTunes Store Apple Id登录苹果商店(App Store)身份验证提示需要官网技术支持
- 2019/5/第二周
- 【Unity3D日常开发】时间类Time和DateTime的使用
- 详解冬奥冠军背后的AI黑科技
- Android自定义view--SurfaceView实现墨迹天气的风车效果
- thinkpad 10 linux驱动,Ubuntu 10.04安装Thinkpad指纹软件
- OpenFace windows使用
- 一个开源的网Y云音乐api项目,足够你玩了。
- Appuploader
热门文章
- av_buffersrc_add_frame分析
- 程序员去国企面试,跟领导谈完技术感叹:给再多的工资也不考虑
- tinymce富文本框照片上传
- win8计算机的录音功能,win8电脑录音机功能在哪|win8录音功能使用方法
- Windows——matplotlib添加中文字体
- 玩具车c语言控制程序,蓝宙电子:八岁的小朋友可以这样编程控制小汽车
- 2021-10-27 链表,双指针
- android动画 行星,AndroidAnimation
- 数据库应用----Mongodb 4.0 版本 基础操作---复制集,选举方法、部署认证 (二)
- php怎么给文章加页码,PPT如何插入页码