Scikit-learn中的Lasso/LassoCV以及R^2可决系数的分析与讨论

在项目中使用了Scikit-learn的Lasso以及LassoCV的包，关于LassoCV我在上一篇文章https://blog.csdn.net/sinat_37931324/article/details/97707814中做过简介。在文章https://blog.csdn.net/xiaozhu_1024/article/details/80585151的启发以及组里前辈的建议下，我逐渐认识到R^2最好是来自未接触过训练的测试集，这一点在上一个链接中的实例得到了很好的体现。不过，链接中采用了20次交叉验证，但是我听前辈说这有点过多了，10次可能差不多。

但是，我在跑我的数据时遇到一个问题，即在默认的1000次循环内收敛，从而找不到最优的alpha。我们固然可以成倍提升循环次数的上限，但是这样所带来时间消耗也是相当大的。

另一方面，直接对alpha赋以如0.01之类的特定值，能对特定target产生比较好的R^2，但是也应清楚认识到，对于每一个模型来说，其数据特性所导致的对应最优的Lasso的alpha是不一样的，粗暴地对所有模型都赋以同样的alpha值可能只能找到部分表现比较好的，有的表现不好只是因为alpha值不到位。另一方面，Lasso本身是一种导致稀疏系数结果的工具，所以我们需要在结果的准确性以及R^2的大小中取得一个平衡。

20190819更新：

嘿，你猜怎么着？把收敛次数上限提到10000，竟然就没有不收敛的warning了！但这些所谓用交叉验证找出的“最优”alpha都在0.0003~0.0006这样的区间，看上去不太对劲。

在这之后，将这些alpha重新用于每个Lasso模型，然后从20%的测试集中取得R^2。在做randomness check的时候可以threshold掉大部分比较低的R^2的Cell Line （比如只取前20%），再去算他们是否random。

Scikit-learn中的Lasso/LassoCV以及R^2可决系数的分析与讨论相关推荐

机器学习与Scikit Learn学习库
摘要: 本文介绍机器学习相关的学习库Scikit Learn,包含其安装及具体识别手写体数字案例,适合机器学习初学者入门Scikit Learn. 在我科研的时候,机器学习(ML)是计算机科学领域中最 ...
Scikit Learn: 在python中机器学习
Warning 警告:有些没能理解的句子,我以自己的理解意译. 翻译自:Scikit Learn:Machine Learning in Python 作者: Fabian Pedregosa, Ga ...
[转载]Scikit Learn: 在python中机器学习
原址:http://my.oschina.net/u/175377/blog/84420 目录[-] Scikit Learn: 在python中机器学习载入示例数据一个改变数据集大小的示例:数码 ...
python笔迹识别_python_基于Scikit learn库中KNN,SVM算法的笔迹识别
之前我们用自己写KNN算法[网址]识别了MNIST手写识别数据 [数据下载地址] 这里介绍,如何运用Scikit learn库中的KNN,SVM算法进行笔迹识别. 数据说明: 数据共有785列,第一列 ...
scikit - learn 做文本分类
文章来源: https://my.oschina.net/u/175377/blog/84420 Scikit Learn: 在python中机器学习 Warning 警告:有些没能理解的句子,我以自 ...
【scikit-learn】如何用Python和SciKit Learn 0.18实现神经网络
本教程的代码和数据来自于 Springboard 的博客教程.本文的作者为 Jose Portilla,他是网络教育平台 Udemy 一门数据科学类课程的讲师. GitHub 链接:https://g ...
python scikit learn 关闭开源_scikit learn 里没有神经网络？
本教程的代码和数据来自于 Springboard 的博客教程,希望能为你提供帮助.作者为 Jose Portilla,他是网络教育平台 Udemy 一门数据科学类课程的讲师. GitHub 链接:ht ...
android layout(l, t, r, b);,服务器里的a,t,l,r,b是什么意思? Android编程中关于layout(l,t,r,b)函数的问题...
导航:网站首页 > 服务器里的a,t,l,r,b是什么意思? Android编程中关于layout(l,t,r,b)函数的问题服务器里的a,t,l,r,b是什么意思? Android编程中关于 ...
git 中 A C D M R T U X 分别解释
git 中 A C D M R T U X 分别解释 A: 你本地新增的文件(服务器上没有). C: 文件的一个新拷贝.D: 你本地删除的文件(服务器上还在).M: 文件的内容或者mode被修改了 ...
如何在 R 中计算调整后的 R 平方
如果有什么问题和项目作业关于R语言,可以微信call我:RunsenLiu R 平方,通常写成 R 2,是响应变量中的方差比例,它可以由线性回归模型中的预测变量来解释. R-squared 的值可以在 ...

Scikit-learn中的Lasso/LassoCV以及R^2可决系数的分析与讨论

Scikit-learn中的Lasso/LassoCV以及R^2可决系数的分析与讨论相关推荐

最新文章

热门文章