介绍

机器学习很复杂。你可能会遇到一个令你无从下手的数据集，特别是当你处于机器学习的初期。

在这个博客中，你将学到一些基本的关于建立机器学习模型的技巧，大多数人都从中获得经验。这些技巧由Marios Michailidis（a.k.a Kazanova），Kaggle Grandmaster在2016年3月5日现在排名第3位的在线研讨会上共享的。在线研讨会有三个方面：

1.视频（需FQ观看）

2.幻灯片——视频中使用的幻灯片由Marios分享。实际上，是一个丰富的机器学习知识汇编。

3.问答——本博客列出所有参与者在研讨会所问的问题。

成功的关键是坚持不懈。

问答

1.你解决ML问题的步骤是什么？请从头描述。

以下是解决任何ML问题时我所采取的步骤：

1.了解数据——下载数据后，开始探索功能。 查看数据类型。 检查变量类。 创建一些单变量-双变量图来了解变量的性质。

2.了解度量优化——每个问题都有独特的评估指标。你必须理解它，特别是它如何随着目标变量的变化而变化。

3.确定交叉验证策略——为避免过拟合，确定你在初期阶段已经设置了交叉验证策略。一个很好的CV策略将帮助你在排行榜上获得可靠的得分。

4.启动超参数调整——一旦CV在位，尝试使用超参数调整来提高模型的精度。 它还包括以下步骤：

• 数据转换：包括缩放、移除异常值、处理空值、变换分类变量、做特征选择、创建交互等步骤。
• 选择算法并调整其超参数：尝试多种算法来了解模型性能的变化。
• 保存结果：从上面训练的所有模型中，确保保存预测。 它们对于集成将是有用的。
• 组合模型：最后，集成模型，可能在多个层次上。 确保模型相关以获得最佳效果。

2.你解决问题时所采用的模型选择和数据处理技术是什么？

一般来说，我尝试（几乎）一切的大多数问题。原则上：

• 时间序列：我使用GARCH、ARCH、回归、ARIMA模型等。
• 图像分类：我在Python中使用深度学习（卷积网）。
• 声音分类：普通神经网络
• 高基数分类（如文本数据）：我用线性模型、FTRL、Vowpal wabbit、LibFFM、libFM、SVD等。

对于其他一切，我使用渐变增压机（如XGBoost和LightGBM）和深入学习（如keras、Lasagne、caffe、Cxxnet）。 我决定使用特征选择技术来保留/删除元模型的模型。 我使用的一些特征选择技术包括：

• 向前（cv或否）——从空模型开始。 一次添加一个特征并检查CV精度。 如果改进保持变量，否则丢弃。
• 向后（cv或否）——从完整模型开始，逐个删除变量。 它通过删除任何变量来提高CV精度，丢弃它。
• 混合（或逐步）——使用以上混合技术。
• 排列
• 使用特征的重要性 ——使用随机森林、gbm、xgboost特征选择特征。
• 应用一些统计学的逻辑，如卡方检验、方差分析。

每个问题的数据操作可能不同：

• 时间序列：你可以计算移动平均数、导数。 去除异常值。
• 文本：有用的技术是tfidf、countvectorizers、word2vec、svd（维度降低）。 词干提取、拼写检查、稀疏矩阵、似然编码、一个热编码（或虚拟）、散列。
• 图像分类：你可以进行缩放、调整大小、去除噪点（平滑）、注释等
• 声音：计算Furrier变换，MFCC（Mel频率倒谱系数），低通滤波器等
• 其他一切：单变量特征变换（如数值数据的日志+1），特征选择，处理空值，去除异常值，将分类变量转换为数字。

3.你能详细说明交叉验证策略吗？

交叉验证意味着从我的主集中随机地创建了2个集。 我用第一个集建立（训练）我的算法（让我们称之为训练集），并用另一个评分（让我们称之为验证集）。 我重复此过程多次，并始终检查我的模型在测试集上对于我要优化的度量执行的方式。

过程可能如下所示：

• 10（你选择多少X）次
• 在训练中分组（原始数据的50%—90%）
• 和验证（原始数据的10%—50%）
• 然后在训练集上拟合算法
• 评分验证集。
• 保存与所选指标相关的得分结果。
• 计算这10个（x）次的平均值。
• 记住使用SEED能够复制这些X分裂

其他需要考虑的事情是KFold和KFold分层。 在这里阅读。对于时间敏感的数据，确保你在测试时总是有过去预测未来的规则。

4.你能解释一些用于交叉验证的技术吗？

• Kfold
• Kfold分层
• 随机X％分割
• 时间分割
• 对于大数据，仅一个验证集就足够了（如20％的数据——你不需要多次执行）。

5.你如何提高机器学习的技能？ 你使用什么训练策略？

我在2做了资料的汇总。加上很多自己的研究。同时，编程和软件（java）和很多kaggling。

6.哪些是数据科学家最有用的python库？

以下是一些我发现最有用的解决问题的库：

• 数据操作
  • Numpy
  • Scipy
  • Pandas
• 数据可视化
  • Matplotlib
• 机器学习/深度学习
  • Xgboost
  • Keras
  • Nolearn
  • Gensim
  • Scikit image
• 自然语言处理
  • NLTK

7.当所有的变量本质上是明确的时，什么是有用的ML技术/策略来估算缺失值或预测分类标签。

估算缺失值是关键的一步。 有时你可能会发现缺失值的趋势。 以下是我使用的一些技巧：

• 使用均值、模式、中位数进行插补
• 在变量的正常值的范围之外使用值。如- 1，或- 9999等。
• 用一种可能性替换——例如与目标变量有关的事物。
• 用有意义的东西代替。例如：有时空可能意味着零
  • 尝试基于已知值子集来预测缺失值
  • 可以考虑删除具有许多空值的行

8.你可以详细说明你所做的硬件投资是什么，即你自己的PC / GPU设置用于深度学习相关任务？ 还是使用更多的基于云的GPU服务？

到目前为止，我大多数使用自制解决方案（Java）。我的第一场比赛必须汇总三千万行的交易数据，所以我不得不解析数据，而且需要将内存使用率降至最低。

不过，从那时起，我做了一些很好的投资，成为排名第一。 现在，我可以访问linux服务器的32个内核和256 GBM内存。 我也有一个geforce 670机器（用于深度学习/ gpu任务）。 此外，我现在主要使用Python。 但是，如果你真的有兴趣获得最高的收益，你也可以考虑使用亚马逊的AWS，因为如果你使用它很多，成本可能会很高。

9.你是否使用像GPU这样的高性能机器。或者，例如你做关于随机森林参数的网格搜索，这需要大量的时间，所以你使用哪台机器？

对于每个深入学习的训练模式，我都使用GPU。 我必须指出，对于深度学习，GPU是必须的。 在CPU上训练神经网络需要很长时间，而普通的GPU可以使一个简单的神经网络（例如深度学习）快50-70倍。 我不喜欢网格搜索。 我这样做相当于手动。 我认为在一开始它可能会很慢，但过了一会儿，你可以获得相当好的解决方案与第一组参数！ 那是因为你可以学习哪些参数最适合每一个问题，并且你可以更好地了解这些算法。

10.人们如何通过改变超参数调整建立大约80个模型？

这需要时间。我有一些过去工作的参数，我用这些值初始化，然后根据现在的问题开始调整它们。 显然，你需要强力探索更多的领域，并丰富这个库关于每个模型过去成功的超参数组合。 你应该考虑别人在做什么。不会只有一组最优的超参数。你可能会在完全不同的一组参数中得到一个和你所拥有的相比类似的分值。

11.如何提高Kaggle排名？

这不是一个一夜之间的事情。你只需要继续学习。 以下是我的一些建议：

• 学习更好的编程：如果你知道R那么学习python.
• 继续学习的工具（如下所列）
• 读一些书
• 参加“知识”比赛
• 看看其他人在内核中做什么或在过去的比赛中寻找“获胜解决方案”
• 与更多的有经验的人合作，但你需要在此之前稍微提高排名
• 创建一个代码库
• 多多参与！

12.你能告诉我们有关机器学习中使用的一些有用的工具吗？