大神干货：算法高手郭大顶级经验分享助你轻松通过初赛！

本期干货我们为大家带来了大名鼎鼎的算法高手郭达雅“郭大”新鲜出炉的经验分享，他的队伍曾是唯一进入决赛的本科生队伍！接下来，郭大将带你深入了解如何处理大数据，让你即使在低配的环境中也能稳中求胜！

大家好，我是郭达雅，人称郭大，目前是中山大学-微软联合培养的博士生。前两届都参加了腾讯广告算法大赛，并且是唯一进入决赛的本科生队伍。如果你第一次参加这样的比赛，那我很高兴的告诉你，你可以从这个比赛学到很多东西，你可以学会如何处理数据，如何进行特征工程，如何在大数据的情况让自己的模型高效的跑起来。同时你也可以见识到许多大佬高深的技(yan)术(ji)。往届的腾讯广告算法大赛质量都很高，问题都很前沿，数据也是真实的，你可以从这个比赛中体会到真实的场景和前沿的问题，并且设计自己的模型。

在2017年的比赛中，复赛的数据量是百万级别的。而在2018年的比赛中，复赛的数据量是千万级的。对于计算资源比较少的选手来说，要一次性把所有数据读进来训练不太现实，但不全部一起训练又会使性能降低。因此，接下来主要跟大家谈谈如何处理大数据，能够在低配置的环境中也能够取得很好的成绩。主要考虑的是时间，空间和性能三个方面。

模型选择

首先我们要考虑使用什么类型的模型。目前比赛使用的模型主要还是GBDT和神经网络两种类型。对于GBDT来说，需要一次性把所有的训练数据读进内存进行训练 (当然还有增量模式，没怎么试过)。而对于神经网络来说，由于是流式训练的，所以不需要一次性读进来，可以训练完一个batch就扔掉，因此可以在几G内存的情况下就完成所有数据的训练，当然也需要有GPU。

从时间上和空间上来说，神经网络是占优势的。但从性能来看的话，GBDT这种集成类的模型是很稳定的，而且效果也很好，对于新手来说，是非常友善的且容易上手的。而对于神经网络而言，性能的好坏还是取决于实现的方式，不同的人不同的实现，效果差异也会非常大，当然也可以使用一些开源的工具，比如浅梦的deepctr和我最近开源的ctrnet。当然，如果要取得好成绩的话，两种类型的模型都是需要的，他们融合起来将是一个杀手锏。

数据划分

1）如果使用GBDT类型的模型 (如xgboost，lightgbm，catboost)，那么得考虑下机器能读入多大的数据。假设只能读入50%的数据，那么可以将数据分成三份，在这三份数据分别训练三个模型，然后进行融合。(比如stacking，bagging，blending)

2）如果使用神经网络类型的模型（如NFFM，XdeepFM，DIN），可以将数据分成几十份，用pickle文件存储，可以先把一份数据读进来训练，训练完后删掉，再读另外一份数据，这样的话既能使用所有的数据进行训练，也不怎么消耗内存。如果有多张GPU，还能并行跑多个程序。

因此根据自己的资源和选择的模型类型，考虑下如何划分数据进行训练。如果能使用全部数据的话，可以忽略这内容的。PS：去年复赛如果利用GBDT训练全部数据的话，是需要256G内存的服务器的。

对神经网络的看法

这里我给出一些比较直观的数据。

在2018年的腾讯广告算法大赛，我使用的模型只有神经网络，最后取得了第七名。其实LGB的效果是很好的，前两名的队伍都使用了LGB进行融合，但主要还是忍受不了训练的时间和大量计算资源的消耗。

在最近的一次ICME的比赛中，也是广告类的比赛，和去年的腾讯广告算法大赛差不多，有两个赛道，一个是千万级别的数据，一个是亿万级别的数据。在千万级别的赛道中，只使用了神经网络取得了第六的成绩，并且训练时间只需要1个小时（GPU是1080，如果是P100的话，估计半个小时就行了）。相比之下，LGB训练时间是需要18个小时。在性能上，如果使用同样的特征，LGB确实要比神经网络好，但LGB的容纳的特征维度是有限的。而神经网络的优势主要在于可以无限的堆特征（只要硬盘足够大），因为流式训练不需要花费太多的内存。因此可以往神经网络堆积特征，在不需要担心内存和速度的情况下，成绩会比LGB好。在ICME的比赛中，最后GBDT的模型我只能容纳200多维的特征，而神经网络最后是使用了3000多维的特征，效果是比GBDT好很多的，训练速度也是快十几倍。

但其实如果真的需要取得TOP名次的话，两种模型都要使用的。因此，这里的组队就非常重要了，找一个善于使用神经网络和一个善于使用GBDT的队友，组合起来将会有非常大的帮助。我认为组队的参考标准是，同样的水平，不同的建模方式。

总结

在这种数据挖掘的比赛中，如果要取得好成绩，归根结底还是进行特征工程。最好能够从实际场景业务出发，去了解业务，挖掘相应的特征。尽量地大开脑洞，大胆的去尝试，如果你能想到一些别人想不到的强特征，你将会取得一个很好的成绩。最后，祝大家在本次大赛中能够取得一个不错的成绩。