Foursquare: 如何构建我们的模型训练引擎（Model Training Engine）

英文原文地址：How we built our Model Training Engine

翻译：大魁，时间短暂，翻译的比较粗糙

在Foursquare，我们面临大规模的机器学习任务。例如，要从低质量的GPS信号中确认用户签到的场所；个性化推荐；根据用户或者他们的好友去过的地方来推送打折和促销信息。几乎app的每一个功能都或多或少用到了机器学习。所有这些服务都具有海量的规模：每天一百万发现请求、和六百万次签到。我们必须以比眨一次眼更少的时间来处理每次请求，并且几百万的用户交互也给我们的模型提供了几百万的训练数据。我们必须构建一个模型训练引擎（MTE）来自动化我们的训练过程。

让模型适应数据，而不是让数据适应模型

许多模型是基于线性回归或者类型的方法构建的，虽然这些模型能帮助我们快速使用和理解数据，但便捷性仍不足以抵消模型本身不合理的假设，和有限的学习能力。我们的MTE选择了Boosted Decision Trees 和 Random Forests模型，因为模型更加强大，可以更好的适应数据。并且用scikit-learn和MapReduce实现了2个版本。

确保模型是最新的

由于每天有六百万新的签到数据，模型很快就过时了。MTE自动地利用新数据对模型重新训练。新的数据和旧数据中的变化，都立即被合并到新的模型中。我们会对模型的效果进行监控，一旦新模型胜过旧模型，旧模型就会被替换。

使模型训练适应数据规模和整个系统

由于是一个多模块相互关联的系统，别的模块的一个看似无关的改动，可能会引起模型的需求变化。怎样才能构建一个适应数十亿次签到的系统，并且各个模块之间可以良好的协作?

我们用了online learning算法和巧妙地抽样方法来解决内存中装不下所有数据的问题。我们用了bagging和交叉验证的技术，将不同的样本合并到一个预测器，最大化有效样本的同时，避免过拟合。这意味着添加一个样本，或者搞错一个样本，并不会使弄坏整个模型。例如，如果某个工程师不小心添加了很多随机的噪声样本进来，MTE可以快速的检测出来，这些样本无法进行预测，然后会将这些样本丢弃。这允许我们接纳来自公司同事的任何新的idea和样本集，而不仅限于数据科学家。

除此之外，MET能够适应前端和产品的快速迭代，而不需要人工调整。例如，如果我们的移动开发团队改变了UI，使用户好友过去的签到记录更加重要，MTE可以自动检测出来用户更倾向于社交记录，因此对模型自动地进行调整。我们自动的MTE意味着工程师可以专心构建样本集，放心地将选取最优样本交给模型训练过程。

所有的这些进步都是为了更好地用户体验。

Foursquare: 如何构建我们的模型训练引擎（Model Training Engine）相关推荐

阿里巴巴稀疏模型训练引擎-DeepRec
导读:DeepRec从2016年起深耕至今,支持了淘宝搜索.推荐.广告等核心业务,沉淀了大量优化的算子.图优化.Runtime优化.编译优化以及高性能分布式训练框架,在稀疏模型的训练方面有着优异性能的 ...
R语言caret包构建机器学习回归模型（regression model）、使用DALEX包进行模型解释分析、特征重要度、偏依赖分析等
R语言caret包构建机器学习回归模型(regression model).使用DALEX包进行模型解释分析.特征重要度.偏依赖分析等目录
阿里巴巴开源大规模稀疏模型训练/预测引擎DeepRec
简介:经历6年时间,在各团队的努力下,阿里巴巴集团大规模稀疏模型训练/预测引擎DeepRec正式对外开源,助力开发者提升稀疏模型训练性能和效果. 作者 | 烟秋来源 | 阿里技术公众号经历6年时间 ...
TensorFlow 2.0 —— 模型训练
目录 1.Keras版本模型训练 1.1 构造模型(顺序模型.函数式模型.子类模型) 1.2 模型训练:model.fit() 1.3 模型验证:model.evaluate() 1.4 模型预测:m ...
TensorFlow2.0(五)--Keras构建Wide Deep模型
Keras构建Wide & Deep模型 1. Wide & Deep模型简介 2. Keras实现Wide & Deep模型 2.1 导入相应的库 2.2 数据集加载与处理 ...
TensorFlow2.0学习笔记-3.模型训练
3.模型训练 3.1.Keras版本模型训练 • 构建模型(顺序模型.函数式模型.子类模型) • 模型训练: model.fit() • 模型验证: model.evaluate() • 模型预测: ...
Yolov5身份证检测——模型训练
前言系统环境是win10,显卡RTX3080;cuda10.2,cudnn7.1;OpenCV4.5;yolov5用的是5s的模型,2020年8月13日的发布v3.0这个版本; ncnn版本是202 ...
R语言使用caret包构建岭回归模型（Ridge Regression ）构建回归模型、通过method参数指定算法名称、通过trainControl函数控制训练过程
R语言使用caret包构建岭回归模型(Ridge Regression )构建回归模型.通过method参数指定算法名称.通过trainControl函数控制训练过程目录
R语言vtreat包的mkCrossFrameCExperiment函数交叉验证构建数据处理计划并进行模型训练、通过显著性进行变量筛选（删除相关性较强的变量）、构建多变量模型、转化为分类模型、模型评估
R语言vtreat包的mkCrossFrameCExperiment函数交叉验证构建数据处理计划并进行模型训练.通过显著性进行变量筛选(删除相关性较强的变量).构建多变量模型.转化为分类模型.模型评估 ...

Foursquare: 如何构建我们的模型训练引擎（Model Training Engine）

Foursquare: 如何构建我们的模型训练引擎（Model Training Engine）相关推荐

最新文章

热门文章