腾讯分布式机器学习系统sabaton和AnyEmbedding介绍

文章转自腾讯社交广告技术团队火光摇曳

2016年下半年我们开发了一个分布式机器学习系统sabaton, 并将它运用到转化率预估和LookAlike业务上去, 取得了不错的效果.
详情链接

继2016年下半年我们开发了分布式机器学习系统Sabaton并且成功应用于腾讯广告业务之后，2017年上半年我们又开发(推出)了分布式Embedding训练系统AnyEmbedding。

基于腾讯多源异构数据现状，比如广告业务中有User，App，Query等数据，如何设计算法学习这些数据的embedding表示？同时腾讯用户（qq，weixin）规模在10亿左右，如何设计高效的分布式训练系统？在我们分享的ppt中将一一呈现。
详情链接

PS:目前介绍分布式机器学习系统的工程实现文章并不多，比如分布式机器学习系统的架构怎么做，算法实现的正确性如何验证，如何利用向量化计算加速训练，模型上线（inference）时，需要注意些什么问题等？我们在实现这两个分布式机器学习系统积累了些工程经验，未来kimmyzhang和yuanhangzou将输出分布式机器学习系统工程实践的系列文章，每个文章一个主题，敬请期待。

腾讯分布式机器学习系统sabaton和AnyEmbedding介绍相关推荐

分布式机器学习系统笔记（一）——模型并行，数据并行，参数平均，ASGD
欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld. 技术交流QQ群:433250724,欢迎对算法.技术.应用感兴趣的同学加入. 文章索引::"机器学 ...
分布式机器学习的集群方案介绍之HPC实现
机器学习的基本概念机器学习方法是计算机利用已有的数据(经验),得出了某种模型(迟到的规律),并利用此模型预测未来(是否迟到)的一种方法.目前机器学习广泛应用于广告投放.趋势预测.图像识别.语音识别. ...
CAT分布式监控系统：CAT功能介绍，CAT监控系统是什么，能做什么？
CAT分布式监控系统(一):CAT监控系统功能介绍本文概要: 1.CAT监控系统是什么. 2.CAT监控系统能做什么,能监控些什么 ...
分布式机器学习的故事
王益博士,称得上机器学习领域的资深从业者,本人之前有幸拜读过王益博士的一些paper和slides,对其从事的"分布式机器学习"方向尤感兴趣. 王益博士之前写过一篇<分布式机 ...
人机共生时代，分布式机器学习是如何加速的？
导语 | 机器学习技术在现代社会中发挥着越来越重要的作用,深刻地影响着各行各业.同时,也面对着海量数据和复杂问题的挑战.今天我们主要讨论分布式机器学习技术是如何处理海量数据,利用海量算力加速训练,使得 ...
大数据的新机遇：我的分布式机器学习故事
from :http://www.thebigdata.cn/JiShuBoKe/13723.html 一.前言从毕业加入Google 开始做分布式机器学习,到后来转战腾讯广告业务,至今已经七年了. ...
【技术分享】京东电商广告和推荐的机器学习系统实践
讲师简介 ▲包勇军 2014年4月加入京东数字营销业务部,参与组建并带领模型团队,自主研发出京东大规模机器学习平台,同时还负责京东电商广告深度学习算法应用和优化的工作. 正文大家好,我是来自京东的包 ...
聚焦大规模分布式机器学习，全面剖析Google TensorFlow，来看阿里、京东等在人工智能技术的进展...
在5月18日的北京朝阳门悠唐皇冠假日酒店举办的CCTC 2017人工智能专场上,来自阿里.京东.IBM.PPmoney.第四范式的五位人工智能研究资深专家将为与会者带来顶级技术分享会,从曝光的议题看 ...
《分布式机器学习》-刘铁岩：全书汇总
文章目录 1 背景 2 数据划分与模型并行 2.1 计算并行模式 2.2 数据并行模式 2.3 模型并行模式 2.3.1 线性模型 2.3.2 神经网络 3 通信机制 3.1 通信的内容 3.2 通信 ...

腾讯分布式机器学习系统sabaton和AnyEmbedding介绍

腾讯分布式机器学习系统sabaton和AnyEmbedding介绍相关推荐

最新文章

热门文章