模型线上线下一致性问题
线下可能很好，但是线上表现并不如意，对于这种线上线下一致性问题，是机器学习模型在上线之后经常遇到的问题。
围绕着这个问题，从多个角度来考虑该问题。
1 特征维度
数据作为模型的输入，决定着模型的上限。一般一致性问题在数据的表现为：
1.1 线上线下的处理方式不同
针对同样的特征输入，离线和在线的处理方式不同，如input_schema配置没对齐、特征抽取不一致等，这是最容易出现的情况。
解决方法
一般是离线和在线共用同一套特征抽取框架，同时每次模型上线前先生成一批待校验的一致性样本，对比每条样本在离线打分和在线打分的gap，小于一定阈值（如1e-6）算一致性通过
1.2 特征更新延迟性
user侧和item侧的特征一般以正排方式储存在key-value载体中，根据特征类型的不同更新时效性也可以分为：
- 长期更新：user的年龄、性别、婚否、是否有孩子等长期比较稳定的用户画像特征
- 天级更新：user最近7天/14天在该appid上的pv个数、click个数、conv个数、ctr、cvr等按天统计的中长期兴趣特征
- 小时级更新：user的精准兴趣、广泛兴趣、app安装列表等按小时统计的近实时特征
- 实时更新：user最近互动过的adid、appid、industry_id，item实时反馈特征，session序列特征
对于天级更新、小时级更新和实时更新这些对时效性比较敏感的特征，如果出现了更新延迟，线上实验效果的衰减也是特别厉害的。
1.3 线上特征源获取缺失
线上特征的获取由于来源和计算方式不同会有多种通路，比如文件、redis、rpc服务、透传等，每种通路一旦某个环节出现问题，特征就取不到或者取错，对线上预估的影响也是很大的
解决方法： 搭建特征监控体系
对每一个线上服务使用到的特征建立空值率、top取值分布、时效性、ctr/cvr分布等多个维度的监控也是很有必要的，可以及时发现出问题的特征并加以修复。
2 训练维度
除了特征外另一个重要的排查方向就是离线训练结果是否存在问题，可以从三个方面进行排查。
- 训练集和测试集是否出现了数据重叠。
- 评估函数是否可靠。
- 是否出现特征穿越，特别是与label强相关的统计类和行为序列特征出现穿越，相当于开了个上帝视角；
- 训练集过拟合是否存在
3 线上结果不置信
上面根据离线情况提供了几种不置信的检测思路，那么线上也同样面对同样的置信问题。
线上指标统计时间窗口：不同指标达到可置信水平的统计窗口有较大区别，这跟业务和指标稳定性有很大关系，比如广告主价值指标的置信时间窗口往往要比收入/ecpm要长不少，因为天级波动比较大。而ctcvr指标则跟归因是否有延迟相关，一般要等好几个归因周期才能置信；
实验分桶是否随机：ABtest实验关键在于流量划分正交，流过每一层的流量必须重新的均匀划分。不正交结果必然不置信，可以通过划分AABB实验桶来判断流量划分是否出现问题。
线上serving检查
4 训练样本分布变化
比如特征来源有的来自base模型，有的来自实验模型，导致数据分布，特征都不一致，对应的必然不行。
模型线上线下一致性问题相关推荐
- 推荐算法炼丹笔记：推荐系统采样评估指标及线上线下一致性问题
本文对于推荐系统中的采样评估指标进行了讨论,内容略多, 还有一些数学推导, 有兴趣的可以去阅读文末给出的原始论文链接, 此处直接列出核心观点: 在评估推荐算法的效果时,能不采样就不采样! 除了AUC, ...
- 【数据竞赛】Kaggle竞赛如何保证线上线下一致性？
作者: 尘沙樱落.杰少.新峰.谢嘉嘉.DOTA.有夕 验证策略设计 这是一个系列篇,后续我们会按照我们第一章中的框架进行更新,因为大家平时都较忙,不会定期更新,如有兴趣欢迎长期关注我们的公众号,如有任 ...
- 开源机器学习数据库 OpenMLDB：线上线下一致的生产级特征平台
本文整理自 OpenMLDB PMC 卢冕 在 OpenMLDB Meetup No.6 中的分享--<开源机器学习数据库 OpenMLDB:线上线下一致的生产级特征平台>. 非常感谢大家 ...
- OpenMLDB：线上线下一致的生产级特征计算平台
导读:今天我们将从线上线下一致的生产级特征计算平台这个点切入,从「人工智能工程化落地过程中企业面临的数据和特征挑战」 ,「OpenMLDB:线上线下一致性的生产级特征计算平台」,「拥抱开源.面向社区」 ...
- 线上线下效果一致性杂谈
作者:杨辉之,新浪微博推荐广告算法工程师,个人知乎专栏(推荐机器学习模型&架构随笔)欢迎交流讨论 前言 在实际工作(炼丹)过程中,总会遇到线下指标相对base有提升,但一到线上就发现收益丢了, ...
- 构建线上线下一体化解决方案，旺小宝以AI赋能房企数智化营销｜爱分析访谈
1.需求和技术驱动房地产营销数字化升级 "三道红线""限购限贷"各种政策连番调控,消费者购房正在逐步回归理性,回到商品本身:消费者决策线上化,选择多元化导致供需 ...
- 异贝，通过移动互联网技术，为中小微实体企业联盟、线上链接、线上线下自定义营销方案推送。案例69
欢迎关注异贝.异贝5G营销工具.今天给大家带来的是服装店的营销案例: 今天分享的案例是一位浙江的美女所开的一家服装店,在服装店刚开始营业的那段时间里,由于靠着父母的资源和关系,小朱的服装店在当地服装圈 ...
- 家装家居自救指南：线上线下大融合
2020年的双11狂欢季结束后,有媒体向淘宝天猫总裁蒋凡提了这样一个问题:为什么今年双11的变化这么大? 蒋凡给出的回答是:改善消费体验. 最能印证这一点的或许就是家装家居行业.天猫家装和躺平设计家联 ...
- 【干货分享】大数据金融如何做到线上线下的融合？
本讲座选自百融金服CEO张韶峰于2015年4月8日在青岛大数据高峰论坛金融大数据分论坛上所做的题为<线上线下融合的大数据金融建模>的演讲. 今天汇报的主要内容包括三个部分,第一个是传统风险 ...
最新文章
- [C#基础知识系列]专题十七：深入理解动态类型
- 2020高考志愿填报：去哪个城市？选什么专业？挑哪个学校？大数据分析告诉你！
- Python回归模型评估
- 配置PHP启动Apache服务报错
- 2019 java值得学吗_Java认证值得吗？
- Linux系统挂起进程的几种方法
- Fission：基于 Kubernetes 的 Serverless 函数框架
- 上下文无关问法cfg
- python操作cad的模块_怎么把freecad当python模块来用
- Ubuntu18.04上传文件夹到github
- 电子元器件失效模式及失效机理汇总
- 微信小程序开发页面无法显示，未注册报错
- 全体起立！广州大学数据库综合设计实验
- 画太极(echarts)
- 张忠谋：摩尔定律将死，物联网是“Next Big Thing”
- DOS 用ren命令批量修改文件后缀名
- 使用账号激活MATLAB软件
- nginx allow deny
- 【C语言】初识指针（一）
- 电信行业统计指标解释