在机器学习的流程大体可以分成模型训练和模型服务两个阶段。无论是训练和服务阶段，其实都需要进行特征工程相关的工作，这块的技术挑战就是如何保证训练和预测过程中使用的特征是一致的。这个问题困扰了很多机器学习从业者，比较典型的场景就是推荐场景。在推荐业务中往往要用离线数据做特征工程然后输入到算法中训练生成推荐模型，在实际业务侧也需要按照同样的特征样本拼接方式生成预测样本，输入给模型做实时预测并拿到推荐结果。

今天要介绍的Feast其实是一个特征管理工具，他通过一套封装好的sdk保证了Model Serving和Model Training两个场景下的特征一致性问题。

Feast架构介绍

看下Feast的架构图，他可以接受Spark、Hive等数仓体系生成的Batch类数据，也可以将Log Service产出的数据通过Kafka构建成Streaming Feature与Batch数据结合构建特征。在Feast篮框内看到，针对Offline和Online的Feature提供了不同的方案，Offline Feature可以通过Feast SDK形成Training Features进行训练，在Online Feature可以通过部署Feast Serving构建出来用于Inference。而且训练和预测的特征是严格一致性保证的。接下来通过一个例子介绍下Feast是如何使用的。

Feast使用方式

1.特征表注册

Feast中将特征构建的主key定义为Entity，Entity往往是多个表关联的索引。可以用以下方法注册：

driver_id = Entity(name="driver_id", description="Driver identifier", value_type=ValueType.INT64)

有了主key后，就可以注册多张表的关联关系。Feature Table可能由离线和在线的多种源构成，需要在里面描述清楚每种特征是如何构建出来的。

最终特征的拼接逻辑会生成yaml文件。

2.离在线特征区分

离在线的特征的构建是不同的，离线通常是聚合统计类特征，比如算比例之类的，在Feast里这种特征处理方式叫做driver statistics，如下图：

在线特征更多的是单纯的计算出现次数，如某件行为发生的次数，可以通过flink实时统计出来，叫做driver trips。

driver statistics和driver trips通常在注册数据表来源的时候要体现。

定义好这些内容之后就可以具体的生产特征了。离线特征可以存储在S3、本地等环境里。实时特征可以处理好并存储到Redis里供实时调用。

3.时间窗定义

既然特征工程分离线处理的特征和在线处理的特征，那么离在线任务肯定会涉及到时间窗口一致性问题。比如一个表3个特征是离线的，2个特征是实时的，如果离线特征的生产时间窗总是比实时特征慢，会造成特征拼接不准确的问题。为了解决这个问题Feast提供了一个time-stamp功能。

系统会为每个Entity记录一个time-stamp，客户在使用的过程中可以根据time-stamp确定某个Feature Table是否可用。

Feast总结

经过整体的特征生成、特征表注册、离线和在线配置就可以构建以上的特征生成系统，可以通过time-stamp功能去选择要调用的Feature Table。

特征训练、预测一致性管理工具：开源项目Feast相关推荐

php 项目管理,PHP开源项目:文档管理_php开源项目网
当前位置: php开源项目网 > 文档管理 > 开源项目:文档管理 XODA是一个采用PHP和Ajax开发的文档管理系统(DMS).无需用到数据库,支持为文件和目录添加备注说明信息和过滤功 ...
这款企业微信管理工具开源了，不用再花钱了
今天小编推荐一款基于人工智能的企业微信 SCRM 系统,是企业私域流量管理与营销的综合解决方案,助力企业提高私域客户运营效率,强化营销能力,拓展盈利空间.主要运用于电商.零售.教育.金融.政务等服 ...
django开源项目cms_我学到的管理开源CMS项目的知识
django开源项目cms 关于我们的开源项目PencilBlue ,我最喜欢的部分是我可以与来自世界各地的人们互动. 当我们刚开始时,我们只有两个人,但是随着几个月的发展,我们看到我们的贡献者开始增 ...
微软CodePlex平台开源项目TOP10
转自:http://code.csdn.net/news/2820132 CodePlex是一个由微软创建的Open Source网站,在此网站中所发布的所有程序都可以下载源代码使用,目前它已经成为微 ...
盘点 9 月份 yyds 的开源项目
本文盘点 8 月份 GitHub 上 Star 数攀升最快的开源项目,他们分别是: 1. GitHub 排名第一的开源项目 2. 代码安全指南 3. 原神自动钓鱼 AI 4. 图解 React 源码 ...
MOSS 2018 回顾：向 40 余个开源项目捐赠 97 万美元
Mozilla 近日发布了一篇 "MOSS 2018 Year in Review" 的文章,回顾了 MOSS(Mozilla Open Source Support)在 2018 ...
介绍几个常用的代码管理工具
1.github 官网:https://github.com/ 这个代码管理工具我之前也用过,适合初学者团队开发,团队人数可以无限,是开源免费的.有很多初学者都是在这上面下载别人的源代码来学习.它也可 ...
开源项目大全 ...
http://www.isenhao.com/xueke/jisuanji/kaiyuan.php 监控系统-Nagios 网络流量监测图形分析工具-Cacti 分布式系统监视-zabbix 系统监控 ...
十年磨一剑，墨菲安全正式发布开源项目murphysec
先抛出两个问题你们公司从超市买一桶水回去,喝之前会做检测吗?会担心水被人下毒吗? 你们公司的程序员从 GitHub 上 clone 一个开源项目或者组件,引入到线上项目代码中运行,你会担心有安全漏洞 ...

特征训练、预测一致性管理工具：开源项目Feast