作者：蓝色风暴端识别团队（张昭宗、汪祖臣、菜叽、展义、王佳军）
蜂鸟骑手在餐品配送过程中会经历以下五个主要阶段：接单、到店、取货、配送、送达。其中接单、到店与取货阶段主要涉及平台及店铺方面，而配送和送达阶段则直接与顾客息息相关。骑手将餐品交付顾客手中，因此需要与顾客电话沟通、面对面完成送餐流程。
对于配送服务来说，与顾客直接接触的过程对塑造品牌口碑尤其关键。其中有两大方面特别影响顾客对于品牌的印象：送餐时间及骑手的服务质量。送餐时间是相对明确的量化指标，而骑手的服务质量则是包括多方面的一项综合评断：与顾客沟通的话术（专业的话语，得体的态度等）、骑手本身的形象（专业的送餐装备，包括穿着和餐箱等）等。
为了提高蜂鸟骑手的服务质量、履行平台的监管职责、提高骑手在送餐过程中的安全性以及提高蜂鸟品牌形象，本地生活平台会对送餐过程中的骑手进行抽查，因此诞生了蓝色风暴的抽检业务。蓝色风暴抽检过程中，会对骑手是否佩戴头盔、工服、餐箱，是否是注册骑手本人送餐等进行检查，在特殊时期还包括是否佩戴口罩等。
由于蜂鸟骑手数量众多，没有办法做到实时监管；同时全量检测势必会影响骑手效率以及增大平台运营成本。因此当前采取的策略是对骑手进行抽检。
目前抽检由质控中心（QC）进行配置。考虑到抽检本身对骑手配送会有时间影响，因此如果骑手命中抽检计划，会在当前送完最后一单时进行抽检。骑手通过蜂鸟 App 在拍完自拍照（需包含头盔、工服、人脸等信息）后上传至审核台进行审核，审核后的结果会告知骑手并同步服务中心。若不符合要求，服务中心会作出扣款处罚并将账单信息发送给骑手平台。
图1 - 骑手抽检整体流程
图2 - 骑手通过蜂鸟 App 上传自拍照流程
整个抽检流程中，在骑手拍完照片上传至审核台后，审核台首先通过 AI 进行审核。AI 审核系统会通过骑手身份证件照，对骑手抽检过程中的照片进行人脸比对，识别照片中的骑手是否符合抽检要求（是否佩戴头盔，身穿工服等）。
当 AI 审核结果较为明确时直接给出结果（如确定着装不符合要求）；反之若审核的结果不确定，则审核单会流入到人工审核，由审核人员进行二次判定。
图3 - 抽检审核流程
通过引入 AI 审核，相比最开始的全人工审核，人工审核单数量已经大大减少。但是通过审核台上的相关数据分析发现，目前AI审核所能处理的审核单数量只占总量较少一部分，大量审核单仍需要人工参与。这是因为很多线下骑手拍照的规范性、所处环境等原因，不能严格按照要求来进行。为了履行平台的监管职责，会将存在歧义的单子流入人工。
对人工审核来说，每年的人工审核预算是有限的。在目前的审核预算下，每年都会将预算全部用完，甚至需要找其他部门要预算。同时由于预算上的限制，也无法扩大审核量，提高抽检比率。这也近一步限制着骑手形象满意度。目前在对饿了么品牌形象减分的影响因素里面，骑手形象占据最多的比例。每个月用户对于骑手的着装不整洁等等的反馈量比较多。受制于抽检量不足的限制，骑手的着装规范无法得到明确落实，C端用户对骑士形象的差评率出现走高趋势。
因此我们可以看出，无论是为了降低成本还是扩大抽检量化，提高机审比例是一件亟待解决的事情。
为了降低人工审核比例，同时确保骑手能及时的感知着装是否符合要求，我们在与淘系技术部 - 端智能团队交流后，决定将 AI 识别放在端上进行：在骑手拍照过程中直接识别骑手的装备和人脸等并实时给出对应的提示。
整个项目过程中，基础设施方面我们直接借力集团成熟的端侧推理引擎 MNN 以及配套的一站式工具 MNN 工作台，业务则分为两个步骤进行：
整体架构如下：
图4 - 蜂鸟 App 蓝色风暴项目端智能整体架构
端上预识别作为一个辅助工具，在骑手拍照预览时，端上 AI 会识别视频流中的帧，会和骑手进行视频的捕捉交互，每一刻实时给到骑手抽检状态的反馈，便于骑手实时调整（类似支付宝刷脸场景），如下图中淡黄色框选的区域；当未识别成功时，骑手也可以手动进行拍照。整体的抽检判定流程还是走以前服务端逻辑。
图5 - 端上预识别整体流程
目前一期方案：主要进行人脸检测、头盔识别和工服识别。首先对输入图像进行人脸检测，如果检测到人脸，根据人脸位置，定位到人的头顶位置，对图像进行裁剪得到头顶图像，然后将其输入到头盔分类模型，进行头盔分类，同理根据人脸位置，定位到上半身位置，对图像进行裁剪得到上半身图像，然后将上半身图像输入到工服分类模型进行工服分类。算法流程如下：
图6 - 着装识别流程设计
在蜂鸟 App 开发和本地生活研究院同学的合理结合下，产生了非常显著的业务效果。这也证明只要明确业务场景，端侧 AI 可以有效地成为业务创新的源动力。
图7 - 端智能着装识别实际演示
在经过一个版本的线上验证，通过统计分析审核台和端上预识别骑手抽检数据后（见下方表格），我们可以明显看出端上预识别的结果与最终审核结果保持高度一致，二者仅相差0.0292，误差为3.3%。与此同时，在骑手抽检过程中，端上预识别也能很好的节约骑手时间，减少骑手对抽检项目的抵触情绪。
备注：通过比例 = 符合审核要求的骑手数 / 总审核的骑手数
|
后端审核通过比例(AI审核+人工审核)
|
端上预识别通过比例
|
相差
|
|
0.8856
|
0.8564
|
0.0292
|
|
项目
|
后端AI识别（以前的模式）
|
端上预识别（目前模式）
|
对比
|
|
从命中抽检到完成抽检
|
110s
|
82s
|
节省时间28s (25%)
|
|
从开始抽检到完成抽检
|
50s
|
40s
|
节省时间10s (20%)
|
一期基于端上智能的预识别项目，在蜂鸟 App 团队和本地生活研究院的通力合作下，对业务产生了非常显著的效果。
相信蓝色风暴项目的成功开展，也可以为大家在非电商场景下使用端智能增加一些信心。
在统计一期识别数据后，可以看到目前端上预识别表现良好，无论是算法准确率还是识别结果都满足取代后端审核系统的设想。通过将识别过程提前到端上，骑手能实时感知抽检过程，抽检也极短时间内给出结果。
图8 - 二期完全端识别流程概述
在骑手抽检过程中，当骑手打开照相机后，通过预览画面，比对当前骑手的面部特征是否与注册信息中一致，并对其进行活体检测。根据抽检等级要求，识别骑手是否有佩戴头盔、身穿工服等等。当所有条件都满足时，识别通过，并将识别结果透传给后端。
在骑手抽检过程中，在装备符合抽检要求的情况下，如果端上识别通过则直接通过，如果端上识别失败，可提交人工审核。就目前的数据来看，提交人工审核的这部分并不会太多。
在装备不符合要求的情况下，如果端上识别不通过，则直接给出结果。如果识别通过，就目前数据来看，这部分量也不会太多。后面我们也会持续优化算法以及做好降级到人工审核的方案。
图9 - 二期完全端识别流程设计
|
比较项
|
后端识别
|
完全端识别
|
|
骑手感知
|
黑盒状态，无法及时知道结果
|
实时抽检，感知自己的抽检姿势和结果
|
|
活体检测
|
仅有静态二维图片活体检测
|
有动态活体检测，反作弊大大提升
|
|
时间花费
|
存在反复操作，操作链路相对较长
|
缩短操作路径，节约时间
|
在二期方案中，我们在已有算法的基础上，增加了口罩识别，活体检测和人脸比对功能。我们对检测到人脸的图像，进行口罩分类，识别该骑手是否佩戴口罩；同时，对于检测到的人脸，进行人脸对齐，然后根据面部特征点位置采用交互式随机动作法（包括：眨眼、张嘴、摇头和点头）进行活体检测，如果输入图像来自真实骑手，那么将该人脸对齐到标准位置，并且提取特征，和已经提取好的注册人脸的特征进行余弦距离计算，如果得到的余弦距离小于指定的阈值，那么判断为同一个人，否则则认为不是同一个人，算法流程概要如下图所示：
图10 - 二期完全端识别算法设计
目前完全端识别正在进展中，业务数据敬请期待。
在即时配送领域，配送员在触达客户时候的着装、话术是消费者面对品牌的第一印象。为了提升饿了么的服务质量和品牌形象，本地生活相关团队开展了服务抽检项目，通过对骑手着装的自拍照进行审核来履行平台对于蜂鸟骑手的监管职责，确保送餐过程中的安全性及品牌形象。
但现有流程下的抽检方式已无法满足蜂鸟品牌更大规模下的应用与建设，因此我们通过与淘系技术部 - 端智能团队合作，借力于其优秀的端智能基础设施 MNN 以及 MNN 工作台，将端智能实时抽检运用到骑手抽检流程中。
通过开展端上预识别项目，一方面帮助骑手提高拍照体验，在手抽检流程中节省骑手20%~25%的操作时间；另一方面也大大节省了原先人工审核中的冗长流程和成本。一期项目的成功落地也为下一阶段端智能项目的全面开展打下了坚实的基础。
而借助蓝色风暴项目，我们切实地发现端智能在本地生活领域的应用，能够有效的降低抽检业务成本、扩大抽检量以及提高抽检体验；同时也通过这个项目，本地生活蜂鸟 App 团队沉淀了一系列端智能的能力和经验，后续也会和淘系技术部 - 端智能团队合作，将其赋能给集团更多的需求方。
“阿里本地生活技术”公众号已同步开通，欢迎关注
饿了么端智能本地生活领域探索与实践相关推荐
- 搜索智能问答的探索与实践
搜索智能问答的探索与实践 搜索引擎的演化历程 搜索智能问答的探索与实践 搜索引擎的演化历程 搜索中的问题需求 搜索中的问答形态 搜索中问答的技术路线 KBQA 什么是KBQA 解决方案 方案一:结构化 ...
- 美团外卖广告智能算力的探索与实践（二）
在深度学习时代,算力的需求和消耗日益增长,如何降低算力成本,提高算力效率,逐渐成为一个重要的新课题.智能算力旨在对流量算力进行精细化和个性化分配,从而实现系统算力约束下的业务收益最大化. 本文主要介绍 ...
- 视频AI对话杭州云栖：新一代视频智能生产的探索与实践
在今年的杭州云栖大会AB区中庭,有一个全透明建筑备受瞩目,这就是云栖数据指挥中心.在这块大屏中的媒体中央厨房部分,正是采用了视频智能生产方案,将多模态内容理解与云导播和云剪辑相结合,使原来小时级别的视 ...
- 美团点评数据库智能运维探索与实践
本文根据赵应钢2018年5月11日在[第九届中国数据库技术大会]上的演讲内容整理而成. 讲师介绍: 赵应钢,曾就职于百度.新浪.去哪儿网等,10年数据库自动化运维开发.数据库性能优化.大规模数据库集群 ...
- 【实践】美团外卖广告智能算力的探索与实践
在深度学习时代,算力的需求和消耗日益增长,如何降低算力成本,提高算力效率,逐渐成为一个重要的新课题.智能算力旨在对算力进行精细化和个性化分配,实现最优化资源利用.本文主要分享美团外卖广告在智能算力探索 ...
- 端智能助力西瓜视频业务实践
作者:字节终端技术--覃量 前言 端智能,顾名思义就是在端上跑AI模型.端智能作为目前火热的一个新方向,在业界已经开始崭露头角.阿里.谷歌.快手等大企业都在积极布局端智能,用端上AI来优化各种业务场景 ...
- 美团外卖广告智能算力的探索与实践
在深度学习时代,算力的需求和消耗日益增长,如何降低算力成本,提高算力效率,逐渐成为一个重要的新课题.智能算力旨在对算力进行精细化和个性化分配,实现最优化资源利用.本文主要分享美团外卖广告在智能算力探索 ...
- 美团智能问答技术探索与实践
分享嘉宾:美团 江会星 博士 编辑整理:韩佳 出品平台:DataFunTalk 导读:本文主要介绍在美团业务中智能问答技术的相关落地与实践.通常问答系统需要提前构建好问答对知识库,这种方式对高频问题能 ...
- 阿里闲鱼App服务端在ServiceMesh的探索和实践
文章来源:咸鱼技术(XYtech_Alibaba) 作者:柬超 背景 在阿里服务端开发以Java为主的大背景下,其他异构语言业务如何调用现有Java服务,如何与集团中间件打通,就成为使用非Java语言 ...
最新文章
- VMware虚拟机中调用本机摄像头详解
- 首席技术执行官_如何在几分钟内找到任何首席执行官的电子邮件地址
- 最小可行产品是什么_无论如何，“最小可行产品”到底意味着什么？
- 商务宽屏视频剪辑企业网站模板
- linux在多个目录跳转,如何做到在多个目录直接游刃有余的进行切换 -- linux 下的目录切换...
- VB 判断图片文件的类型格式
- 天气太热业绩差，除了设坛求雨外，数据分析师还能干啥？
- linux批量创建ftp用户密码,批量在LINUX下建立很多FTP用户
- 转:关于BFC的初步了解以及常见使用
- 以代码为实例讲解sizeof函数易混淆的用法
- 4行代码，Python搞定美图秀秀！
- drupal 电商网站_为什么小型企业应该为电子商务网站选择Drupal
- 基于Java+Springboot+Vue校园志愿者管理系统设计与实现
- linux vi输入日历,linux下Vi编辑器命令大全（上）
- 但愿人长久，千里共婵娟---众智云
- vue中验证码输入框
- 网络爬虫框架Scrapy简介
- （清华毕业生）大佬总结的“大数据”学习路线+教程
- 愿码(ChainDesk.CN)：EOS钱包开发 五使用cleos工具管理账号权限
- Python 爬取张国荣最火的 8 首歌，60000 评论看完泪奔！...
热门文章
- Linux下查看进程占用带宽、CPU计算压力
- Python读取Oracle数据乱码问题解决
- CAD布局(Layout)画图、视口(Viewport)及相关ARX中接口
- 蓝桥杯练习系统[C++]
- 软考报名已全部截止，疫情之下，这些要求不满足不得进入考场
- Windows桌面整理
- OmiseGo 将如何把 Plasma 带入寻常百姓家
- python数据预处理之将类别数据转换为数值的方法
- 串口通信-STM32的USART串口通讯程序
- if(!a)与if(a)
