上接：

线下门店场景化互动类产品浅析

线下门店消费场景中的感知和互动技术浅析

工程算法一体化平台架构实践

互动导购，其本质目的是模拟导购员角色，通过整合算法能力实现智能迎宾&导购及运营的自动化，并通过虚拟货架实现扩充坪效、分佣获利。从用户的经过、靠近、停留、离开和商品的拿起放下进行感知互动，借助于传感器和摄像头技术实现模拟导购员的产品设计。基于多种传感器，感知和识别顾客，将线下购物场景数字化，基于安卓设备依托大数据平台，打通线上线下数据，通过大数据技术，结合商家营销活动，提供智能选品、搭配推荐服务。

通过场景化设计，如为品牌商打造品牌专区，实现数字化和内容增强，并联合线上线下实现全渠道营销，通过传感器相关技术实现品牌专区的数字化运营。并基于实时传感器数据，进行实时热点商品推荐。

基于以上点我们开发了Mirror+，核心功能：智能迎宾、导购、自动化运营，信息增强，营销触达。

1. 互动广告：传统广告（图片广告、视频广告）、实时计算广告（排行榜广告、热销商品广告）；

2. 互动货架：热销推荐新品店内排行；

3. 商品信息补充和增强：商品信息、商品排名、商品促销、优惠券、属性标签、评价标签、商品赞美标签；

4. 搭配（以搭代购）、相关推荐（关联配件等）；

5. 数据收集：全身人像数据正面照采集、正面人脸数据采集、性别、年龄、商品浏览记录、浏览深度、线上关联用户pin；

6. 智能语音导购：赞美顾客，赞美商品；

7. 虚拟店铺：解决线下店场景复杂问题；

8. 提升坪效、提升转化、实时营销/促销推送、赞美顾客提升购物愉悦感。

在功能触达和推送机制上，我们实现了如下功能：

1. 靠近触达；

2. 拿起触达；

3. 试穿触达；

4. RFID/扫码触达。

主要产品如下：

迎宾术语

传感器感知顾客靠近，结合TTS技术通过扬声器播放迎宾术语。

顾客赞美术语

通过RFID/地磁等传感器，感知识别顾客当前关注商品，根据规则计算商品实时埋点，并结合TTS技术通过扬声器播放迎宾术语。

介绍商品

通过RFID/地磁等传感器，感知识别顾客当前关注商品，结合京东线上商品信息，对商品信息（如：评价标签、销量、商品详情等）进行整合，展现在线下设备。

顾客喜好预估

通过摄像头识别顾客身份，结合线上数据分析、获取顾客用户画像。

搭配推荐商品

基于时尚大数据，结合用户画像、商家库存信息、营销活动及，对顾客关注商品进行搭配推荐。

整体产品分为三部分：感知、触达和内容。

在技术方案上我们选择了Android和H5技术，结合多种类型传感器，提供多种顾客、商品感知识别方案；基于多类型产品，结合店内购物动线，实现场景化触达方案；线上线下联动，营造无界的购物体验。

我们通过如下技术来感知顾客和商品：

基于超声波的顾客识别

通过超声波传感器识别顾客靠近行为，语音迎宾并记录区域经过人次。

基于摄像头的顾客识别

通过摄像头采集顾客面部信息获取顾客用户画像，并采集顾客表情记录选购数据。

基于重力/地磁传感器的商品识别

通过传感器感知顾客关注的商品，产品主动为顾客推送商品及搭配信息。

基于RFID/扫码器的商品识别

顾客主动让设备识别选购商品，并浏览商品及搭配信息。

在传感器选择上需要考虑传感器小巧、低功耗、且容易配置和使用，否则会增加运营成本。另外也要设计好广播协议，将一些算法放入在芯片里。也要考虑好蓝牙丢包问题，可以考虑使用外置的蓝牙模块如Nordic nRF51/nRF52。

在工程开发上，开发总结：

• 二级缓存（内存、SD卡），弱网或无网体验可用、数据异步拉取回填缓存、极速页面加载；

• 低功耗蓝牙传感器（地磁、3轴加速度、6轴重力加速度、蓝牙按钮、超声波等）；

• 串口设备冲突时指定设备串口号；

• 蓝牙模块假死；

• 扫码器读取位数不对；

• 多设备适配；

• Density分辨率适配、高nit亮度屏、高透光度；

• 低功耗芯片：芯片中聚合秒级处理逻辑、降噪：抖动信号过滤及修正。