1. 概述

1.1 简介

Littro瞳赋Tofu3是多波段视频物体识别跟踪模块，支持可见光视频与红外视频下的物体检测、识别、跟踪。产品支持H.264/H.265视频编码、智能设备管理、目标检测、识别、跟踪等功能，提供丰富的SDK接口和开源的客户端应用软件，方便客户进行快速二次开发。

产品可用于安防监控、辅助驾驶、机器人等产品集成，也可应用于安防、工业检测与控制、无人驾驶等行业。

瞳赋Tofu3模块实物

典型延伸产品形态

1.2 主要特点

1.2.1 特征

技术参数：

● 支持LSP边缘计算应用框架与SDK；

● 支持单路视频处理，双波段视频处理场景下需要两个Tofu3模块使用；

详见双光应用方案

● 支持可见光网络视频输入，最高分辨率支持4K@ 60Hz；支持可见光MIPI输入；

● 支持热红外网络视频或数字视频输入，

数字视频目前仅支持利卓的热像机芯；

● 支持PAL模拟视频输入，识别跟踪算法应用中不推荐使用；

● 支持网络标准化数据管理；

● 支持H.264/H.265视频编解码；

● 支持云台自主控制（需要用指定适配好的云台）；

● 支持变焦镜头的自主控制（需要用指定镜头）；

● 功耗：＜5W；供电：12VDC；

● 算法：检测、识别、跟踪、计数、围界入侵管理；

● 支持基于LSP的完整场景解决方案。

标准接口：

● 1个 百兆/千兆以太网，用于传输视频、目标识别跟踪信息；

● 1个RS485接口，用于本地推送目标信息或控制云台、变焦镜头；

● 2个GPIO接口，报警输出与设备复位；

● 1个MIPI接口，可直接输入可见光CMOS视频，目前支持IMX377/IMX334/IMX385；

● 1个RS232接口，预留接口

● 1个12V电源输入接口；

● 1个 RS232接口；

● 1个对外5V，一个12V供电接口；

● 1个风扇控制接口（一般环境无需使用）；

● 1个USB2.0接口，扩展预留接口。

1.2.2 AI 功能：

检测：

可对1.5像素以上的移动物体做检测。

识别：

对热红外或可见光20个像素以上的行人、车辆、船舶等物体进行基于深度学习的物体识别。

注：对于可识别像素个数同样取决于图像质量与环境光等现场情况，如热红外图像质量相对较差的情况与环境温度较高的情况下热红外识别起始会要求更大的目标尺寸。

目标像素个数取决于像元尺寸、镜头焦距与镜头质量、目标大小等因素，具体可详细咨询。

跟踪：

可对检测、识别到的物体发起跟踪，操控云台与镜头。

区域设置：

可在画面中设置任意形状的检测区域，区域数量不多于5个。

自主工作模式：

支持检测、识别、跟踪全自主工作模式，根据设置从发现目标到物体类型识别报警，控制云台跟踪目标，过程全自主化

1.2.3 多种网络协议

支持Onvif/RTSP/RTMP/高性能私有协议 等多种行业标准协议。

1.2.4 Web配置界面

提供Web配置界面、客户端SDK和开源的功能软件。

1.2.5 RS485协议

1）支持Pelco云台控制协议与镜头控制协议；

2）支持本地输出目标脱靶量信息；

3）支持MODBUS报警信息输出；

3）支持RS485私有协议，对外设备提供目标检测、识别、跟踪的状态信息。

1.2.6 电源及功耗

板卡采用12V供电，标准功耗不超过3W。

1.3 产品外观及结构、接口

体积：60mm长，50mm宽，23.5mm高

重量： 105g

接口排布：

1.4配线及附件

（1）包装纸盒*1个

（2）配线*1组

1.5应用方式

Littro 瞳赋TOFU3模块应用分为网络视频输入方式、接入MIPI数字视频与接入热红外数字视频输入三种方式。

1） 网络视频输入方式

网络视频输入方式下的Tofu3连接关系图

Tofu3接入可见光网络视频时通过littro Mini交换板接入，Tofu3的RS485接口可以直接与云台或镜头连接进行控制。littro Mini交换板输入对外通信的网络信号到客户端平台。

可见光红外双波段网络视频输入方式下的Tofu3连接关系图

2） 可见光MIPI输入方式

Tofu3模块预留一路MIPI输入接口，可以接入CMOS输出的MIPI信号，目前支持IMX385/IMX334/IMX377等型号的CMOS板卡。

3） 热红外数字视频输入方式

Tofu3模块可以截图Littro自研的LIR热红外机芯系列，分辨率支持160×120/384×288/640×512/1024×768。同时机芯中自带控制镜头变焦、自动聚焦等功能，可提供整机产品，具体可来电咨询。

4） 接线说明

2. 环境适应性

Littro 瞳赋TOFU3模块可在安防监控、工业检测、机器人集成等多种场景中集成应用。

● 电源要求：+12V DC；

● 工作温度： -40℃~+70℃ ；（*：-40℃需要配加热膜，不配加热膜可支持到-40℃，冷启动时间为15S以内，常温下5S启动）

● 可外加风扇以及加热与制冷配件。

3. AI软件

3.1 边缘计算应用框架与逻辑

利卓推出了基于边缘计算的LSP（Littro Smart Platform）应用框架，基于网络化方式管理人工智能设备。其应用逻辑中算法的运行流程如下图所示。

从目标检测到跟踪的整个过程均由产品自主完成，用户可以在运行过程中随时进行接入并主动操作。

3.2 目标检测

Littro 瞳赋TOFU3模块中提供了动目标检测、小目标检测的算法支持，用户可通过SDK中的API接口获得检测数据。

3.3 目标识别

Littro 瞳赋TOFU3模块可运行多种深度学习算法。对特定场景、特定目标物体的识别提供数据采集、数据分类标注、模型优化的升级服务。

Littro 瞳赋TOFU3模块可对红外视频中常见的目标进行识别，包括行人、车辆、船舶、飞机等。其能在安防监控、辅助驾驶、机器人等领域得到应用。

Littro 瞳赋TOFU3模块目前支持多视角的目标检测跟踪。三个典型的目标识别视角是：

1） 水平视角（车载与地面机器人视角）；

2） 俯视视角（安防场景）；

3） 高空俯视视角（无人机场景）。

4 目标跟踪

Littro 瞳赋TOFU3模块支持对视频中的目标进行跟踪，在识别到物体或给定目标的位置后设备能对目标进行跟踪，输出跟踪的状态和目标的位置信息。

3.5 区域设置

可在画面中最多绘制5个非规则区域作为识别区域，物体进入到识别区域时触发算法与报警信号。

4. 客户端软件

4.1 Web显示配置软件

提供了浏览器可以直接访问配置的web界面。

主页面可对拍照、录像、显示分辨率进行设置。在独立设置界面可对设备信息、IP地址、通信协议、网络压缩格式与压缩率、同步时间等进行配置。

数据通信的网络协议包含了下图所示的所有常用协议。目标识别后，目标框信息会在网页界面中显示，也可以通过SDK向客户端发送识别信息。

4.2客户端SDK与软件

Littro网络SDK作为AI摄像机的对外接口及二次开发接口，接口定义应遵循行业摄像机产品的接口惯例，以动态链接库形式发布。

AI摄像机与SDK调用者应处于同一网络，调用者可调用SDK的各个接口与AI摄像机进行信息交互。SDK的功能结构如下图所示：

开源的客户端软件界面包含网络连接，设备视频显示、目标信息显示、AI相机识别参数配置、识别目标类型配置、识别区域配置等功能。可实现四路网络视频的同时显示、存储、放大显示功能。

客户端软件界面如下图所示

标准菜单页面中支持图片、视频的本地存储、伪彩。功能菜单页面中包含“设备管理”、“算法参数”、“运动控制”、“OSD叠加”。如下图所示。

设备管理子菜单页如下图所示。

算法参数管理子菜单页如下图所示，AI模式包含目标计数、目标识别、自动跟踪、动目标跟踪、手动跟踪等功能。

运动控制子菜单如下图所示，实现云台与镜头的控制。

SDK的具体API接口与使用方法将在签署NDA协议后给出具体的操作文档。将提供包含SDK所有功能的Demo客户端软件，供客户自行修改界面风格与增加功能。