【聆思CSK6 视觉AI开发套件试用】体验头肩检测和手势识别初体验

本篇文章来自极术社区与聆思科技组织的CSK6 视觉AI开发套件活动，更多开发板试用活动请关注极术社区网站。作者：胖墩墩

一、CSK6芯片简介

CSK6 是聆思科技新一代的 AI 芯片 SoC 产品系列，采用多核异构架构，集成了 ARM Star MCU，HiFi4 DSP，以及聆思全新设计的 AI 神经网络处理内核 NPU，算力达到 128 GOPS。多核异构的设计使芯片能以较低功耗满足音频及图像视频的 AI 应用需求。

快来康康本次试用的主板的模样和各部分功能，视觉模块在另一部分。

完整的板子套件是这样的，非常棒！还有网络模组(C3网络模块)。

二、开发环境安装与实践

本次开发的环境是在window10的环境下进行的，在开发的过程非常的顺利，不得不说这是我用的最丝滑的开发板之一。上手非常的快，官网的教程也写的非常棒，跟着文档一步步去实现正常都能实现效果。

1、安装git；
2、安装CSK6一键安装包,安装包1.8G左右，得耐心下载；

CSK6一键安装包是面向 Windows 操作系统的 CSK6 开发环境集成安装包，本安装包会完成CSK6开发环境搭建、SDK部署等一系列操作，方便您快速拥有一个可以即刻进入业务开发阶段的环境。

3、检查开发环境:lisa info zep
4、创建程序：lisa zep create
5、编写“hello_world”第一行代码。
6、编译程序:先cd到cd hello_world程序目录，尔后输入lisa zep build -b csk6011a_nano
7、烧写程序:lisa zep flash
8、用串口调试助手查看输出结果。

主程序代码：

#include <zephyr/zephyr.h>void main(void){printk("Hello World! %s\n", CONFIG_SOC);}

三、视觉能力与构思

原本的初衷是想利用API进行人脸识别，如果是正确的人脸则可以打开门锁的SDK。研究了一下官网的文档之后觉得还有一些技术问题还没思路，暂时先体验一下头肩检测和手势识别。分别为LIKE( )、OK( )、STOP( )、YES(✌️)、SIX( )；

1、安装vscode；
2、安装扩展插件，csk-application-develop-plugin；
3、下载代码lisa zep create --from-git https://cloud.listenai.com/zephyr/applications/app_algo_hsd_sample_for_csk6.git
4、在vscode插件中配置烧录程序的套件型号；
5、开启PC端预览功能，打开项目的根目录下找到的 prj.conf 文件，将 CONFIG_WEBUSB=n 改为CONFIG_WEBUSB=y。
6、编译固件，lisa zep build -b csk6011a_nano
7、编译程序；
8、烧录程序；

9、获取PC端测试工具,git clone https://cloud.listenai.com/zephyr/applications/csk_view_finder_spd.git
10、使用 Chrome 内核的浏览器，打开项目 csk_view_finder_spd/src 目录下的 index.html 文件；
11、安装驱动，并把数据线插入到开发板的左边接口。
12、连接设备，开始测试。
13、识别效果展示：

总结：接下来要更深入的研究一下这套件强大的功能，最好能适用网络模块来进行数据传输，也可以将压缩后端资源存储在设备中，进行边缘计算。总体而言设备识别率比较好，除了摄像头是单摄像头拍的照片不是很清晰，其他没什么毛病。有个大胆的建议，不知视觉模块是否可以增加红外摄像头来进行活体检测。