从端到边缘，无线技术赋能AI边缘计算处理器

------------------------------------------------------------------------------------------------------------

文章版权归为微信公众号 Wireless Inside (前身无线技术联盟），转载请注明出处.

XCODER.

------------------------------------------------------------------------------------------------------------

无线技术赋能边缘计算处理器，本文不一定讲的清楚，本人视野有一定产业局限性，故有些问题可能存在以偏概全的嫌疑。文章以项目为起点，试图以点带线，其实是项目过程中的思考和与同行交流的思想碰撞。

1. AI视觉云台实现逻辑

因甲方要求，需要搭建一个视觉跟踪云台，涉及视觉跟踪，手上现有SoC运算能力有限，加上片上硬件资源没有支持MIPI-CSI接口，没办法直接挂摄像头，手边正好有块树莓派板子，直接用上。

Raspberry Pi 树莓派目前已经出到第四代4B版本，我使用的为第四代4B版本。项目上使用到树莓派如下几个部分：CPU，Wi-Fi图传和SSH，MIPI-CSI接口，GPIO控制。

相对于树莓派3，树莓派4的CPU性能已经得到极大提升（3x），考虑到人脸跟踪，730P@30Fps的图像采集，顺手加上手边的算力棒加速人脸识别推理工作，算力棒为Intel neural compute stick 2，算力大概在4T。

下一步需要做摄像头跟踪，此阶段需要搭建云台系统，根据识别的人脸位置与图片中心位置差值，调整云台对准人脸，所使用的云台为两个SG-90舵机组成(不要买大功率舵机，树莓派驱动电流有限，带不动)。

整个项目先是在树莓派上使用PYTHON3调试，OpenCV +Intel OpenVINO 来做视频数据采集和人脸识别（人脸识别模型库采用OpenVINO已经训练好的模型，不需要自己再训练），另起两个线程来做云台pan，tilt差值和pid调节。

调试过程中，发现伺服电机PID调节和控制非常棘手，树莓派输出的pwm不稳，其他Python任务执行过程会影响pwm的输出，抖动严重，PID调参抖动大，图像差值和pan，tilt无法形成闭环回路，错误的pid输出，导致云台输出位置错误，位置错误反过来又影响摄像头人脸捕捉。

解决办法是拿一个MCU，TI TM4C Launchpad开发板处理伺服电机的驱动和PID调节。在实时控制方面，MCU的优势非常明显，硬件pwm，精准设置，调整方便，输出实时。反应在舵机上的表现为给定目标占空比，舵机移动到该坐标位置不抖动，在电机驱动调试完毕之后利用串口调试助手调节x轴y轴的PID参数，一切准备就绪后指定串口数据包格式，准备接收树莓派发送过来的pan tilt位置差值。（Demo中加了一个电池包，用来给树莓派系统供电，省去Type C有线供电）。

硬件上，树莓派CPU负责视频采集，Intel Movidius 算力棒负责每帧图片的人脸推理，MCU协处理器负责云台伺服电机控制，树莓派4B片上 Wi-Fi模块负责图传到云端显示以及SSH。

软件上，在linux 系统用python3完成整个控制逻辑，cv模块负责视频数据采集，人脸推理，计算人脸位置差值，uart发送云台位置指令给MCU；MCU采用C编程，设置PWM频率及占空比，编程增量PID控制程序，调试x轴，y轴PID 参数Kp，Ki，Kd，等待串口终端树莓派的指令。

2. 边缘计算需求

云台搭建并不算复杂，但该视觉项目需求具有AIoT产品代表性：对物理世界进行数据采集，AI深度学习推理&挖掘，GPIO，PWM实时控制，毫秒级微秒级定时器设置，Wi-Fi 蓝牙无线传输。场景落地例如，人脸识别考勤机，门禁系统，停车系统轧机，视频监控，门铃等。本地端的处理器完成视频&音频采集+处理，MCU控制输出，HMI显示，以及AI，深度学习，推理（训练一般不会放在边缘计算节点），此类应用均可以归纳称为边缘计算应用行列。

3. 边缘计算 + 物联网无线

科学技术在AI，算法，集成芯片领域的发展迅猛，呈几何形增长。为适应市场需要，ARM阵营在处理器内核上推新不断，A35，A53，A55，A72，A73，RISC-V也不甘示弱。芯片厂家结合自身需求，推出单核，双核，三核处理器以提高整体运算速度，在通用ARM/RISC-V内核无法满足深度学习，神经网络计算时，AIoT应用下的ARM/MIPS + GPU/NPU（0.5T-10T）的边缘计算处理器孕育而生。

当技术不再成为思想的桎梏，出现了很多企业迅猛发展的现象级案例，下面从三个方向举例说明：

大音频

智能音响算大音频市场的代表产品之一，以阿里，百度，小米互联网公司为代表。功能需求包括麦克风阵列识音，TTS，ASR，AEC，Codec编解码，经典蓝牙播放，Wi-Fi云播放等。内核处理器统筹任务调度，控制数据流向，驱动WiFi,BT协议，协处理器DSP用来处理音频相关算法和音频编解码，Wifi BT COMBO芯片负责无线数据传输。

TWS耳机系统架构和智能音箱有差异，TWS耳机通常以单颗SoC解决方案完成，（相比于智能音箱以Processor + Wifi/BT COMBO + Linux），片上SoC运行RTOS系统，内部架构可细分为 MCU + DSP + RF Radio。

大视频

网络摄像机算是近两年视频监控行业出彩的产品。处理器负责视频采集，ISP对图像信号优化处理，视频经过H.264，H.265 1080p@30fps编码后，通过有线或者无线进行图传。在AI算法的驱使下，单目，双目人脸识别，3D结构光姿态识别等应用要求处理器能在本地完成图像比对，推理，NPU AI深度学习推理，控制执行单元。

低功耗门铃产品侧重强调处理器毫秒级快速唤醒进行视频抓拍，微安级低待机功耗，微安级别WiFi长连接的功耗，ISP图像处理等，但目前主流几家低功耗摄像机芯片厂家在原有架构上加上NPU单元，努力适应AI行业新的发展方向，君正的T40更是加上了一颗RISC-V，可以作为一颗实时MCU，管理整个系统。

大感知

手表，温控器，门锁，各类传感器，门磁，烟雾探测器，定位器，胎心监都可算做大感知类产品，所涉及的系统已经由采用MCU + RF Radio 的SoC满足，Nordic，NXP，Siliconlab，TI 等。

AIoT处理器厂家不断在性能，晶片面积，功耗三方面进行权衡，优化与迭代，随之而来是需要更合适的无线产品与之匹配，多协议，低功耗，高集成，易开发，SoC或者COMBO。

4. 从端到边缘，无线技术赋能AI处理器

Bluetooth, Zigbee, 2.4G私有协议，Sub 1G私有协议，Lora为代表的无线网络典型应用集中在端上，在边缘多以Gateway的产品形态呈现；Wi-Fi SoC和Wi-Fi BT COMBO芯片可在端或者边缘呈现，在端处，以视频类应用为主；在边缘计算产品中，多与Linux，安卓系统配合，Wifi起到联网数据传输和蓝牙起到音频传输作用。

AIoT边缘计算芯片片上系统继续在RTOS和Linux系统的博弈中，新的架构和更强的性能对无线产品提出更高的要求：Wi-Fi 和主控间的适配采用SDIO还是SPI；协议栈在主控还是在SoC上；Wifi 5G 频段支持与否；IoT WI-FI 6的应用场景在哪里落地；COMBO芯片能否支持CHIP（Alliance，Zigbee）；COMBO芯片是否能释放内部内核给用户二次开发；如何支持LE AUDIO等等。在AIoT SoC芯片更迭百花齐放的同时，无线芯片亦在架构之争当中；新的产品将孕育新的无线模块生意模式以及新的IDH，产业链在内卷中升级。

「Wireless Inside 微信公众号 (原无线技术联盟微信公众号) 微信交流群」
助力IoT行业朋友打通短距离无线通信圈的行业小社区。

集高通，Broadcom，TI，Nordic，Dialog，ST，Silicon lab, NXP, AMBIQ等蓝牙芯片原厂技术，市场，销售

集华为，MTK，泰凌微，凌思微，盛源达，ASR，华普微，中颖电子，百瑞互联，Realtek 国产芯片原厂技术，市场，销售

集Arrow，北高智，迅通，世强，利尔达，科通，全科等一线原厂代理商技术，市场，销售

集小米，华米，绿米，涂鸦，雅观，百度，阿里，Oppo，Vivo，京东互联网公司，品牌客户，方案公司技术，市场，销售，创始人

集蓝牙认证机构，被动器件，射频公司，以及SIG大佬

申请流程：

① 因群人数已超过限制人，请先微信扫描以下微信二维码或添加Xcoder微信号（blecoder），添加微信时请将您的个人信息进行备注（名字公司职位），以便登记，同时也欢迎同行和我进行交流。

② 由于需要我逐个邀请入群，所以请大家耐心等待！谢谢理解与支持！

从端到边缘，无线技术赋能AI边缘计算处理器相关推荐

机智云IoT云平台的边缘AI持续赋能，边缘服务器深度应用
随着5G和物联网发展,其数据爆发式增长,数据重量的问题和光速产生的时延问题对算力带来更高的要求.越来越多的计算.存储.网络.分析和其他资源逐渐向边缘设备转移,为此边缘计算获得了空前关注. 何为边缘计算 ...
多场景下的AI疫情防控“天网”：解读云边端联动下的全栈AI技术
在全民抗疫的特殊时期下,伴随着春运返潮,企业陆续复工,从重点防控的机场.火车站等场所,到学校.企业.社区等密集型场所,都是不能忽视的地点.除了人工逐一测量体温排查外,我们还发现,在人员复杂.流动量大地 ...
多场景下的AI疫情防控“天网”：解读云边端联动下的全栈 AI 技术
在全民抗疫的特殊时期下,伴随着春运返潮,企业陆续复工,从重点防控的机场.火车站,到学校.企业.社区等密集型场所,都是不能忽视的地点.除了人工逐一测量体温排查外,我们还发现,在人员复杂.流动量大地方的出 ...
FCES2019第二天 | BY AI，AI技术赋能教育的N种可能
全文共2720字,预计学习时长6分钟 CCF会士,北京大学教授李晓明上集小芯说到,本次大会主题是"FOR AI & BY AI",这恰巧从侧面展现了人工智能教育的双重含义 ...
技术沙龙 | 深度赋能AI全场景，揭秘你不知道的移动云
9月25日,移动云TeaTalk主题线下技术专场沙龙第二站,在成都圆满结束.5G 时代,AI与云计算的融合成为大势所趋."深度赋能AI全场景,揭秘你不知道的移动云"技术沙龙,围绕用 ...
技术赋能教育直播，保利威玩转“5G+AI”
更多精彩内容请关注我们俗话说,人无远虑,必有近忧. 直播作为在线教育的重要手段之一,近几年在我国快速崛起,2018年出现了一个发展高潮.无论是1对1还是1对多,也无论职业教育还是传统的管理培训,在线 ...
汇正财经靠谱吗？先进 AI 技术赋能教育，AI 教育商业化有望加速
随着 AIGC 产品的商业化落地,越来越多企业开始接入 AI 大模型,其应用场景也涉及到了众多行业领域,其中教育与 AI 应用场景高度契合,落地潜力显著,能够实现高度适配教育个性化.高频互动的需求.同 ...
Android端基于OpenCV边缘识别技术
本文所采用的技术大体来源于网络上另一作者的开源项目,https://pqpo.me/2017/09/11/opencv-border-recognition/#reward,只是对其智能裁剪部分做了优 ...
【华为云技术分享】云图说 | 华为云智能边缘平台IEF：智能边缘让AI触手可及
云计算是集中化的,离终端设备(如摄像头.传感器等)较远,对于实时性要求高的计算需求,把计算放在云上会引起网络延时变长.网络拥塞.服务质量下降等问题.而终端设备通常计算能力不足,无法与云端相比.在此情况 ...

从端到边缘，无线技术赋能AI边缘计算处理器

从端到边缘，无线技术赋能AI边缘计算处理器相关推荐

最新文章

热门文章