全站最详细OpenCV AI开发套件OAK(OpenCV AI Kit)介绍
消息快播:OpenCV众筹了一款ROS2机器人rae,开源、功能强、上手简单。来瞅瞅~
编辑:OAK中国
来源:oakchina.cn
内容可能会不定期更新,最新内容请参考源地址。
前言
Hello,大家好,这里是OAK中国,我是助手君。
OAK相机相比于realsense这类老牌3D相机而言,确实属于新星产品。不少新朋友是被OAK的开源生态及一些demo视频所吸引,希望深度了解OAK。所以本期内容,我们会回顾一下OAK的诞生并解答几个关键问题,如:
- OAK是什么?
- DepthAI是什么?
- 我们能用OAK做什么?
- OAK的优势在哪里?
OAK的诞生
OAK的创始人Brandon Gills在采访中表示,OAK的最初灵感源自他想构建一个预防自行车事故的嵌入式系统。
在构建原型的过程中,Brandon发现,在解决嵌入式空间神经网络推理问题的时候(类似于人眼,我们能从不同角度识别物体,还能定位物体的位置,物体的尺寸大小等),我们很难找到一个整合好的,性能强大的软硬件平台,让开发者能够把主要精力集中在自己产品的功能实现上,而不用为了一堆硬件,驱动,兼容性,可移植性,稳定性,功耗而头疼。为了解决这些痛点,OAK诞生了。
OAK是什么?
OAK全称OpenCV AI Kit,是OpenCV官方指定的计算机视觉和人工智能开发套件。
硬件
OAK搭载了一颗4K/60fps的彩色摄像头,两颗黑白摄像头用于双目测距。
设计细节
OAK设计成直接将MIPI连接到主芯片, 这使得图像不需要经过主机从而直接用于后续处理,以此节省图像传输的消耗。
为了使这种功能可以集成到实际产品中,并使硬件集成更加容易,OAK设计者制作了一个系统模块(SoM)来容纳Myriad X。
部分功能
- 神经推理,例如:目标检测,图像分类。支持基本上目前所有主流神经网络框架和神经网络
- 双目测距,利用左右两颗摄像头探测距离
- 3D对象定位,可以将2D的物体检测扩充到3D(利用双目测距)。
- H.264和H.265编码,HEVC,1080p和4K 30帧视频编码。
- 对象跟踪,可以对对象的轨迹进行跟踪记录
OAK和OpenCV
OpenCV的CEO看到OAK的价值,并和OAK的开发团队进行深度的合作。OpenCV也是大力宣传推荐OAK,并指定OAK为其推荐的AI学习套件。
为此,OpenCV官方在2020年举办的OpenCV Spatial AI竞赛(OpenCV成立20周年庆典的一部分)中的主要任务便是开发利用OpenCV AI套件(OAK-D)的应用程序。英特尔也大力赞助了这次竞赛。
在竞赛中,选手们为OAK贡献了很多开源的创新解决方案和代码,能够帮助初学者和相关研究人员快速上手和掌握人工智能相关的开发和研究。
DepthAI是什么?
DepthAI 是嵌入式空间 AI 平台, 由开源硬件、固件、软件生态系统组成, 提供完整并可立即使用的嵌入式 Spatial AI 和硬件加速的计算机视觉解决方案。
它为嵌入式系统提供了实时的信息:物体是什么以及它在物理空间中的位置。除了现成的 AI 模型,它也可以与自定义模型一起使用。
DepthAI是一个完整的自定义硬件平台。固件,软件和神经网络推理、深度视觉和物体跟踪结合在一起,30秒一键解决。对于需要在单个设备中实现AI、深度和跟踪功能的用户来说,这是目前非常优秀的一体化解决方案。它也是开源的,包括硬件,软件和AI推理。因此OAK的所有软硬件设计都可作为参考设计,将OAK的功能集成到用户自己的产品中,可以轻松快速地进行产品生产。
DepthAI与OAK
可以简单理解为OAK为设备名,DepthAI是OAK所使用的软件库的名字。
我们能用OAK做什么?
边缘检测
这边缘检测,我愿称之为最强!还要什么canny,matlab! OAK完全可以吊打!
人脸识别,比如日常生活中的刷脸,DepthAI通过摄像头获取的人脸图像与人脸库中获取的图像,运行模型进行比对判断。
车辆车牌识别
点云
3D神经网络推理
物体识别定位
社交距离提醒
更多实际应用可以关注B站账号:OAK中国
以上仅仅只是使用OAK实现的几个示例,这三个示例提供完整的源代码,开箱即用,但OAK的能力并不仅限于此,利用OAK的实时AI和空间感知能力,它可以帮助机器人完成很多事情,甚至人类能做但不想做的事情。例如:
- DepthAI的实时性和完全在设备上的特性使它适合用于检测危险的发生。想象一下工地上工人戴着智能头盔,当叉车要驶过工人时会警告工人。又或是这是一辆智能叉车,它可以分辨出什么物体,它在哪里,并防止操作员在有人的地方行驶或是撞到关键设备。深度+AI的结合使这种系统可以在人员,设备等周围建立实时的“虚拟墙”。
- 无人机的感知与回避,在GPS无响应的情况下进行自我导航识别周围环境,寻找合适的地点迫降。
- DepthAI可以告诉机器人采摘者草莓的成熟度,这样机器人就只会采摘成熟度高的草莓了,而不会采摘成熟度低的草莓。并且可以在采摘/包装过程中按成熟度进行排序。
以上仅仅只是我们简单的设想,事实上大部分需要AI、深度信息的应用都可以使用OAK来完成。
OAK的优势在哪里?
除非购买高级的双目相机,否则主机需要运行立体匹配算法,这将会占用大量的CPU资源。在使用AI加速设备时主机必须对推理过程进行调度,它必须通过USB设备将摄像头、CPU之间的数据发送到神经推理设备(例如NCS)。因此,CPU使用率变高,并且传输过程非常低效……因此运行的非常缓慢。你可以在下面看到在带有NCS2的Raspberry Pi上只运行AI的情况,最大速度为8FPS(主机CPU已满),而DepthAI在AI,深度和编码方面可以达到25FPS以上(完全不使用主机CPU)。
在OAK中,这不是问题。OAK固件可以执行所有操作:深度,对象检测,将对象重新投影到以米为单位的x,y,z位置(以及其他一些功能,例如h.264 / h.265编码,对象跟踪等)。所有这些都直接在 OAK 上的图像传感器中进行,而没有对主机造成负担。因此,不需要占用主机资源,你可以获得目标的XYZ位置,1080p或4K视频编码的视频流。
OAK能够与很多东西兼容。这是由OAK生态系统的开源特性决定的,用户可以简单地使用OAK的 API。因此,任何运行OpenCV的主机都可以与OAK一起使用,包括Linux(Ubuntu,Raspbian等),Mac和Windows。
通过SPI接口,串口,任何微控制器都可以和OAK一起使用。
通过网络通讯和供电驱动的POE版本的OAK,所有的OAK版本都是开源的。
如果对测量距离有要求。还有分体式,可以自己安装调节相机基线的版本。当然这一切都是可以根据需求订制或者自己开发的。
参考资料
https://www.oakchina.cn/2021/07/29/opencv-ai-kit/
https://www.oakchina.cn/intro/
https://www.kickstarter.com/projects/opencv/opencv-ai-kit
https://www.kickstarter.com/projects/opencv/opencv-ai-kit-oak-depth-camera-4k-cv-edge-object-detection
https://pyimagesearch.com/2020/07/20/an-interview-with-brandon-gilles-creator-of-the-opencv-ai-kit-oak/
OAK中国
| OpenCV AI Kit在中国区的官方代理商和技术服务商
| 追踪AI技术和产品新动态
戳「+关注」获取最新资讯↗↗
全站最详细OpenCV AI开发套件OAK(OpenCV AI Kit)介绍相关推荐
- 【聆思CSK6 视觉AI开发套件试用】AI控制直流电机转速接口打通
本篇文章来自极术社区与聆思科技组织的CSK6 视觉AI开发套件活动,更多开发板试用活动请关注极术社区网站.作者:oxlm 背景 在访问极术社区时,偶然发现聆思科技的CSK6开发板的评估活动,看CSK6 ...
- 【聆思CSK6视觉AI开发套件试用】AI手势检测识别+编译Helloworld示例
本篇文章来自极术社区与聆思科技组织的CSK6 视觉AI开发套件活动,更多开发板试用活动请关注极术社区网站.作者:Zeee 前言: 首先,感谢极术社区联合聆思科技给予宝贵的试用机会.借助本次对CSK6视 ...
- 【聆思CSK6 视觉AI开发套件试用】AI Demo试用
本篇文章来自极术社区与聆思科技组织的CSK6 视觉AI开发套件活动,更多开发板试用活动请关注极术社区网站.作者:kings669669 AI套件外观 环境搭建 按照官网手册,我在Windows环境下遇 ...
- 【聆思CSK6 视觉AI开发套件试用】-手把手教你控制电磁继电器
本篇文章来自极术社区与聆思科技组织的CSK6 视觉AI开发套件活动,更多开发板试用活动请关注极术社区网站.作者:追梦的人(IT大叔一枚) 一.前言 首先感谢极术社区与聆思科技的信任和支持,有幸参与到C ...
- 【聆思CSK6视觉AI开发套件试用】基于AI手势识别的剪子包袱锤游戏
本篇文章来自极术社区与聆思科技组织的CSK6 视觉AI开发套件活动,更多开发板试用活动请关注极术社区网站.作者:寒冰1988 感谢极术社区联合聆思组织的本次活动,很荣幸得到本次体验国产AI MCU的机 ...
- 【聆思CSK6 视觉AI开发套件试用】CSK6011与STM32F469I 开发板对比
本篇文章来自极术社区与聆思科技组织的CSK6 视觉AI开发套件活动,更多开发板试用活动请关注极术社区网站.作者:冷山 1. 引言 非常感谢极术社区和聆思科技提供的这次试用机会,让我再一次被幸运击中,因 ...
- 【聆思CSK6 视觉AI开发套件试用】头肩、手势识别体验与PWM舵机控制
本篇文章来自极术社区与聆思科技组织的CSK6 视觉AI开发套件活动,更多开发板试用活动请关注极术社区网站.作者:酷电玩家 环境搭建 官方文档详细环境搭建教程:环境搭建 1.下载Git进行安装. 2.安 ...
- 【聆思CSK6视觉AI开发套件试用】Win11下安装全过程处理兼容性问题以及实现亮灯AI头肩检测
本篇文章来自极术社区与聆思科技组织的CSK6 视觉AI开发套件活动,更多开发板试用活动请关注极术社区网站.作者:Wordiansom Win11上并且安装在其他盘的时候会出现的问题坑......(能用 ...
- 华为云HiLens Kit上手初探:一款几乎“零门槛”的AI开发套件
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 近期,华为云推出了一款自带摄像头的多模态AI开发套件,也是边缘AI图像推理硬件设备华为云 HiLens Kit. HiLens Kit支持 ...
最新文章
- self.navigationController push到指定控制器
- 解决mac上mariadb不能远程访问的问题
- php网站如何静态化链接,建站教程之网站URL静态化处理
- leetCode:twoSum 两数之和 【JAVA实现】
- Spacebuilder在Mono上运行修改备忘
- leetcode 470. 用 Rand7() 实现 Rand10()
- Python代码:数字图像处理(DIP)7.1.1图像金字塔example7.1
- 20211124 自动化学科领域高质量技期刊分级目录(控制理论与控制工程)
- mysql同步表到本地_sql 同步远程数据库(表)到本地
- hdu-2421 Deciphering Password 数学姿势
- html在线播放avi视频,Doinb涉嫌踩一捧一?暖心安慰小天,拿kanavi做比较却遭到非议...
- python求解二次规划_二次规划问题
- 如何删除“无法删除文件,无法读取源文件或磁盘”文件
- 前端工程化--yeoman使用
- 人脸识别主要算法原理
- 全网最硬核换脸技术全分析ZAO换脸App
- 学习了罗昭锋的文献管理与信息分析的感受
- chrome书签变透明看不清怎么办
- 微信公众号服务器配置会员卡链接,微信公众号实现会员卡领取功能
- C语言15大头文件介绍
热门文章
- A.Digits Are Not Just Characters---2018横滨区域赛(大模拟)
- 2020三校生英语计算机试卷,【收藏】2020年三校生高考英语听力试运转试卷来啦!...
- 实验2 ARP协议分析
- linux 阵列命令,Adaptec raid卡命令行管理
- Android_2D绘图的学习Paint,Canvas(二)
- 5种 Git workflow 简介
- 2014重庆邮电大学/重邮考研/计算机最全复试资料/c语言程序设计,重庆邮电大学计算机学院复试经验...
- Cesium加载geoserver发布的wms地图服务-设置BBOX参数无效
- 集中式网关VXLAN实验
- 一款好用的ChatGPT工具,安卓app