宝马「试水」神经形态芯片
作为高性能计算的下一个发展阶段，神经形态技术被认为能够大幅提升传统数据处理和机器学习能力。比如，IBM公司2014年8月所公布的百万神经元级别的TrueNorth芯片，在执行某些任务时，其能效可达传统中央处理器的数百倍。
而在汽车行业，神经形态处理器可以更好地应对复杂图像信号的高效处理。此前，特斯拉CEO马斯克也表示，FSD和Autopilot的性能瓶颈在于，需要对周围环境的快速理解来提高准确性，关键是要从现有图像处理技术（2D，或者2.5D）升级到视频的4D处理模式。
“这就像思考，传统的处理方式是对孤立的图片进行图像识别，这些图片在时间上紧密相关，但效果不是很好。然后，我们需要过渡到4D，本质上就是视频实时处理。”马斯克强调。
马斯克于2016年创立了一家名为Neuralink的公司，专注于脑机对接技术的研发：通过植入脑机接口设备（数千个电极探头监视神经元活动），实时读取脑部信号。
如今，宝马公司抢先入局，宣布与SynSense（时识科技）达成合作，推进神经形态芯片和智能座舱的集成，并与宝马共同探索相关领域的技术应用。这标志着，SynSense（神经形态智能和解决方案提供商）的技术将首次应用于智能汽车。
“与传统的解决方案不同，神经形态技术模拟生物神经系统。这是芯片架构上的一项创新，具有端到端低延迟、极低功耗、实时传感和计算等特点。”SynSense的创始成员来自苏黎世的神经信息学研究所(INI)，2017年在瑞士苏黎世成立，公司总部于2020年迁至中国成都。
英特尔正在发力
自从计算机出现以来，工程师一直致力于增加晶体管的密度，并通过软件算法来实现机器智能，也是目前实现AI计算的主要方式，简单的理解，就是主要由一长串IF…THEN…ELSE…语句组成。
随着算法和算力的提升，最终形成一个带有大型规则表的基于规则的软件库。相反，神经学家正在研究人类大脑是如何工作的。他们发现大脑由细胞（神经元）组成，通过线（轴突和树突）连接到其他神经元。利用这些线程，神经元以电子或化学方式向其他细胞发送信号。
和目前的计算机神经网络不同，这些脑组织被称为生物神经网络。目前，人工智能技术公司试图用软件来复制人脑的工作方式，但进展缓慢，并且还要借助于大型服务器。此外，计算机神经网络还需要大量数据的投喂，归根结底还是由程序员决定对给定事件（输入）的反应（输出）。
当训练有素的计算机神经网络被输入一个新事件时，它将其分解成可识别的特征，并根据这些特征的权重，决定如何对事件作出反应。要想追踪一件事为什么会引起特定的反应，通常几乎是不可能的。
这意味着，人工神经网络靠的是正向和反向传播来更新神经元，从而形成一个好的神经系统。本质上，这是一个能让计算机处理和优化的数学模型。而生物神经网络是通过刺激，产生新的联结，让信号能够通过新的联结传递而形成反馈。
在神经形态芯片行业，目前全球不少芯片巨头也在重点研发。
去年10月，英特尔发布了第二代神经拟态芯片（Loihi 2），计算任务是由许多小单元进行的，单元之间通过类似生物神经的尖峰信号相互通信，并通过尖峰调整其行为。
目前，英特尔已经将这种芯片用于机械臂、神经拟态皮肤、机器嗅觉等场景。由于使用了全新工艺，Loihi 2相比前代面积缩小了一半，但仍然包含100万个神经元，数量是前代的8倍，处理速度是前代的10倍。
与普通的CPU和GPU不同，神经拟态没有外部内存。每个神经元都有一小部分内存供其专用。主要作用是分配给不同神经元输入的权重、最近活动的缓存以及峰值发送到的所有其他神经元的列表。
英特尔神经形态计算实验室主任Mike Davies表示，Loihi在某些特定工作负载上，可以比传统处理器效率高出2000倍，此外，神经拟态计算还能实现动态学习行为。
宝马看好未来
本次与宝马合作的SynSense时识科技，同样有自己的专利储备：DYNAP技术（Dynamic Neurormorphic Asynchronous Processor），帮助可配置、通用、实时响应的神经网络在脉冲神经元中的实现。
与宝马在神经形态技术领域的合作，将集中在SynSense的动态视觉智能SoC—Speck上，通过低功耗SNN视觉处理器与基于事件的传感器集成在一个单芯片中，同时执行神经形态的感知和计算，并采用全异步电路设计。它可以捕获实时的视觉信息，识别和检测物体，以及其他基于视觉的检测和交互功能。
动态视觉技术的本质在于基于事件的视觉。它不通过静态帧率记录整个场景，而是捕捉场景中的变化。得到的图像只包含操作相关的数据，视觉处理只在事件触发计算时消耗能量，从而减少了数据冗余和延迟，同时也保护了隐私。
“Speck不需要缓存或额外的摄像头。它可以捕捉视觉事件信息，处理实时信息计算，并进行智能场景分析，功耗不到1毫瓦，端到端延迟为5-10毫秒。”宝马相关负责人表示，期待神经形态智能带来全新的未来驾驶体验。
从SynSense官网获取的信息显示，Speck是一个完备的、多核的脉冲神经网络处理器芯片，实现了基于异步逻辑范式的大规模脉冲卷积神经网络（SCNN）芯片架构。芯片最多可配置高达32万脉冲神经元并且芯片内部集成了动态视觉传感器（DVS）为其提供实时高效的动态视觉输入。
在传统应用场景下， Speck可在mW级的超低功耗、mS级的实时响应下，完成智能场景分析；可以广泛应用于移动设备、物联网（IOT）、智能家电、智能安防、智慧养殖等领域。
在开发套件方面，该公司提供DYNAP™-CNN开发套件，提供毫瓦级可编程卷积视频处理能力。该套件可以在毫瓦级功耗内完成实时面部检测、 实时手势识别、实时目标分类等视觉任务。
DYNAP™-CNN开发套件支持直连或通过PC连接DVS相机。利用时识科技开源Python库SINABS轻松搭建高达9层的卷积神经网络， 并且最少仅需一行代码即可在DYNAP™CNN开发套件上完成网络部署。
此外，这项技术还可以用于低功耗的语音识别与口令识别，通过连续监测可穿戴设备的心电信号、肌电信号等，实现低功率（sub mW）边缘感测处理和异常的瞬时检测。
颠覆传统视觉感知
而在智能驾驶应用上，事件相机正在进入行业视野。这块细分市场，同样也是神经形态芯片的擅长领域。
众所周知，目前市场采用的基于帧检测的视觉感知，与卷积神经网络配合可以部署识别和分类物体，包括人、动物、车辆、道路标志和各种其他障碍物。
但弊端也比较明显，比如，系统通常成本高昂，并且需要高能耗的CPU或者GPU。其次，以预定的帧率捕获视觉信息，增加了图像处理的数据吞吐量要求。
而基于事件的成像原理，传感器仅跟踪场景中的变化，不会传输在摄像头视场中保持不变的任何事物。它与传统摄像头不同，没有帧，每当单个像素中光强发生变化时，它就会累积。
“基于事件成像的主要优势是，在检测和跟踪应用中，能够以比基于帧的图像传感器快1000倍的速度捕获运动图像。”一家研发相关技术的公司负责人表示。
在事件相机的感知中，对于每一个像素，当灰度值的变化超过一定的阈值之后，该像素位置就会产生一个输出，然后根据灰度是增加还是减少输出对应的极性。
目前，一些汽车制造商也已经盯上了这项技术可能带来的巨大潜在机会。去年初，戴姆勒与驾驶辅助系统开发商Terranet AB签署了一份开发采购协议，看中的就是后者推出的突破性3D动作感知技术VoxelFlow。
VoxelFlow采用的就是基于事件的感知技术，使用非常低的计算能力以极低的延迟对动态移动对象进行分类，每秒产生1000万个3D点，从而在没有运动模糊的情况下快速检测到移动物体。
此外，基于事件的传感器系统可自动持续校准，同时也可以提供自动驾驶系统所需的角度和距离分辨率。与激光雷达系统相比，在大雨、雪和雾等恶劣天气也表现良好。
一些行业人士表示，潜伏多年的事件感知（属于神经形态技术）视觉传感器行业最近几年又开始卷土重来。此外，面对数据带宽的限制和不断上升的计算需求，长期来看，传感和计算也必须通过模仿神经生物学架构来重构技术路径。
此前，时识科技的一篇CVPR联合发文就是聚焦：基于事件流与图像帧的合成孔径成像，通过对遮挡场景进行多视角观拍摄，并通过对焦与合成实现对被遮挡目标的成像。
为了解决事件流与图像帧存在的数据模态差异问题，该论文提出了一种混合网络（脉冲神经网络+卷积神经网络），从多模态数据中提取目标特征并互补地进行融合与亮度重建，从而实现了对遮挡场景鲁棒的高质量合成孔径成像系统。
就在今年3月份，SynSense时识科技联合创始人、苏黎世大学及苏黎世联邦理工终身教授Giacomo Indiveri的联合署名发表在线学习类脑芯片最新成果的文章，录入芯片顶级学术会议ISSCC 2022，这也是具有在线学习能力的类脑芯片第一次发表于ISSCC。
这篇文章提出了全新的类脑在线学习仿生算法，将在线学习时间长度提升到秒级，并通过芯片实现得到验证。该解决方案无需外部存储、无需网络预训练，可以有效胜任多种复杂在线学习任务。
同时，基于事件驱动及稀松计算特性，该类脑芯片在不高于150uW功耗下，可以实现10种动态手势的学习和识别，准确率达到87.3%；在关键词识别任务精度可以达到90.7%；二进制决策导航精度高达96.4%。
目前，GPU主导人工智能应用市场，但许多人认为，下一代AI芯片（包括可能的类脑芯片）可能很快会取代GPU。“人工智能还处于非常早期的发展阶段，下一代硬件和软件组合最终可能会取代现有的市场领导者。”
宝马「试水」神经形态芯片相关推荐
- 效率达CPU一万倍的神经形态芯片发布后，英特尔引发了多方吐槽
安妮 发自 凹非寺 量子位 出品 | 公众号 QbitAI 在正在举行的2019电子复兴峰会上,英特尔推出了一个类脑芯片系统,让吃瓜群众一下子来了精神. 这个系统名为Pohoiki Beach,看起来 ...
- 效率达CPU一万倍、内含800万神经元：英特尔发布神经形态芯片超算
效率达CPU一万倍.内含800万神经元:英特尔发布神经形态芯片超算 人类大脑由 860 亿个互相连接的神经元组成,英特尔最近推出的类脑芯片系统 Pohoiki Beach 向「模拟大脑」这一目标前进了 ...
- 二本学生连发10篇SCI直博香港城大，被质疑「灌水」，本人回应！
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 本文来源:青塔人才.知乎Molecule 7月10日,来自徐州工程学 ...
- 澳大利亚研究者研制出一种计算机芯片 他们,快讯：几乎看不见的3D打印机器人；西澳大利亚大学的研究人员开发出一种保护生态机器鱼；效率达CPU一万倍的神经形态芯片发布！...
[佐治亚理工学院研发了一种3D打印的微型机器人,这些微型机器人有朝一日可能会分组工作,以感知环境变化,移动材料,并可能有一天在人体内修复伤害.] 科学家们正在努力完善可以同时进行一项工作的小型机器人, ...
- 连发10篇SCI！徐州二本学霸全奖直博香港城大引热议，被疑论文「灌水」严重...
来源丨新智元 编辑丨yaxin 来源:zhihu 编辑:yaxin [导读]近日,一位徐州工程学院的本科生万仲禹连发10篇SCI,直博香港城市大学,却被网友怀疑严重「灌水」,引发热议.当事人对此进行回 ...
- 最早的忆阻器与神经形态芯片
什么是忆阻器? 忆阻器最早是蔡绍棠教授在1971年从电路理论完备性的角度预测的一种器件.顾名思义,忆阻器就是记忆电阻的器件.理论上的忆阻器指磁通与电荷之间求导为常数的器件.这种解释方式比较麻烦,直观的 ...
- 【NLP】一次性生成完整句子！Salesforce发布全球首个「全并行」神经翻译系统
原文来源:Salesforce Researc 作者:JiataoGu. James Bradbury 「雷克世界」编译:嗯~阿童木呀.多啦A亮 Salesforce研究院去年了成立研究院,之后又发布 ...
- 深度解析：特斯拉「最强」自动驾驶芯片？
作者 | 唐杉 来源 | StarryHeavenAbove 在近日结束的Tesla Autonomy活动中,Tesla非常"大方"的介绍了自己的Full Self-Driving ...
- 把大脑「复制-粘贴」到芯片上，三星、哈佛的大胆设想登上Nature子刊
视学算法报道 编辑:张倩.蛋酱 三星 & 哈佛:我们有一个大胆的想法-- 人的大脑有很多令人惊叹的优点,比如功耗低(相当于一个 20 瓦的灯泡).学习快(人类幼崽看几张图就可以学会一个概念). ...
- GPU 「抗压」不行还费电，FPGA将成深度学习「新基建」
深度学习的突飞猛进,给GPU插上了腾飞的翅膀,英伟达和AMD的显卡成为人工智能的「硬通货」.但是GPU固有的一些缺陷,让它的大规模应用受到约束,更加抗造的FPGA有望成为AI新的「底层建筑」. 过去十 ...
最新文章
- ASP.NET中进行消息处理(MSMQ) 一
- 世界人工智能大会 | 腾讯攻坚AGI，与机器人配合，推医疗全链条
- linux中的集线器、交换机、路由器及组网
- C＃Convert.ToInt32（char）方法-将char值转换为int
- 查看python安装位置图_python安装路径怎么找
- python数据类型-列表练习
- 《WinForm开发系列之控件篇》Item12 DateTimePicker(暂无)
- 学习笔记|JSP教程|菜鸟教程
- 批量下载基因的蛋白质氨基酸序列
- Arcgis应用（十二）栅格数据翻转(Flip)、镜像(Mirror)、重缩放(Rescale)、旋转(Rotate)、移位(Shift)、弯曲(Warp)
- 曾经以为老去是很遥远的事情
- 广联达报错access_广联达软件报错问题汇总和解决方案.doc
- word 编号圆圈里面带个数字的输入
- 看电影哪款蓝牙耳机降噪效果最好？性价比降噪蓝牙耳机推荐
- JS删除数组对象中指定元素对应的对象
- matlab模拟双星问题,物理定律、数学模型告诉你，天下有情人终将分手！
- 计算机键盘锁不了怎么办,电脑键盘被锁,打字打不出来怎么处理,
- 便利蜂是“冬眠”还是“假寐”，只有时间知道
- android studio视频教程
- torch之线性拟合