光芯片上的全光脉冲神经网络
Nature昨天刊登了德国明斯特大学的一篇最新进展，研究人员在光芯片上实现了脉冲神经网络(spike neural network)。先睹为快，这篇笔记主要介绍下这篇进展。研究人员将氮化硅波导与相变材料结合，实现了监督式和非监督式的机器学习，并演示了对15个像素图片的模式识别。
关于相变材料(phase changing material, 以下简称PCM), 小豆芽之前的一篇笔记 基于光芯片的内存内计算(memory-in computing)提到过。研究人员采用相同的材料GST(全称为Germanium Antimony Tellurium), 它可以在晶体和非晶态之间切换。GST通过溅射的方法沉积在SiN波导上方。GST的折射率随波长变化曲线如下图所示, 当PCM处于非晶态时，它的吸收率较小，而当它处于晶体态时，吸收率较大。基于这一性质，它可以作为神经网络的权重单元(weights)，用来调控SiN波导中的光强，
(图片来自文献1)
光脉冲神经网络的结构如下图所示，
(图片来自文献1)
而典型的神经元结构如下图所示，
比较上面两幅图片，可以看出光学脉冲神经网络的结构与生物神经元结构非常类似，两者之前存在一种对应关系。对于光学脉冲神经网络，不同波长的光脉冲序列输入进PCM构成的突触单元(synapse), 经过PCM的作用，脉冲强度发生变化，对应于乘法器。进而借助于微环结构，将不同波长的脉冲导入进同一波导中，该功能类似加法器。相加后的脉冲光强较小时，probe光与微环发生共振，在输出端口没有光强输出。当光强达到一定的阈值后，probe信号不再和微环发生共振，而是传播到输出端口。这一过程类似神经元脉冲信号的激发，扮演了非线性激活函数的功能。基本的光学结构单元如下：
1. 含PCM的波导
下图中的结构I, 作为突触单元，调控光脉冲信号的强度，相当于乘法器
2. WDM波分复用器
下图中的结构II, 采用微环结构，将不同波长的光脉冲导入到同一根波导中，相当于加法器
3. 含PCM的微环结构
下图中的结构VI, 作为非线性激活函数。当脉冲能量超过430pJ时，“激发”一个光脉冲。
(图片来自文献1)
整个信号处理过程分为四步: 1)Weighting, 2)Mux, 3)Sum, 4) Output。典型的光路结构如下图所示，下图对应三个神经元结构。
(图片来自文献1)
利用上图的单个神经元结构，研究人员验证了监督式机器学习和非监督式机器学习。对于监督式机器学习，权重的数值通过外部的supervisor设置。
(图片来自文献1)
左图对应1010的识别，右图对应1100的识别。
对于非监督式机器学习，不再需要外部的supervisor来设置权重值，而是通过输出光脉冲进行反馈控制，调整权重值，如下图所示。当光脉冲信号产生时，增加对应的权重值，而没有光脉冲信号产生时，减小对应的权重值。下图展示了对0110的识别过程。
（图片来自文献1）
上述的演示都是针对单个神经元的，对应2x2矩阵的操作。进一步，他们提出了更复杂的光学脉冲神经网络结构，证明该结构的可扩展性。神经网络中的每一层结构，如下图所示。每一层包括三个功能单元，即收集器collector、分发器distributor和神经突触结构neurosynapse。收集器将上一层不同波长的光脉冲信号收集到同一根波导中，分发器将光脉冲分发给N个神经元，神经突触结构则产生光脉冲信号，输入给下一层结构。
(图片来自文献1)
基于上述的架构，他们进一步演示了对字母ABCD的识别。光路中包含4个神经元，每个神经元包含15个突触，对应识别含15个像素的图片。整个芯片包含140多个光器件，如下图所示。由于涉及到15个波长，收集器不是在片内实现的，而是通过外部的WDM实现。
(图片来自文献1)
可以看出，该结构能够较好地识别ABCD这四个字母。
小豆芽的几点comment：
1) 神经网络所需的功能单元全部都可以在光芯片内实现，而MIT研究组的方案中激活函数是通过片外电学方法实现。这是该方案的一个优势和新颖之处。
2) 采用微环结构，微环是对工艺、温度、波长非常敏感的。如果该方案想进行大批量生产，这会是一个非常大的挑战。当然，可以通过热调的方法进行补偿，但是这会带来额外的功耗。
3) 由于采用了特殊的PCM材料，目前还没有硅光foundry支持这一工艺。
4) 采用波长编码，目前演示的是含15像素的图片识别，涉及到15个波长。如果矩阵的规模进一步变大，例如10x10, 就会涉及到100个波长。这就需要可处理100个波长的波分复用器件，无论是在片内还是片外，实现起来都是非常有难度的。或许，较大的矩阵能拆分成小矩阵进行处理，可以规避这一问题。
文章中如果有任何错误和不严谨之处，还望大家不吝指出，欢迎大家留言讨论。
参考文献：
1. J. Feldmann, et.al., "All-optical spiking neurosynaptic networks with self-learning capabilities"， Nature 569, 208(2019)
光芯片上的全光脉冲神经网络相关推荐
- AI一周热闻：华为豪掷3.3亿剑桥买地，自建光芯片工厂；比特大陆IPO失败，组织架构调整...
导读 华为豪掷3.3亿剑桥买地,自建光芯片工厂 苹果春季发布会无硬件发布,转型之心迫切 比特大陆IPO失败,组织架构调整,王海超任CEO 特斯拉起诉小鹏汽车员工窃取商业机密 英伟达发布GauGAN,线 ...
- 激光雷达赛道“白刃战”？硅光芯片级FMCW技术进入量产周期
芯片级封装.图像级分辨率.直接获取每个像素的瞬时速度,被视为激光雷达的下一个时代.去年,Mobileye宣布将自主研发硅光芯片+FMCW(调频连续波)技术路线,计划2025年量产. 如今,一家名为Ae ...
- 斯坦福证明神经网络能直接在光学芯片上训练
来源:全球人工智能 摘要:据报道,美国斯坦福大学的研究人员已经证明,可以直接在光学芯片上训练人工神经网络. 据报道,美国斯坦福大学的研究人员已经证明,可以直接在光学芯片上训练人工神经网络.这一重大突破 ...
- SFP28光模块上的芯片及功能
[电芯片] MCU:主控芯片,用于通信业务.数字诊断等 CDR with Driver:时钟数据恢复芯片,有CDR bypass.CDR loopback等多种功能 Driver用来驱动激光器 TIA ...
- 脉冲神经网络在目标检测的首次尝试，性能堪比CNN | AAAI 2020
译者 | VincentLee 来源 | 晓飞的算法工程笔记 脉冲神经网络(Spiking neural network, SNN)将脉冲神经元作为计算单元,能够模仿人类大脑的信息编码和处理过程.不 ...
- 人工神经网络秒变脉冲神经网络，新技术有望开启边缘AI计算新时代
点击上方"AI遇见机器学习",选择"星标"公众号 重磅干货,第一时间送达 来自:机器之心 能更好模仿生物神经系统运行机制的脉冲神经网络在发展速度和应用范围上都还 ...
- 3D芯片大脑：在芯片上培养脑细胞，还能用来测试新药
来源:MEMS 在科学实验中,研究人员往往首先以小白鼠为实验对象.虽然是科研需要,但有人谴责这是对生命的亵渎.此外,动物测试成本高且耗时,同时无法精确体现人类的反应.那么有没有其他替代品呢? 来自劳伦 ...
- 强化学习中的脉冲神经网络
简 介: 脉冲强化学习是最近兴起的将脉冲神经网络应用到强化学习中的一个研究领域.固然脉冲神经网络的引入会给强化学习带来一些新的东西,但目前的研究仍然仅仅满足于如何让算法收敛,而没有发挥出脉冲神经网络独 ...
- 深度学习进入芯片领域，揭秘寒武纪神经网络处理器
深度学习进入芯片领域,揭秘寒武纪神经网络处理器 2016-03-16 19:34 原创 铁流 10条评论 就在全世界媒体的焦点锁定于谷歌AlphaGo连续3盘战胜李世石的同时,中国科学院计算技术研究所 ...
最新文章
- linux挂载点的容量设置
- clang 搭建和编译boost 和zero ICE库 (Ubuntu10 64)
- 打造GTD style的办公环境 V1.0
- gj7 对象引用、可变性和垃圾回收
- Vue项目中公用footer组件底部位置的适配问题
- c语言logo,真好玩 C语言输出Yahoo动态logo
- 我的奇思妙想机器人消防员_我是小小消防员（绘画篇）|来啊~斗图啊~看一场奇思妙想SHOW！...
- 5. vector 模板类型？ 数据类型？
- Web development mistakes
- （3）FPGA面试技能提升篇（TCL脚本）
- 设计师找灵感？集设用作品打动世界的窗口
- 十进制四则运算计算器代码，输入为字符串
- java通道 硬件通道 如何联系_Java NIO5：通道和文件通道
- c# 的多页打印 [用 PrintDocument 不用水晶报表]
- 雅马哈机器人编程讲解_雅马哈机器人配置方法之西门子S7-1500控制技巧分享
- 效率直接起飞的PPT技巧，你知道吗
- 不是HR，Leader你会面试应聘者吗（如何起好手中的扑克牌）
- Python笔记4：控制流
- win10启用或关闭windows功能空白终极解决办法
- 计算机毕业设计Java“小蜜蜂”校园代取快递系统(源码+系统+mysql数据库+lw文档)