文献阅读（19）ISSCC 2020
文章目录
- 1 14.2
- 1.1 整体架构
- 1.2 帧间数据复用
- 1.3 卷积数据复用
- 1.3.1 point-wise卷积（1x1卷积）
- 1.3.2 depth-wise卷积
- 1.3.3 普通卷积
- 2 2.4
1 14.2
- 题目：A 65nm 24.7μ μJ/Frame 12.3mW Activation-Similarity-Aware Convolutional Neural Network Video Processor Using Hybrid Precision, Inter-Frame Data Reuse and Mixed-Bit-Width Difference-Frame Data Codec
- 研究机构：清华刘勇攀
- 参考文章：http://www.gongkong.com/news/202002/401140.html
视频有个特点，帧与帧之间相似度很大，能否复用这部分的数据呢？复用这部分的数据有很大的好处：
- 数据分布很小
- 如果用高位宽表示，如8bit，数据还是很稀疏
这会带来三个挑战
- 如何复用数据又不会造成精度损失？
- 如果在不同的卷积中利用数据，处理稀疏性？
- 带宽有限，如何减少数据读写？
1.1 整体架构
这里的accelerator有三个关键特征：
- 利用视频数据中帧间相似性，在传统帧内数据复用基础上新增了帧间复用维度，实现了在不损失网络精度的前提下提高计算速度的效果
- 根据神经网络计算的数据复用与稀疏模式，设计了可配置三种卷积模式的计算单元和带累加功能的存储单元，提高了网络层内数据利用效率和帧间数据复用
- 针对帧间数据复用模式，设计了两通路变比特长度片上片下数据压缩模块，有效降低数据传输量。
整个芯片包括4个PE cluster，每个cluster有32KB activation和8KB权重SRAM
1.2 帧间数据复用
上一帧的结果算完了，先存起来，计算两个网络之间的差值，记得ReLU操作需要恢复出原来的数值，然后把结果相加就好，很牛逼的想法
通常差值都很小，有很多零，而且位宽也很小，可能能到4bit，当然也可能需要8bit，为了不造成精度误差，4bit还是8bit可以动态选择
1.3 卷积数据复用
计算结构如下图，activation竖着走复用，权重横着走复用
1.3.1 point-wise卷积（1x1卷积）
同一竖行，是同一个activation和不同kernel相同位置的权重相乘
不同竖行，是不同的activation，但是不同竖行的权重是一样的
1.3.2 depth-wise卷积
同一竖行，是同一个activation和同一个kernel的同一列的权重相乘
reuses one-column of intra-kernel data with one activation
1.3.3 普通卷积
2 2.4
- 题目：A 7nm High-Performance and Energy-Efficient Mobile Application Processor with Tri-Cluster CPUs and a Sparsity-Aware NPU
- 研究机构：三星
文献阅读（19）ISSCC 2020相关推荐
- 【预训练视觉-语言模型文献阅读】VL-BERT: PRE-TRAINING OF GENERIC VISUAL- LINGUISTIC REPRESENTATIONS（ICLR 2020）
[预训练视觉-语言模型文献阅读]VL-BERT: PRE-TRAINING OF GENERIC VISUAL- LINGUISTIC REPRESENTATIONS(ICLR 2020) 文章目录 ...
- 文献阅读---多年生黑麦草种质中与耐热性相关的生理性状、分子标记和叶绿素分解代谢基因的自然变异
文献阅读-多年生黑麦草种质中与耐热性相关的生理性状.分子标记和叶绿素分解代谢基因的自然变异 本文献于2020年11月发表 杂志:BMC Plant Biology 1. 研究背景 (1)多年生黑麦草简 ...
- 文献阅读笔记：EvolveGraph: Multi-Agent Trajectory Prediction with Dynamic Relational Reasoning
文献阅读笔记 摘要 1 引言 2 相关工作 3 Problem formulation 4 EvolveGraph 5 Experiments 6 结论 EvolveGraph: Multi-Agen ...
- 知云文献翻译打不开_比有道更好用的英文文献阅读翻译神器免费啦
知云文献翻译软件免费啦!您扫下面二维码就就可以得到,不需转发朋友圈.不配一款神器,科研哪来效率!有了这款神器,科研都变得更简单! 用它直接打开英文pdf文献,随便选中一段话,右侧立即给出翻译,不再需要 ...
- 知云文献阅读器_知云文献翻译
记得点击蓝字关注我们哦! 外文文献看不懂! 翻译直译太牵强! 相见恨晚的PDF文献阅读翻译软件---知云文献翻译. 知云文献翻译软件既是一款阅读英文pdf文献或pdf书籍的翻译软件,同时也是一款功能非 ...
- 文献阅读High-throughput sequencing of the transcriptome and chromatin accessibility in the same cell
文献阅读汇报 High-throughput sequencing of the transcriptome and chromatin accessibility in the same cell ...
- 细胞亚器文献阅读二~An ER-Mitochondria Tethering Complex Revealed by a Synthetic Biology Screen
细胞亚器文献阅读二~An ER-Mitochondria Tethering Complex Revealed by a Synthetic Biology Screen 通过合成生物学筛选ER和Mi ...
- 文献阅读总结：网络表示学习/图学习
本文是对网络表示学习/图学习(Network Representation Learning / Graph Learning)领域已读文献的归纳总结,长期更新. 朋友们,我们在github创建了一个 ...
- 【转载】关于文献阅读和科研选题
本文转载自程明明老师博客:https://mmcheng.net/paperreading/ 对于论文的阅读和研究脉络的梳理很清晰,特别是在于找研究方向的建议上:从开山文献开始,会到当事人的角度去 ...
- 文献阅读：Improving neural networks by preventing co-adaptation of feature detectors
文献阅读:Improving neural networks by preventing co-adaptation of feature detectors ----通过防止特征检测器的共适应以改进 ...
最新文章
- 【编程之外】为什么我们要写技术博客？
- C#中 ??、 ?、 ?: 、?.、?[ ] 问号
- 继电反馈法自整定_基于继电反馈PID自整定方法在Buck―Boost电路中应用.doc
- python数据分析图表展示_1行代码实现Python数据分析：图表美观清晰，自带对比功能丨开源...
- oracle视图执行脚本,Sh脚本中查询Oracle v$视图时需要在$号前加转义符“\”
- ruby打印_Ruby程序打印一个数字的乘法表
- 对pca降维后的手写体数字图片数据分类_知识干货-机器学习-TSNE数据降维
- php 串行化数据,PHP中的串行化变量和序列化对象
- 记录——《C Primer Plus （第五版）》第九章编程练习第一题
- 51 单片机 建立 文本文件_笔记系列之单片机原理及应用1
- 网易2018校园招聘编程题真题 合唱
- 房地产“产权分割制”是什么大杀器？
- 成都拓嘉启远电商：拼多多单号批量导入如何操作
- 计算机创造奇迹的英语作文,大学英语作文：创造奇迹-Creating-Miracle.docx
- 微信小程序 获取用户昵称 头像 性别...『并解决获取的头像模糊问题』
- 13种老人不适合带孩子_让老人带娃却遭怒摔！细数13种不适合带孩子的老人！...
- latex如何设置行间距和段间距
- 什么是云计算的？云计算的定义、特征、模型分别是什么？
- element ui table 报错 type check failed for prop “showOverflowTooltip“. Expected Boolean, got Stri
- 屏幕分辨率、DPI、PPI、GIS里面的地图分辨率