CS217 1_Intro Hardware Accelerators for Machine Learning
课程ppt下载:
链接:https://pan.baidu.com/s/1GboyGVsYFvyjYhIJ36ZeDg
提取码:1017
有学习参考知乎严忻恺同学部分笔记内容
https://zhuanlan.zhihu.com/p/357160615
Goal
Design of hardware architectures for accelerating Machine Learning (ML)
课程目的设计加速ML的硬件结构
门课重点有以下几个方面:
1.从计算角度理解机器学习和深度学习
2.传统机器学习核心模块
3.线性代数核心特征
4.如何估计性能、并行度和局部性
5.DNN推理加速器
6.DNN训练加速器和挑战
7.压缩训练
8.机器学习基准
Introduction
训练与推理
我们也可以将传统方法称为软件1.0,机器学习的方法称为软件2.0.因为软件1.0需要编程人员编写代码,同时有相关领域的专长,比如分解问题、设计算法、组成软件系统等等,而软件2.0则只需要编程人员输入训练数据,神经网络模型的权值会自动优化。
更多的数据导致了更大的模型,模型层数越来越多,越来越深,也就可以称为深度神经网络(DNN)
更多的数据导致了更大的模型,模型层数越来越多,越来越深,也就可以称为深度神经网络。
机器学习硬件加速器的发展也从CPU、GPU、FPGA到TPU的诞生,那么今后需要什么硬件架构来加速机器学习。
设计一个硬件加速器有很多关键的问题
首先是我们如何才能使机器学习加速100倍以上?这里的100倍指的是性能功耗比,并且能够适配新的机器学习应用,还有机器学习模型的好用性问题。
第二是我们如何平衡性能和可编程性,是偏向ASIC一样的高能效比还是偏向处理器一样的灵活性。
第三是我们需要一个全栈协同设计。所谓全栈就是从顶到底,包含机器学习算法、编程框架、编译器和硬件。
并行计算、低精度、数据同步、Cache一致性、稀疏化处理
Story
Dennard定律
Dennard定律
Dennard发现,晶体管的尺寸在每一代技术中都缩小了30% (0.7倍),因此它们的面积减少了50%。这意味着电路减少了30% (0.7倍)的延迟,因此增加了约40% (1.4倍)的工作频率。最后,为了保持电场恒定,电压降低了30%,能量降低了65%,功率降低了50%。因此,在每一代技术中,晶体管密度增加一倍,电路速度提高40%,功耗(晶体管数量增加一倍)保持不变。
功耗 Power Dissipation == CV2f
和电压的平方成正比,和频率成正比,和电容成正比,电容又和线长度、晶体管大小和交换延迟相关
但是自2005-2007年前后,Dennard缩放比例定律似乎已经失效。截至2016年,集成电路中的晶体管数量仍在跟随“摩尔定律”增加,但由此带来的性能改善却更为缓慢。我们从ppt中也可以看到缩放比例a已经消失不见了,这是因为同样的面积能够容纳的晶体管增多S2倍,系统频率也增加S倍,但是因为供电电压降低了S^2,电容也减少了S倍,所以**总功耗是不变(Power Dissipation)**的。
Dark Silicon
现在处理器设计中的十分普遍的现象——dark silicon,也叫“暗硅”。某一时刻只能有很少的一部分门电路能够工作,其余的大部分处于不工作的状态,这部分不工作的门电路,就叫做“暗硅”。课程中很形象的给出了暗硅四骑士用于描述特性。
The Four Horsemen of Dark Silicon
The Four Horsemen – Shrink
第一个是小骑士,代表了缩小芯片面积。因为已经基本无效了所以很小。。。这限制了性能,也减少了收益,面积过小还会带来散热的问题。
The Four Horsemen – DIM
第二个是瘦弱骑士,代表着芯片上为了满足功耗要求而降频或者不频繁使用的通用逻辑部分,因为效果很少,所以很瘦弱。。。
The Four Horsemen – Deus ex machina(解围的人)
代表了半导体/CMOS工艺进步的好处。
The Four Horsemen – Specialization
最后一个是狂野骑士,代表着定制化,即高效加速器带来数量级的能效提升。
异构计算是定制化计算的一个重要发展方向,尤其是异构多核系统,可以在片上加速从而提高能效。
CS217 1_Intro Hardware Accelerators for Machine Learning相关推荐
- Machine Learning for Computer Systems and Networking:A Survey ---综述阅读 对于计算机系统和网络的机器学习
摘要: Machine learning (ML) has become the de-facto approach for various scientific domains such as co ...
- AI:Algorithmia《2020 state of enterprise machine learning—2020年企业机器学习状况》翻译与解读
AI:Algorithmia<2020 state of enterprise machine learning-2020年企业机器学习状况>翻译与解读 目录 <2020 state ...
- AI:《Why is DevOps for Machine Learning so Different?—为什么机器学习的 DevOps 如此不同?》翻译与解读
AI:<Why is DevOps for Machine Learning so Different?-为什么机器学习的 DevOps 如此不同?>翻译与解读 目录 <Why is ...
- An Introduction to Hashing in the Era of Machine Learning
In December 2017, researchers at Google and MIT published a provocative research paper about their e ...
- CS190.1x Scalable Machine Learning
这门课是CS100.1x的后续课,看课程名字就知道这门课主要讲机器学习.难度也会比上一门课大一点.如果你对这门课感兴趣,可以看看我这篇博客,如果对PySpark感兴趣,可以看我分析作业的博客. Cou ...
- 机器学习(Machine Learning)深度学习(Deep Learning)资料(Chapter 2)
机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 2) - tony的专栏 - 博客频道 - CSDN.NET 注:机器学习资料篇目一共 ...
- A Full Hardware Guide to Deep Learning深度学习电脑配置
python信用评分卡(附代码,博主录制) https://study.163.com/course/introduction.htm?courseId=1005214003&utm_camp ...
- An example machine learning notebook
原文地址 An example machine learning notebook Notebook by Randal S. Olson Supported by Jason H. Moore Un ...
- TensorFlow: A System for Large-Scale Machine Learning翻译
TensorFlow: A System for Large-Scale Machine Learning 1.Abstract TensorFlow是在大规模和异构环境中运行的机器学习系统. Te ...
- Advances in Financial Machine Learning 导言 (附pdf下载链接)
目录 引言 作者 写作动机 本书结构 面向的核心读者 对读者的要求 pdf下载链接 引言 机器学习目前已经在图像识别.语音识别.自然语言处理等领域应用广泛,极大地改善了我们的生活体验.作为一名研习金融 ...
最新文章
- ThinkPHP 3.1.2 视图 1
- 详解BSCI实验四:配置BGP
- 如何申请一份iOS工作
- boost::format模块测试构造对象和基本解析
- 利用SqlBulkCopy插入数据
- python 复制文件夹校验_Python多任务复制文件夹
- 数模写作必备利器—latex
- webpack-loader(加载器)
- 如何使用SQL Server数据工具中的“可见性”选项降低报告的复杂性
- 【iOS QR Code】集成ZXingWidget(XCode Version 4.5.2,iOS 6.0 SDK)
- lightoj1138
- 网络 4.0 防火墙概述
- TankWar 单机(JAVA版)版本2.3~版本2.4 为坦克画血条
- HDU 4509 hash
- 2022必看花展 IFEX昆明国际花卉园艺展,新展期11月11-13日
- Android实现网络图片app
- 少儿学python真的有用吗_如何看待海淀妈妈们认为Python是儿童才学的低端编程?...
- 科技型中小企业研发费用加计扣除问题解答
- matlab 条件方程组的解,Matlab带约束条件的非线性方程组求解
- 5.询问姓名及电话号码