遇到的挑战：

如何找到最优的并行方案，不同并行方案的效率有很大差别？
新的平台一直出现，如何快速适应新的算子、平台？

如何自动生成对机器学习算法的优化？

计算图方面的优化；
并行的优化；
不同平台的优化；

团队在计算图上的优化：

什么是计算图优化？

这个图和指令流图类似；
定义一些运算规则对图进行优化，比如算子融合；（规则很复杂，目前有500+）

计算图优化存在的问题？

问题：鲁棒性问题，因为平台比较多，优化得可能不好；
问题：扩展性问题，不断地有新的硬件平台和算子出现；
问题：性能，采用程序优化很难有针对性，错失一些优化机会；
举例：先把简单算子复杂化，然后会出现合并的机会；
1. 即使如此，对于有些平台，可能优化后的图性能会更差，因此很难将其添加到优化规则中；
总结，图优化的复杂性；

解决办法？

不手工去定义规则，用程序优化；而是提供一种方法，自动地优化，并评估优化后的质量；
1. 好处，减少代码量；
2. 好处，可以带来最佳三倍的性能提升；
什么是图替换？
1. 图的等价性，即优化前和优化后的图是等价的，执行的结果相同；
TASO 的工作流程：
1. 先输入硬件平台的算子集合；
2. 由图替换生成器，生成可能的替换规则；
3. 由图替换验证器，验证图替换规则的正确性；
4. 正确的图替换规则，会添加到图替换规则中；
如何生成可能的替换规则，如何验证替换规则的正确性？
1. 利用图指纹技术生成可能的替换规则；
2. 利用算子描述和定理证明器，验证替换规则的正确性；
图替换规则生成器；
1. 根据硬件平台支持的算子，枚举所有可能出现的图；
2. 由于枚举空间过大，只考虑有限规模的图，比如四个算子的图；
3. 四个算子的图一共由66M个，考虑等价性，如果一一对比，则平方关系，复杂性高；利用图指纹技术产生随机化的输入，相同输入的输出一致，则图等价；（类似于FM的一致性验证）错了是相同输入的输出不一致，则图必然不等价，只考虑输出结果一致的图；
4. 下一步，要验证对任意输入的等价性，包括可以使用数学逻辑等；
5. 可以利用自动的图定理证明器，证明图替换规则的等价性；
6. 即便是新增加了算子，也只需要根据算子为图定理证明器定义一些规则，就可以自动的进行验证；
图优化器，考虑使用哪些替换规则；
1. 主要基于每个算子的开销（硬件上测量），以评估图的开销；
2. 根据算子，重新把过程跑一遍，大概只需要10分钟；
该方法的优化效果；
1. 标准测试集能够达到近似的效果；
2. 而对于新的结构，还没有被完全手工优化，因此效果比较好；

未来：

考虑是否可以将TASO基于图的优化，和TVM基于算子的优化结合起来；
TASO好像是开源的，可以体验一下；

CNCC2020_贾志豪_Automated Discovery of Machine Learning Optimizations相关推荐

ML之Medicine：利用机器学习研发药物—《Machine Learning for Pharmaceutical Discovery and Synthesis Consortium》
ML之Medicine:利用机器学习研发药物-<Machine Learning for Pharmaceutical Discovery and Synthesis Consortium> ...
读贾志鹏线性筛有感 (莫比乌斯函数的应用)
先拜大牛.感谢贾志鹏严谨的思维.以及简单清晰的论文描述. 一定要结合论文看.我只是提出我觉得关键的部分.论文在网上随处可见.贾志鹏线性筛. 开头两种线性筛的比较. 一种是传统的线性筛.时间复杂度为N* ...
大坝平台结构——志豪未来科技有限公司
大坝平台结构--志豪未来科技有限公司 ---- 心得一开始我们小组成员经过激烈讨论选择了河.湖.大坝管理平台,感觉比较有实战意思,虽然其他也是差不多,但是我们钟爱这个,然后我们就开始找参考材料,经过 ...
数字联接新动能 | 专访亿联IT总监赖志豪：AI是亿联未来数字化建设的方向
数字化,近些年来一直是一个炙手可热的话题.尤其在市场快速变革的商业世界,数字化系统能够帮助企业管理者快速掌握企业内外部的各类核心信息,为业务赋能,为决策提供精准洞察. 在数字化建设的道路上,亿联网络也 ...
Resource of computer vision, pattern recognition, machine learning etc.
Resource of computer vision, pattern recognition, machine learning etc. 1.牛人 Serge Belongie at UC Sa ...
【github】机器学习(Machine Learning)深度学习(Deep Learning)资料
转自:https://github.com/ty4z2008/Qix/blob/master/dl.md# <Brief History of Machine Learning> 介绍:这 ...
机器学习(Machine Learning)深度学习(Deep Learning)资料汇总
本文来源:https://github.com/ty4z2008/Qix/blob/master/dl.md 机器学习(Machine Learning)&深度学习(Deep Learning ...
机器学习----(Machine Learning)深度学习(Deep Learning)资料(Chapter 1)
文章转至:作者:yf210yf 感谢您提供的资源资料汇总的很多,转载一下也方便自己以后慢慢学习注:机器学习资料篇目一共500条,篇目二开始更新希望转载的朋友,你可以不用联系我．但是一定要保留原 ...
机器学习(Machine Learning)深度学习(Deep Learning)资料【转】
转自:机器学习(Machine Learning)&深度学习(Deep Learning)资料 <Brief History of Machine Learning> 介绍:这是一 ...

CNCC2020_贾志豪_Automated Discovery of Machine Learning Optimizations

文章目录

遇到的挑战：

如何自动生成对机器学习算法的优化？

团队在计算图上的优化：

什么是计算图优化？

计算图优化存在的问题？

解决办法？

未来：

CNCC2020_贾志豪_Automated Discovery of Machine Learning Optimizations相关推荐

最新文章

热门文章