python内存结构_陈天奇:内存张量结构DLPack的PythonAPI来了
陈天奇:内存张量结构DLPack的PythonAPI来了
新智元2021-02-28 14:25:22
【新智元导读】DLPack是一种开放的内存张量结构,用于在框架之间共享张量,近日,开发者陈天奇更新社交媒体详细介绍了为DLPack添加PythonAPI、语义和实现细节的内容。
大家知道DLPack吗:
深度学习从业人员或多或少都会有了解,诸如 Tensorflow、PyTorch 等深度学习框架,确实为深度学习的快速原型设计和模型部署提供了强大的工具箱。
但是,不幸的是,它们的易用性通常以碎片化为代价:
他们仅仅限于对每个框架单独使用,如果对框架进行垂直整合,那么开发流程可以适用于常见用例,但实际上,打破常规可能会是个非常棘手的问题。
一种解决的方法是,在内存中直接将张量从一个框架传递到另一个框架,而不发生任何数据复制或拷贝。
而DLPack,就是张量数据结构的中间内存表示标准,它是一种开放的内存张量结构,用于在框架之间共享张量。
它提供了一个简单、可移植的内存数据结构:
DLPack使:
在深度学习框架之间更轻松地共享操作员。
更容易包装供应商级别的运营商实施,允许在引入新设备/操作时进行协作。
快速交换后端实现,如不同版本的BLAS
对于最终用户来说,这可以带来更多的运营商,并且可以在框架之间混合使用。
下载地址:
https://gitee.com/mirrors/DLPack
此外,DLPack的开发者不打算实现Tensor和Ops,而是将其用作跨框架重用张量和操作的公共桥梁。
此外,最近,DLPack的开发者陈天奇更新了一则Git,标题为:“为 DLPack 添加PythonAPI、语义和实现细节”,在其中讨论了添加的详细内容、以及要引用DLPack本身的什么内容。
同时,陈天奇还计划将一些文档导入DLPack,目前,DLPack没有任何关于Python级API的文档。
感兴趣的小伙伴可以去下面地址看一看:
https://github.com/data-apis/consortium-feedback/issues/1
python内存结构_陈天奇:内存张量结构DLPack的PythonAPI来了相关推荐
- jvm内存结构_浅谈JVM内存结构
JVM 可以分为 5 个部分,分别是: 类加载器(Class Loader):加载字节码文件到内存. 运行时数据区(Runtime Data Area):JVM 核心内存空间结构模型. 执行引擎(Ex ...
- xgboost算法_陈天奇做的XGBoost为什么能横扫机器学习竞赛平台?
[新智元导读]XGBoost号称"比赛夺冠的必备大杀器",横扫机器学习竞赛罕逢敌手,堪称机器学习算法中的新女王! 在涉及非结构化数据(图像.文本等)的预测问题中,人工神经网络显著优 ...
- 『Numpy』内存分析_高级切片和内存数据解析
在计算机中,没有任何数据类型是固定的,完全取决于如何看待这片数据的内存区域. 在numpy.ndarray.view中,提供对内存区域不同的切割方式,来完成数据类型的转换,而无须要对数据进行额外的co ...
- aep内存用法_一种AEP内存接口的压力检测方法及系统与流程
本发明属于内存接口检测领域,具体涉及一种AEP内存接口的压力检测方法及系统. 背景技术: AEP内存简称Apache Pass DIMMs,为高性能和灵活性而设计的,The Intel® Optane ...
- 全面理解java内存模型_深入理解Java内存模型(八)——总结
处理器内存模型 顺序一致性内存模型是一个理论参考模型,JVM和处理器内存模型在设计时通常会把顺序一致性内存模型作为参照.JVM和处理器内存模型在设计时会对顺序一致性模型做一些放松,因为如果完全按照顺序 ...
- java if在内存中_全面理解Java内存模型
Java 内存模型的抽象 在 java 中,所有实例域.静态域和数组元素存储在堆内存中,堆内存在线程之间共享(本文使用"共享变量"这个术语代指实例域,静态域和数组元素).局部变量( ...
- 内存溢出_关于PermGen Space内存溢出解决方案
内存溢出分为Heap Space和PermGen Space两种异常.正巧的是我这次就碰到了PermGen space异常,为了解决这个异常花了我 半天的时间,所以今天写这个方案就是做一种笔记. 刚开 ...
- linux内存管理_浅谈Linux内存管理
1. 扫盲篇 1.1 操作系统存储层次 常见的计算机存储层次如下: 寄存器:CPU提供的,读写ns级别,容量字节级别. CPU缓存:CPU和CPU间的缓存,读写10ns级别,容量较大一些,百到千节. ...
- unity如何检测内存泄漏_如何排查Java内存泄漏?看懂这一篇就够用了
原文:https://www.toptal.com/java/hunting-memory-leaks-in-java 作者:Jose Ferreirade Souza Filho 译者:Emma来源 ...
最新文章
- BZOJ 2724蒲公英 (分块) 【内有块大小证明】
- 倒计时321控制器设置
- ywy_c_asm题
- [译]JavaScript 究竟是如何工作的?(第一部分)
- Jarvis:一个值得关注的多模态端到端人机对话框架,针对所有行业适配
- git reset --mixed, - soft和--hard有什么区别?
- Atitit.减少http请求数方案
- 爬虫选用PPTP协议代理ip的必要性
- 成都盛铭轩:详情页怎么设计
- 服务器数据库维护需要做哪些,数据库运维究竟需要做什么?
- 成都Uber优步司机奖励政策(2月29日)
- x-editable
- ubuntu16.04无线网卡rtl8723be驱动问题
- 微信小程序例子——使用icon组件显示常用图标
- 用电脑自带的“画图”调整图片大小到100K以下
- 输入一串字符,并判断其中英文字符和数字字符的个数——C语言实现(C语言练习)
- visual studio如何设置背景图片
- [RK3288] AP6335WIFI模块移植(板级dts文件代码编写)
- X线DR医学图像 --- DR医用滤线栅及摩尔纹详解 (一) 滤线栅的原理
- 数据重复(唯一索引的设置)
热门文章
- 为何汽车从低档位启动,扭矩最大?
- poi如何判断excel单元格是否为null或者““
- sdl 自动翻译服务器,在SDL Trados(2009,2011,2014) 里使用微软自动翻译注意事项
- 双十一OLED电视降到新低点,取代液晶电视的时机已到?
- 解析:type t_string is table of varchar2(32767) index by binary_integer
- 解决导入markdown时本地图片无法显示问题——图床
- PDF转换成Word,ppt转换成word
- 详解MAC地址,网桥,路由器_计算机网络笔记
- 工程院院士:微软黑屏敲响我国信息安全警钟
- PartitionMagic合成分区后的文件夹拒绝访问,并且无法删除的解决方案