CUDA TOOlkit Programming Guide K. Unified Memory Programming

在CUDA 6.0第一次被引入统一寻址
“single-pointer-to-data” model
zero-copy memory

K.1.1. System Requirements

K.1.2. Simplifying GPU Programming

Unification of memory spaces意味着不需要再显式的在host和device之间传输数据,系统会自动完成
两种方式实现:
1)cudaMallocManaged() (相较于cudaMalloc())
1)__managed__variable(相较于__device__)

没有使用同一寻址的代码

__global__ void AplusB(int *ret, int a, int b) {ret[threadIdx.x] = a + b + threadIdx.x;
}
int main() {int *ret;cudaMalloc(&ret, 1000 * sizeof(int));AplusB<<< 1, 1000 >>>(ret, 10, 100);int *host_ret = (int *)malloc(1000 * sizeof(int));cudaMemcpy(host_ret, ret, 1000 * sizeof(int), cudaMemcpyDefault);//隐式同步(synchronize)for(int i = 0; i < 1000; i++)printf("%d: A+B = %d\n", i, host_ret[i]); free(host_ret);cudaFree(ret); return 0;
}

使用cudaMallocManaged

__global__ void AplusB(int *ret, int a, int b) {ret[threadIdx.x] = a + b + threadIdx.x;
}
int main() {int *ret;cudaMallocManaged(&ret, 1000 * sizeof(int));//异步的(asynchronize)AplusB<<< 1, 1000 >>>(ret, 10, 100);cudaDeviceSynchronize();for(int i = 0; i < 1000; i++)printf("%d: A+B = %d\n", i, ret[i]);cudaFree(ret); return 0;
}

使用__managed__

__device__ __managed__ int ret[1000];
__global__ void AplusB(int a, int b) {ret[threadIdx.x] = a + b + threadIdx.x;
}
int main() {AplusB<<< 1, 1000 >>>(10, 100);cudaDeviceSynchronize();for(int i = 0; i < 1000; i++)printf("%d: A+B = %d\n", i, ret[i]);return 0;
}

K.1.3. Data Migration and Coherency

K.1.4. GPU Memory Oversubscription

K.1.5. Multi-GPU

K.1.6. System Allocator

CUDA TOOlkit Programming Guide K. Unified Memory Programming相关推荐

Structured Streaming编程 Programming Guide
Structured Streaming编程 Programming Guide • Overview • Quick Example • Programming Model o Basic Conc ...
CUDA TOOlkit Programming Guide 2. Programming Model
本章的样例来源:vectorAdd CUDA sample 2.1 Kernels __global__来声明kernel函数 // Kernel definition __global__ void ...
CUDA C++ Programming Guide（ v11.2.0）部分翻译+笔记
笔记对有些较为简单的部分做了省略,有些原文中表达比较拗口的地方,重新组织了话叙,由于部分内容并不是完全翻译,所以不建议作为主要学习资料,建议作为学习对比参考使用,如有不明白的地方或觉得有问题的地方,欢 ...
[iOS]Advanced Memory Management Programming Guide 高级内存管理编程指南(官方文档翻译)
Advanced Memory Management Programming Guide - 高级内存管理编程指南(官方文档翻译) 版权声明:本文为博主原创翻译,如需转载请注明出处. 新博客文章地址: ...
CUDA C++ Programming Guide——简介
使用GPU的好处在类似的价格和功率范围内,图形处理单元(GPU)提供的指令吞吐量和内存带宽比CPU高得多.许多应用程序利用这些更高的功能在GPU上比在CPU上运行得更快(请参阅GPU应用程序).其他 ...
The Linux Kernel Module Programming Guide 2.4 中文版
The Linux Kernel Module Programming Guide 2.4 中文版分类: Linux/os 2007-09-29 11:14 820人阅读评论(0) 收藏举报 T ...
Serial Programming Guide for POSIX Operating Systems
Serial Programming Guide for POSIX Operating Systems POSIX操作系统串行编程指南 5th Edition, 3rd Revision Co ...
Serial Programming Guide for POSIX Operating Systems(转)
Serial Programming Guide for POSIX Operating Systems POSIX操作系统串行编程指南 5th Edition, 3rd Revision Copyr ...
SPDK: Block Device Layer Programming Guide 块设备层编程指南
文章目录前言 Target Audience 目标受众 Introduction 简介 Basic Primitives 基本原语 Initializing The Library Library初 ...