我迫切需要时间来优化大量的C代码以提高速度，我正在寻找一种算法-最好是C"代码段"-可以转换任意大小的矩形源矩阵u[r](行数，c列数)放入目标矩阵v▼显示[d](s = c行数，d = r列数)中的"缓存友好" i。 e。数据局部性尊重方式。 u的典型大小约为5000 ... 15000行乘50到500列，并且很显然，元素的按行访问是非常低效的缓存。

网络上有很多关于此主题的讨论(在该线程附近)，但据我所知，他们都在讨论空间情况，例如方阵u[r][r]或维数组的定义，例如e。 G。 u[r * c]，而不是在我的数字食谱上下文中使用的上述"数组数组"(长度相等)(背景请参见此处)。

非常感谢我能为我省去"重塑方向盘"的任何暗示。

马丁

如果两个源元素彼此靠近，则相应的目标元素将彼此远离，反之亦然。如何可能希望进行缓存友好的转换？我真的很好奇。

找到了我不太明白它是如何工作的...

这个问题是对资源或信息的需求。所以不是那个地方。尝试进行学术问答：例如，计算机科学。

实际上，我尝试了一种可以忽略缓存的转置的简单实现，与nave方法相比，其速度提高了10倍。

@ n.m。关键在于利用高速缓存行具有固定大小这一事实。可以说正在处理float。即使您从左上到右下依次遍历源矩阵，即使每16列遍历矩阵的一行(假设有64字节的高速缓存行)，也会出现初始强制缺失。

@ n.m。结果，从单行访问第16列条目的费用(从简化的L1缓存角度来看)与访问下一行的第一列条目的费用一样昂贵。我们倾向于以一个巨大的连续块来考虑空间局部性，但是它仅在L1高速缓存的情况下(例如，给定高速缓存行的大小)才有意义。

@ n.m。现在，您便可以开始理解，您可以开始在矩阵上平铺遍历以在输入矩阵上以较短的水平跨度进行遍历，同时在逐出之前使用高速缓存行中的所有数据，同时通过缩短时间来实现时间局部性。垂直跨度遍历输出矩阵。这样，涉及输出矩阵的垂直平铺步幅就需要较少的高速缓存行，而通过使用较短的水平平铺跨度来使输入变得更糟。

@Ike是的，现在明白了，事后看来很明显。

我不认为一般而言，数组数组比线性数组更难转置。但是，如果每个数组中要有50列，这听起来很糟糕：可能不足以隐藏指针解引用的开销。

我认为缓存友好实现的总体策略是相同的：在图块中处理矩阵，根据实验选择效果最好的图块大小。

template

void TransposeBlocked(Matrix &dst, const Matrix &src) {

int r = dst.r, c = dst.c;

assert(r == src.c && c == src.r);

for (int i = 0; i < r; i += BLOCK)

for (int j = 0; j < c; j += BLOCK) {

if (i + BLOCK <= r && j + BLOCK <= c)

ProcessFullBlock(dst.data, src.data, i, j);

else

ProcessPartialBlock(dst.data, src.data, r, c, i, j, BLOCK);

}

}

我尝试优化当r = 10000，c = 500(使用float类型)时的最佳情况。在我的本地计算机上，128 x 128瓦片的速度提高了2.5倍。另外，我尝试使用SSE来加速换位，但是它不会显着改变时序。我认为这是因为问题是内存限制。

以下是Core2 E4700 2.6GHz上各种实现的完整时序(每个时序100次)：

Trivial: 6.111 sec

Blocked(4): 8.370 sec

Blocked(16): 3.934 sec

Blocked(64): 2.604 sec

Blocked(128): 2.441 sec

Blocked(256): 2.266 sec

BlockedSSE(16): 4.158 sec

BlockedSSE(64): 2.604 sec

BlockedSSE(128): 2.245 sec

BlockedSSE(256): 2.036 sec

这是使用的完整代码。

所以，我猜你有一个浮点数/双精度数的数组。此设置对于缓存性能而言已经非常糟糕。原因是使用一维数组时，编译器可以输出导致预取操作的代码，并且(对于非常新的编译器而言)可以生成SIMD /矢量化的代码。有了指针数组，每个步骤都有一个引用操作，使预取更加困难。更不用说对内存对齐没有任何保证。

如果这是一项任务，您别无选择，只能从头开始编写代码，那么我建议您看一下CBLAS的工作方式(请注意，您仍然需要将数组"展平")。否则，使用高度优化的BLAS实现(例如，

OpenBLAS。它已经进行了近十年的优化，它将为您的目标处理器生成最快的代码(调整缓存大小和向量指令集之类的东西)。

tl; dr是使用数组数组无论如何都会导致糟糕的性能。通过使用#define访问数组的元素来展平数组并使代码易于阅读。