我有一个约5000万字符串的文件,我需要在启动时添加到某种符号表中,然后以合理的速度搜索几次.

我尝试使用DLB trie,因为查找会相对较快,因为所有字符串都是< 10个字符,但在填充DLB时,我会得到超出GC开销限制或outofmemory - 堆空间错误.使用HashMap发现了相同的错误.这是一个由分级器编译和运行的赋值,所以我宁愿不只是分配更多的堆空间.是否有不同的数据结构可以减少内存使用,同时仍然有合理的查找时间？

解决方法:

如果您期望低前缀共享,那么trie可能不是您的最佳选择.

由于您只在启动时加载查找表一次,并且您的目标是内存占用率低且查找速度“合理”,因此最佳选择可能是排序数组和二进制搜索查找.

首先,将数据加载到数组中.由于您可能不知道前面的大小,因此您将加载到ArrayList中.然后从列表中提取最终数组.

假设您加载了5000万个10个字符的字符串,内存将是：

10 character string:

String: 12 byte header + 4 byte 'hash' + 4 byte 'value' ref = 24 bytes (aligned)

char[]: 12 byte header + 4 byte 'length' + 10 * 2 byte 'char' = 40 bytes (aligned)

Total: 24 + 40 = 64 bytes

Array of 50 million 10 character strings:

String[]: 12 byte header + 4 byte 'length' + 50,000,000 * 4 byte 'String' ref = 200,000,016 bytes

Values: 50,000,000 * 64 bytes = 3,200,000,000 bytes

Total: 200,000,016 + 3,200,000,000 = 3,400,000,016 bytes = 3.2 GB

当您转换ArrayList< String>时,您将需要另一个String []副本. to String []. Arrays.sort()操作可能需要50％的数组大小(~100,000,000字节)用于临时存储,但如果在排序之前为GC发布了ArrayList,则可以重用该空间.

因此,总需求约为3.5 GB,仅适用于符号表.

现在,如果空间确实非常珍贵,你可以挤压它.如您所见,String本身在64字节中增加了24字节的开销.您可以使符号表直接使用char [].

此外,如果您的字符串都是US-ASCII或ISO-8859-1,则可以将char []转换为byte [],从而节省一半的字节.

组合在一起,将值大小从64字节减少到32字节,总符号表大小从3.2 GB减少到1.8 GB,或在加载期间大约2 GB.

UPDATE

假设输入的字符串列表已经排序,下面是如何执行此操作的示例.作为MCVE,它只使用一个小的静态数组作为输入,但您可以轻松地从文件中读取它们.

public class Test {

public static void main(String[] args) {

String[] wordsFromFile = { "appear", "attack", "cellar", "copper",

"erratic", "grotesque", "guitar", "guttural",

"kittens", "mean", "suit", "trick" };

List wordList = new ArrayList<>();

for (String word : wordsFromFile) // Simulating read from file

wordList.add(word.getBytes(StandardCharsets.US_ASCII));

byte[][] symbolTable = wordList.toArray(new byte[wordList.size()][]);

test(symbolTable, "abc");

test(symbolTable, "attack");

test(symbolTable, "car");

test(symbolTable, "kittens");

test(symbolTable, "xyz");

}

private static void test(byte[][] symbolTable, String word) {

int idx = Arrays.binarySearch(symbolTable,

word.getBytes(StandardCharsets.US_ASCII),

Test::compare);

if (idx < 0)

System.out.println("Not found: " + word);

else

System.out.println("Found : " + word);

}

private static int compare(byte[] w1, byte[] w2) {

for (int i = 0, cmp; i < w1.length && i < w2.length; i++)

if ((cmp = Byte.compare(w1[i], w2[i])) != 0)

return cmp;

return Integer.compare(w1.length, w2.length);

}

}

产量

Not found: abc

Found : attack

Not found: car

Found : kittens

Not found: xyz

标签：java,memory

来源： https://codeday.me/bug/20190608/1199027.html