我遇到了一些代码问题。请记住，我是一个糟糕的程序员，所以我的解决方案可能不是很有说服力(很可能是我内存不足的原因-我有4G字节，而脚本会慢慢填充它)。在

问题就在这里。我在一个目录里有大约3500个文件。每个文件由一行组成，其中可能包含相对较少或很多字符，没有空格(最小的文件为200字节，最大的为1.3兆字节)。我要做的是在这两个文件之间找到一个公共的子串，每次两个文件的长度是固定的(在下面的代码中是13个字符)。我一次做两个，因为我不是在所有的子串中寻找一个公共的子串，而是两个的组合，直到所有的文件都被比较过。一、 例如，文件之间任何一个固定长度的公共子字符串，而不是所有文件的公共子字符串。在

我使用一个后缀树模块来包装C实现(over here)。首先我列出目录中的所有文件，然后查找两个文件的组合，以便覆盖所有的组合，我一次将两个文件传递到后缀树，然后查找常见子字符串的序列。在

然而，我真的不知道为什么它慢慢地耗尽了记忆。我希望我们可以对代码做一个修改，这样它就可以以某种方式清除未使用的内存？显然3500个文件需要很长的时间来处理，但我希望这是可能的，不需要递增地填充4GB的内存。任何帮助将不胜感激！以下是我目前掌握的代码：from suffix_tree import GeneralisedSuffixTree

from itertools import combinations

import glob, hashlib, os

alist = open('tmp.adjlist', 'w')

def read_f(f):

f = open(f, "r")

s = str(f.readlines())

f.close()

return s

def read_gs(a,b):

s1 = read_f(a)

s2 = read_f(b)

print str(a) + ":" + str(hashlib.md5(s1).hexdigest()) + " --- " + str(b) + ":" + str(hashlib.md5(s2).hexdigest())

return [s1,s2]

def build_tree(s):

hlist = []

stree = GeneralisedSuffixTree(s)

for shared in stree.sharedSubstrings(13):

for seq,start,stop in shared:

hlist.append(hashlib.md5(stree.sequences[seq]).hexdigest())

hlist = list(set(hlist))

for h in hlist:

alist.write(str(h) + " ")

alist.write('\n')

glist = []

for g in glob.glob("*.g"):

glist.append(g)

for a,b in list(combinations(glist, 2)):

s = read_gs(a,b)

build_tree(s)

alist.close()

os.system("uniq tmp.adjlist network.adjlist && rm tmp.adjlist")

更新1

这是更新的代码。我补充了皮里斯提出的建议。然而，在jogojapan发现了C代码中的内存泄漏之后，考虑到这超出了我的专业知识范围，我最终采用了一种更慢的方法。如果有人在这方面有知识，我很想知道如何修改C代码来修复内存泄漏或释放函数，因为我认为Python的C后缀树绑定非常有价值。在没有后缀树的情况下，通过这个脚本运行数据可能需要几天的时间，所以我肯定愿意看看是否有人有创造性的修复！在

^{pr2}$