python替换UTF-8编码文本中任意特殊字符，包括中文符号问题：大量文本，将其中的特殊字符用空

python替换UTF-8编码文本中任意特殊字符，包括中文符号

　　问题：

　　大量文本，将其中的特殊字符用空格替换，特殊字符如：◆★，日期[1990-11-23]等。

　　这些文本有如下特点：

　　1.文件名以中文命名

　　2.经测试，文件编码为UTF-8

　　先看程序：

　　# -*- coding: utf-8 -*- import re import chardet import os def dowork(dirname): txt_filenames = os.listdir(dirname) #需要替换的字符正则表达式:◆★[1990-2-30]，这是核心 pat = r"(\xe2\x98\x85|\xe2\x97\x86)|(\[\d+-\d+-\d+\])" repat = re.compile(pat) i = 0 for filename in txt_filenames: #选出正确的文件类型 if filename.find('.txt') == -1: continue #判断文件本身的类型是不是UTF-8 f = open(filename, 'r') print 'open ' + filename line = f.readline() enc = chardet.detect(line) #保存文件类型 fileencode = enc['encoding'] print enc f.close() #wname是新文件的名称 wname = './src/' + filename.split('.')[0] + str(2) + '.txt' f = open(wname, 'w') print 'the file of writing is ', wname #开始将替换后的字符串写入文件 for line in open(filename, 'r'): #用空格替换特殊字符 wline = repat.sub(' ', line) f.write(wline) f.close() if __name__ == '__main__': dirname = r'C:\\Users\\hw\\Desktop\\qiaofangjie\\TraditionalCorpus' dowork(dirname)

在实际解决问题中，遇到了几个难点：

　　1.关于任意字符，如何利用正则表达式替换

　　2.python的文件编码，搞得我头晕了，现在也不算很明白

　　收获有以下几点：

　　1.python源文件默认编码为ascii码，如果里面有中文，在文件头加# -*- coding: utf-8 -*-，就可以写中文了

　　2.关于替换：

　　英文字符找相应的正则表达式即可；中文字符是难点，可以将中文字符的utf-8编码写到模式匹配中，配合正则表达式即可使用。中文字符的utf-8编码可以用repr表达式输出

　　3.文件由于比较大，用readlines读取文件较慢，采用文件迭代器读文件，应该是一次读一行的（还不是很清楚，以后再试试）

　　4.在自己测试的小例子中，filename="中文文件.txt",直接读会出错，转为unicode编码就可以了，即filename=u"中文文件.txt"

　　5.用chardet模块，可以判定文件的编码方式。只是我这里没有用到，只是看了一下编码是不是utf-8的

　　6.关于encode与decode，utf-8可以通过decode转为unicode，如strutf-8.decode('utf-8')返回unicode对象；unicode通过encode编码为具体的格式如utf-8,gbk等，如

　　strunicode.encode('utf-8')

　　先写这么多，加班很苦逼