做中文文本聚类，研究中科院的imdict-chinese-analyzer分词器时，我自己加载的停用词表一直都跑不出正确的结果，于是，就追踪lucene是怎么加载自己的停用词表的。在源代码的WordListLoader.java类中，发现了这样的代码：

1. public static HashSet getWordSet(Reader reader) throws IOException {
2. HashSet result = new HashSet();
3. BufferedReader br = null;
4. try {
5. if (reader instanceof BufferedReader) {
6. br = (BufferedReader) reader;
7. } else {
8. br = new BufferedReader(reader);
9. }
10. String word = null;
11. while ((word = br.readLine()) != null) {
12. result.add(word.trim());
13. }
14. }
15. finally {
16. if (br != null)
17. br.close();
18. }
19. return result;
20. }

问题就变得清晰了，于是我在这行代码中加入了输出语句，把从文件中加载进去的停用词打印出来。这样，就找到了问题的根源了：停用词表的编码格式问题（我设置的编码格式为：Unicode）

把研究的结果总结如下：

1、Lucene支持的停用词表文件有utf-8.

2、停用词表的格式很简单：每词一行.

3、Luence中支持停用词的方式有5种（见org.apache.lucene.analysis.StopAnalyzer.java类的5种构造方法）：StopAnalyzer.java类默认停用词，以String[]传入，以Set传入，以File传入，以Reader传入

4、  关于停用词处理的参考代码如下：

1. package com.xh.TextClustering;
2. import java.io.File;
3. import java.io.IOException;
4. import java.io.StringReader;
5. import org.apache.lucene.analysis.Analyzer;
6. import org.apache.lucene.analysis.Token;
7. import org.apache.lucene.analysis.TokenStream;
8. import org.apache.lucene.index.CorruptIndexException;
9. import org.apache.lucene.store.LockObtainFailedException;
10. public class StopAnalyzerTestChinese
11. {
12. static  String  source="我 是 中国人。";
13. public static void main(String args[])
14. {
15. Indexer();
16. }
17. private static void Indexer()
18. {
19. //Analyzer analyzer=new StopAnalyzer();
20. try {
21. Analyzer analyzer=new StopAnalyzer(new File("chinese_stopword.dic"));
22. //          IndexWriter writer=new IndexWriter(IndexPath,analyzer,true,MaxFieldLength.UNLIMITED);
23. //          Document document=new Document();
24. //          Field field_content=new Field("content",source,Field.Store.YES,Field.Index.ANALYZED);
25. //          document.add(field_content);
26. //          ArrayList ItemList=new ArrayList();
27. TokenStream stream=analyzer.tokenStream("content", new StringReader(source));
28. while(true)
29. {
30. Token item=stream.next();
31. if(null==item)break;
32. System.out.println("{"+item.termText()+"}");
33. }
34. //          writer.optimize();
35. //          writer.close();
36. } catch (CorruptIndexException e) {
37. e.printStackTrace();
38. } catch (LockObtainFailedException e) {
39. e.printStackTrace();
40. } catch (IOException e) {
41. e.printStackTrace();
42. }
43. }
44. }

注：参考中文停用词表在附件中。