lucene tvx tvd tvf 文件

我们平时看到的文件，其本质上是有词组成的，我们可以看做是词的集合，当我们把相同的词就可以看做是一个词的向量了。

这里的tvx tvd tvf 就是以这种形式表示doc的：

tvx : doc的数量，以及每个doc 在 tvd 以及 tvf 中开始的位置。

tvd : 每个doc的域信息：有多少个域，具体是那几个域，每个域向量在tvf文件中的位置，

tvf : 每个doc 的每域的向量集合，向量集合中的每个元素就是一个 term: term文本，次数，位置等信息

这三者之间的关系，我们还是引用告诉的总结：

http://blog.csdn.net/forfuture1978/archive/2009/12/10/4976793.aspx

我们最后来看看源代码

public final void addAllDocVectors(TermFreqVector[] vectors) throws IOException { //该doc 信息在tvd, tvf 中的位置 tvx.writeLong(tvd.getFilePointer()); tvx.writeLong(tvf.getFilePointer()); if (vectors != null) { final int numFields = vectors.length; //字段的个数 tvd.writeVInt(numFields); //因为tvd 中所有字段的 fieldnum 放一起，所有字段在tvf开始位置也放一起，所有遍历的时候，先保留在这里，最后一起写入文件 long[] fieldPointers = new long[numFields]; //处理每个字段 for (int i=0; i<numFields; i++) { fieldPointers[i] = tvf.getFilePointer(); final int fieldNumber = fieldInfos.fieldNumber(vectors[i].getField()); // 写字段的序号 // 1st pass: write field numbers to tvd tvd.writeVInt(fieldNumber); //一个字段有多少个term final int numTerms = vectors[i].size(); tvf.writeVInt(numTerms); final TermPositionVector tpVector; final byte bits; final boolean storePositions; final boolean storeOffsets; //字段的一些bit位 if (vectors[i] instanceof TermPositionVector) { // May have positions & offsets tpVector = (TermPositionVector) vectors[i]; storePositions = tpVector.size() > 0 && tpVector.getTermPositions(0) != null; storeOffsets = tpVector.size() > 0 && tpVector.getOffsets(0) != null; bits = (byte) ((storePositions ? TermVectorsReader.STORE_POSITIONS_WITH_TERMVECTOR : 0) + (storeOffsets ? TermVectorsReader.STORE_OFFSET_WITH_TERMVECTOR : 0)); } else { tpVector = null; bits = 0; storePositions = false; storeOffsets = false; } tvf.writeVInt(bits); final String[] terms = vectors[i].getTerms(); final int[] freqs = vectors[i].getTermFrequencies(); int utf8Upto = 0; utf8Results[1].length = 0; //一个字段的所有term for (int j=0; j<numTerms; j++) { UnicodeUtil.UTF16toUTF8(terms[j], 0, terms[j].length(), utf8Results[utf8Upto]); //采用前缀压缩 int start = StringHelper.bytesDifference(utf8Results[1-utf8Upto].result, utf8Results[1-utf8Upto].length, utf8Results[utf8Upto].result, utf8Results[utf8Upto].length); int length = utf8Results[utf8Upto].length - start; tvf.writeVInt(start); // write shared prefix length tvf.writeVInt(length); // write delta length tvf.writeBytes(utf8Results[utf8Upto].result, start, length); // write delta bytes utf8Upto = 1-utf8Upto; final int termFreq = freqs[j]; tvf.writeVInt(termFreq); if (storePositions) { final int[] positions = tpVector.getTermPositions(j); if (positions == null) throw new IllegalStateException("Trying to write positions that are null!"); assert positions.length == termFreq; // use delta encoding for positions int lastPosition = 0; for(int k=0;k<positions.length;k++) { final int position = positions[k]; tvf.writeVInt(position-lastPosition); lastPosition = position; } } if (storeOffsets) { final TermVectorOffsetInfo[] offsets = tpVector.getOffsets(j); if (offsets == null) throw new IllegalStateException("Trying to write offsets that are null!"); assert offsets.length == termFreq; // use delta encoding for offsets int lastEndOffset = 0; for(int k=0;k<offsets.length;k++) { final int startOffset = offsets[k].getStartOffset(); final int endOffset = offsets[k].getEndOffset(); tvf.writeVInt(startOffset-lastEndOffset); tvf.writeVInt(endOffset-startOffset); lastEndOffset = endOffset; } } } } //写每个字段在tvf 中的位置，第一个已经在tvx文件中有了，所以这里不用写 // 2nd pass: write field pointers to tvd if (numFields > 1) { long lastFieldPointer = fieldPointers[0]; for (int i=1; i<numFields; i++) { final long fieldPointer = fieldPointers[i]; tvd.writeVLong(fieldPointer-lastFieldPointer); lastFieldPointer = fieldPointer; } } } else tvd.writeVInt(0); }

1 首先在tvx 文件中写入 tvd 和tvf 开始的位置

2 在tvd中写入当前doc的字段的个数，然后遍历所有的字段，在tvd 中，写入每个字段的term 数目，已经每个term 具体信息在tvf中的位置，最后写tvf信息，遍历每隔term ，写入每个term 信息。

lucene tvx tvd tvf 文件相关推荐

【lucene】Lucene Tika 操作各种文件
1.概述 2.tika打开doc文档 public String fileToTxt(File f) {Parser parser
看Lucene源码必须知道的基本概念
终于有时间总结点Lucene,虽然是大周末的,已经感觉是对自己的奖励,毕竟只是喜欢,现在的工作中用不到的.自己看源码比较快,看英文原著的技术书也很快.都和语言有很大关系.虽然咱的技术不敢说是部门第一的 ...
lucene正向索引——正向信息，Index – Segments (segments.gen, segments_N) – Field(fnm, fdx, fdt) – Term (tvx, ...
转自:http://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623599.html 上面曾经交代过,Lucene保存了从Index到Segm ...
Lucene学习总结之七：Lucene搜索过程解析
一.Lucene搜索过程总论搜索的过程总的来说就是将词典及倒排表信息从索引中读出来,根据用户输入的查询语句合并倒排表,得到结果文档集并对文档进行打分的过程. 其可用如下图示: 总共包括以下几个过程: ...
Lucene学习总结之四：Lucene索引过程分析
对于Lucene的索引过程,除了将词(Term)写入倒排表并最终写入Lucene的索引文件外,还包括分词(Analyzer)和合并段(merge segments)的过程,本次不包括这两部分,将在以后 ...
Lucene学习总结之三：Lucene的索引文件格式(1)
Lucene的索引里面存了些什么,如何存放的,也即Lucene的索引文件格式,是读懂Lucene源代码的一把钥匙. 当我们真正进入到Lucene源代码之中的时候,我们会发现: Lucene的索引过程, ...
Lucene学习总结之三：Lucene的索引文件格式(2)
2019独角兽企业重金招聘Python工程师标准>>> 四.具体格式上面曾经交代过,Lucene保存了从Index到Segment到Document到Field一直到Term的正向 ...
Lucene 4.X 全套教程
http://www.cnblogs.com/forfuture1978/category/300665.html Lucene 4.X 倒排索引原理与实现: (3) Term Dictionary和 ...
餐中餐（5）Lucene--存储文件加载（Part 1: Segments加载）
note: 代码版本:Lucene 最新版本 --> https://github.com/apache/lucene 文章目录 Graph Abstract: 1. Index –> S ...

lucene tvx tvd tvf 文件

lucene tvx tvd tvf 文件相关推荐

最新文章

热门文章