此外还有基于统计的机器学习排序算法。
这里主要介绍 布尔模型，向量空间模型，概率模型，语言模型，机器学习排序算法

3. 布尔模型

布尔模型：

是最简单的信息检索模型，是基于集合理论和布尔代数的一种简单的检索模型。

基本思想：

文档和用户查询由其包含的单词集合来表示，两者的相似性则通过布尔代数运算来进行判定；

相似度计算：

查询布尔表达式和所有文档的布尔表达式进行匹配，匹配成功的文档的得分为1，否则为0。

如查询词：

苹果 and （iphone OR Ipad2）

文档集合：

D1：IPhone 5于9月13号问世。

D2: 苹果公司于9月13号发布新一代IPhone。

D3：Ipad2将于3月11日在美上市。

D4：Iphone和ipad2的外观设计精美时尚

D5：80后90后都喜欢iphone，但不喜欢吃苹果。

那么单词与文档关系如下图:

优点：
      在于形式简洁、结构简单。

缺点：

1）准确的匹配可能导致检出的文档过多或过少。因为布尔模型只是判断文档要么相关、要么不相关，它的检索策略基于二值判定标准，无法描述与查询条件部分匹配的情况。因此，布尔模型实际上是一个数值检索模型而不是信息检索模型。

2）尽管布尔表达式有确切的语义，但通常很难将用户的信息需求转换成布尔表达式。如今，人们普遍认为，给索引词加权能极大地改善检索效果。从对索引词加权的方法中引出了向量模型。

4. 向量空间模型(Vector Space Model，VSM)

向量空间模型：
    康奈尔大学Salton等人上世纪70年代提出并倡导，原型系统SMART

基本思想：

把文档看成是由t维特征组成的一个向量，特征一般采用单词，每个特征会根据一定依据计算其权重，这t维带有权重的特征共同构成了一个文档，以此来表示文档的主题内容。

相似性计算：

计算文档的相似性可以采用Cosine计算定义，实际上是求文档在t维空间中查询词向量和文档向量的夹角，越小越相似；对于特征权重，可以采用Tf*IDF框架，Tf是词频，IDF是逆文档频率因子指的是同一个单词在文档集合范围的出现次数，这个是一种全局因子，其考虑的不是文档本身的特征，而是特征单词之间的相对重要性，特征词出现在其中的文档数目越多，IDF值越低，这个词区分不同文档的能力就越差，这个框架一般把Weight=Tf*IDF作为权重计算公式。

思路：

3）权重计算：

       布尔权重：标引词i在文档j中的权重wij =0或1（出现则取1，否则取0）

       TF权重：TF（Term Frequency）是单词在文档中出现的次数。权重wij = TFij或者归一化后的TF值

       TF的归一化（Normalization）：将一篇文档中所有的标引词的TF值归一化到[0,1]之间。通常可以采用以下方式之一：
           1： Wtf = 1 + log(TF)

2：Wtf = a + （1- a）*  TF /Max(TF) 其中a为调节因子，经验取值a=0.5 最新研究表明是0.4效果更好。

       单词的文档频率DF（Document Frequency）：单词在整个文档集合中出现的文档篇数，DF反映了单词的区分度， DF越高表示单词越普遍，因此其区分度越低，其权重也越低。

        逆文档频率（Inverse DF ，IDF）：DF的倒数，通常采用如下公式计算：（N是文档集合中所有文档的数目）

3) 计算权重：向量空间模型中通常采用TF* IDF的方式计算权重，即标引词i在文档dj的权重Wij = TFij * IDFij .
4)  相似度计算：文档和查询词的相关程度(即相似度)可由它们各自向量在向量空问中的相对位置来决定。相似度计算函数有很多种，较常用的是两个向量夹角的余弦函数。

由向量的数量积定义：两个向量的数量积（又称“内积”、“点积”，物理学上称为“标量积”。）是一个数量，记作 a·b。若 a、 b不共线，则 a·b=| a|·| b|·cos〈 a， b〉。
     其意义：两向量的数量积等于其中一个向量的模与另一个向量在这个向量的方向上的投影的乘积。我们把|b|cosθ叫做向量b在向量a的方向上的投影。
     两向量 a与 b的数量积： a· b=| a|*| b|cosθ；其中| a|、|β|是两向量的模，θ是两向量之间的夹角(0≤θ≤π)。
     若有坐标 a(x1,y1,z1) ； b(x2,y2,z2)，那么 a· b=x1x2+y1y2+z1z2；　| a|=sqrt(x1^2+y1^2+z1^2)；| b|=sqrt(x2^2+y2^2+z2^2)。

依定义有：cos〈a，b〉=a·b / |a|·|b|）；若a、b共线，则a·b=+-∣a∣∣b∣。
     其性质：
     1）a· a=| a|的 平方。 　　
     2） a⊥ b 〈=〉 a· b=0。 　　

于是文档和提问的相似度值由以下公式获得：
        
        理解Cosine相似性，可以讲每个文档以及查询看做t维特征空间的一个数值点。每个特征形成t维空间中的一个维度，链接特征空间原点和这个数值点形成一个向量，而Cosine相似性就是计算特征空间中两个向量之间的夹角。这个夹角越小，说明两个特征向量内容越相似。极端的情况就是两个完全相同的文档，其在向量空间中的两个向量是重叠的，Cosine相似性值为1.

 

举例：  

查询q：(<2006：1>,<世界杯：2>)

       文档d1：(<2006：1>,<世界杯：3>,<德国：1>,<举行：1>)

       文档d2：(<2002：1>,<世界杯：2>,<韩国：1>,<日本：1> <举行：1>)
       倒排索引列表：
      

        

       查询和文档进行向量的相似度计算：

       采用内积

       文档d1和q的内积：1*1+3*2=7

       文档d2和q的内积：2*2=4

       夹角余弦：

       文档d1和q的夹角余弦：

       文档d2和q的夹角余弦：

优点：1) 简洁直观，可以应用到很多其他领域(文本分类、生物信息学)，邮件过滤系统spamAssass。

           3) 支持部分匹配和近似匹配，结果可以排序

           4) 检索效果不错

缺点：1) 计算量大

           2) 单词的不同位置会代表不同的权重，而不同的关键词长度也会影响权重的大小
           3) 单词之间的独立性假设与实际不符：实际上，单词的出现之间是有关系的，不是完全独立的。如：“王励勤”“乒乓球”的出现不是独立的。

5. 概率模型

概率模型：

是目前效果最好的模型之一，okapi BM25这一经典概率模型计算公式已经在搜索引擎的网页排序中广泛使用。概率检索模型是从概率排序原理推导出来的。

基本假设前提和理论：
    1).相关性独立原则：文献对一个检索式的相关性与文献集合中的其他文献是独立的。
    2).单词的独立性:单词和检索式中词与词之间是相互独立。即文档里出现的单词之间没有任何关联，任一单词在文档的分布概率不依赖其他单词是否出现。
    3).文献相关性是二值的:即只有相关和不相关两种。
    4).概率排序原则:该原则认为，检索系统应将文档按照与查 询的概率相关性的大小排序，那么排在最前面的是最有可能被获取的文档
    5).贝叶斯(Bayes)定理:用公式表示为：
      P(R|d)=(d|R)·P(R)/P(d)

基本思想是：

是通过概率的方法将查询和文档联系起来,给定一个用户查询，如果搜索系统能够在搜索结果排序时按照文档和用户需求的相关性由高到底排序，那么这个搜索系统的准确性是最优的。在文档集合的基础上尽可能准确地对这种相关性进行估计就是其核心。

相似度计算：
    将查询Q和文档D根据有没有单词表示为二值向量，Q={q1,q2,…}，D={d1,d2,…}，di=0或1表示文献中没有或有第i个单词. 用R表示文献相关，表示文献不相关.
    条件概率P(R|dj )表示文档 dj与查询qi相关的概率

条件概率P(|dj)表示文档dj与查询qi不相关的概率

利用它们的比值计算文档与查询的相似度。
    若P(R|d)> P( |d)，即比值大于1，则文献相关程度大于不相关程度，认为文献d是相关的，否则认为文献d不相关。在两者相等时，人为地认为它是不相关的。

优点:
   1.采用严格的数学理论为依据，为人们提供了一种数学理论基础来进行检索决策；PubMed的related articles 。
   2.采用相关反馈原理
   3.在其中没有使用用户难以运用的布尔逻辑方法；
   4.在操作过程中使用了词的依赖性和相互关系。
缺点：
   1.计算复杂度大,不适合大型网络
   2.参数估计难度较大
   3.条件概率值难估计
   4.系统的检索性能提高不明显，需与其他检索模型结合

6. 语言模型

语言模型：
    是借鉴了语音识别领域采用的语言模型技术，将语言模型和信息检索模型相互融合的结果
基本思想：
    其他的检索模型的思考路径是从查询到文档，即给定用户查询，如何找出相关的文档，该模型的思路正好想法，是由文档到查询这个方向，即为每个文档建立不同的语言模型，判断由文档生成用户查询的可能性有多大，然后按照这种生成概率由高到低排序，作为搜索结果。语言模型代表了单词或者单词序列在文档中的分布情况；

7. 机器学习排序算法

机器学习排序算法：
    随着搜索引擎的发展，对于某个网页进行排序需要考虑的因素越来越多，这是无法根据人工经验完成的，这时候用机器学习就是非常合适的，例如Google目前的网页排序公式考虑了200多种因子。机器学习需要的数据源在搜索引擎中较好满足，例如用户的搜索点击记录。其分成人工标注训练、文档特征抽取、学习分类函数以及在实际搜索系统中采用机器学习模型等4个步骤组成。人工标注训练可由用户点击记录来模拟人为对文档相关打分的机制。