solr/lucene影响分数的要素

solr/lucene影响分数的因素
Lucene文档得分计算原理：
首先要理解下文档与词条的向量空间
我们先来说下文档（document）和其中包含的词条（term）之间的关系，对于每篇文档它是由词条组成的因此可以表示成一个向量D（term1，term2，......，termn）。我们假设有两篇文档同时出现了term1和term2，那么我们用一个二维坐标系来表示文档和词条之间的关系。如下：


在上图中文档1出现term1共3次term21次，文档2出现term1一次出现term2三次，所以可以用D1（3,1）和D2（1,3）对这两个文档来表示，按照上面的分析一个包含了N个term的索引库可以看成是N维向量空间，每一个文档均为其中的一个向量，每一个词条都是向量空间中的一个轴。这样我们就是知道如果两个文档之间的夹角越小他们之间的相似性越高，现在我们如果要对term2进行检索的话，首先把它表示为Q（0,1），我们计算得出它与文档2的夹角小于文档1的夹角，因此这次检索，文档2的分值要高。

影响Lucene的文档得分因素：
（1）tf（term Frequency）词条频率，它表示检索的词条在某个文档中总出现的次数。在lucene中他的值是真实频率的平方根值。
（2）idf（Inversed Document Frequency）反转文档频率
具体计算式：

（float）（Math.log(numDocs/(double)(docFreq+1))+1.0）

其中docFreq当前检索词条的文档总数，numDocs索引中的文档的总数
（3）boost
boost是建索引的时候对每一个Filed设置的一种激励因子，默认值为1.0
（4）lengthNorm
他和boost一样也是在建立索引的时候的长度因子。
一个Filed内的词条越多他的长度因子越小，该词条所在的文档的得分也就越低。

最后一个因素对应到solr是schem.xml中filed的 omitNorms属性，如果我们想要这个长度因素起作用需要设置 omitNorms="false"
我们设置

<field name="desc" type="text" indexed="true" stored="true" omitNorms="true"/>

返回结果如下：

<result name="response" numFound="5" start="0" maxScore="2.1541507"><doc><float name="score">2.1541507</float><str name="desc">高级工程师</str><str name="id">001</str></doc><doc><float name="score">2.1541507</float><str name="desc">工程师</str><str name="id">002</str></doc><doc><float name="score">2.1541507</float><str name="copname">百度</str><str name="desc">初级工程师</str><str name="id">003</str><str name="jobname">销售经理</str></doc><doc><float name="score">2.1541507</float><str name="desc">十分牛逼的工程师</str><str name="id">004</str></doc><doc><float name="score">2.1541507</float><str name="desc">好工程师</str><str name="id">005</str></doc></result>

我们设置如下：

<field name="desc" type="text" indexed="true" stored="true" omitNorms="false"/>

返回结果如下：

<result name="response" numFound="5" start="0" maxScore="1.3463442"><doc><float name="score">1.3463442</float><str name="desc">工程师</str><str name="id">002</str></doc><doc><float name="score">1.0770754</float><str name="copname">百度人才</str><str name="desc">高级工程师</str><str name="id">001</str><str name="jobname">java工程师</str></doc><doc><float name="score">1.0770754</float><str name="desc">初级工程师</str><str name="id">003</str></doc><doc><float name="score">1.0770754</float><str name="desc">好工程师</str><str name="id">005</str></doc><doc><float name="score">0.9424409</float><str name="desc">十分牛逼的工程师</str><str name="id">004</str></doc></result>

查看更多 下一篇