Neil Zhu，简书ID Not_GOD，University AI 创始人 & Chief Scientist，致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标，带领团队快速成长为人工智能领域最专业的力量。
作为行业领导者，他和UAI一起在2014年创建了TASA（中国最早的人工智能社团）, DL Center（深度学习知识中心全球价值网络），AI growth（行业智库培训）等，为中国的人工智能人才建设输送了大量的血液和养分。此外，他还参与或者举办过各类国际性的人工智能峰会和活动，产生了巨大的影响力，书写了60万字的人工智能精品技术内容，生产翻译了全球第一本深度学习入门书《神经网络与深度学习》，生产的内容被大量的专业垂直公众号和媒体转载与连载。曾经受邀为国内顶尖大学制定人工智能学习规划和教授人工智能前沿课程，均受学生和老师好评。
相关度打分的基本理论
源地址
Lucene使用Boolean模型来寻找匹配的文档，还有称之为Practical Document Frequency的公式来计算相关度。这个公式使用了TF/IDF和向量空间模型，额外加入了更为现代的特性诸如coordination因子、字段长度正规化和term或者查询语句的boost。
不要被这些东西吓到！这些概念都不如名称看上去复杂。尽管这部分涉及不少算法、公式和数学模型，但这是为正常人准备的。理解算法本身并不如理解影响最终结果的因子那么重要。
boolean model
布尔模型应用在查询中的AND、OR和NOT条件来查找所有匹配的文档。查询“full AND text AND search AND (elasticsearch OR lucene)
”只会包含那些包含所有full, text, and search, 和elasticsearch或lucene。
这个过程既简单又快速。通常用来排除任何不满足这个查询的文档。
TF/IDF
一旦我们有了匹配的文档，他们需要进行相关度排名。不是所有文档都包含所有term，一些term比另外一些更加重要。整个文档的相关度分数（部分）依赖于每个查询term中的那些出现在文档中的term的权重。
一个项的权重有三个决定因素，我们在什么是相关度中已经介绍过了。下面的公式供感兴趣的人们参考，不过也不必须真的记住。
term-frequency
在这片文档中term出现的频率如何？出现得越多，term的权值越高。一个包含了5个相同term的出现的字段肯定比只有一个出现的字段的相关度更高。TF定义如下：
tf(t in d) = \sqrt(frequency)
文档d中的term t的tf是出现次数的平方根
如果你不管出现的次数，而只关注其是否出现，那么你可以通过字段的mapping来修改这项设定：
PUT /my_index
{
"mappings": {
"doc": {
"properties": {
"text": {
"type": "string",
"index_options": "docs"
}
}
}
}
}
将index_options设置为docs将会关闭tf和term位置。使用这个mapping的不会计算一个term出现多少次，也不会对phrase或者近似查询有多大帮助。那些设置为not_analyzed的字符串字段默认使用这个设置。
IDF
在整个文档集合中这个term出现了多少次？出现得越多，其权值越低。诸如and和the这样的term对于相关性贡献值极低因为他们出现在了几乎所有的文档中，而那些不太常见的term如elasticsearch和hippopotamus会帮助我们定位到最有趣的文档。IDF按照下面的方式定义：
idf(t) 1 + \log ( numDocs / (docFreq + 1))
term t的IDF是索引中的文档数量除上包含t的文档的数量的对数
字段长度范数（field length norm）
这个field多长？字段长度越短，权值更高。如果一个term出现在短的字段中，诸如title字段，更可能，那个字段的内容是关于这个项而不是如果同样的term出现在一个更大的body字段中。这个字段长度范数按照下面的公式计算：
norm(d) = \sqrt(numTerms)
字段长度范数（norm）是在文档中的term的树木的平方根。
尽管字段长度范数对全文检索非常重要，其他的字段常常不需要范数。
范数大概消耗索引中的每个文档的每个string字段一个字节，不管这个文档是否包含字段本身。精确值not_analyzed字符串字段默认关闭范数，但是你可以使用字段映射来关闭analyzed字段：
PUT /my_index
{
"mappings": {
"doc": {
"properties": {
"text": {
"type": "string",
"norms": { "enabled": false }
}
}
}
}
}
这个字段的范数不会起作用。long型的字段和short的字段会被看作相同的长度。
对logging这样的情况，范数没什么作用。你所关注的是一个字段是否包含一个特定的错误码或者一个特定的浏览器ID。这个字段的长度不会影响结果。关闭范数可显著节省大量的内存。
整合起来
这三个因素——tf、idf和字段长度范数——被计算并在索引时候存储。这些一起用来计算在一个特定文档中的单一term的权值。
文档 vs 字段
当我们提到在上面的公式中出现的文档时，实际上我们说的是一个在文档中的字段。每个字段拥有自己的倒排索引，因此对于TF/IDF，字段的值是这个文档的值。
当我们运行一个简单的term查询，并使用explain来查看具体的解释，你将看到对权值起到作用的因子是我们上面解释的那些：
PUT /my_index/doc/1
{ "text" : "quick brown fox" }
GET /my_index/doc/_search?explain
{
"query": {
"term": {
"text": "fox"
}
}
}
上面查询获得的结果如下：
weight(text:fox in 0) [PerFieldSimilarity]: 0.15342641 －－－－－－－－－－－－－－1
result of:
fieldWeight in 0 0.15342641
product of:
tf(freq=1.0), with freq of 1: 1.0 －－－－－－－－－－－－－－2
idf(docFreq=1, maxDocs=1): 0.30685282 －－－－－－－－－－－－－－3
fieldNorm(doc=0): 0.5 －－－－－－－－－－－－－－4
1. 在这个文档中的此字段的term“fox”的最终的打分，内部Lucene doc ID为0
2. term fox在此文档中的文本字段出现一次
3. 在这个索引中的所有文档的此字段中的`fox`的`IDF`
4. 该字段的字段长度范数因子
当然查询通常包含不止一个term，因此我们需要一种组合多个term的权值的方式。为了达到这个目的，我们转向Vector Space Model
向量空间模型
VSM提供给我们一种对一个文档的组合多个term的查询。输出一个表示文档匹配查询的程度的单独的分数。为了实现这个目的，它将文档和查询表示为向量。
向量就是一维数组，如：[1,2,5,22,3,8]。
在向量空间模型中，向量中的每个数字是一个term的权值，使用tf/idf计算出来的。
尽管
tf/idf是计算term权值的默认方式，但这并不是唯一的方式。其他的模型诸如Okapi-BM25也是可以在ES中使用的。tf/idf因为本身简单，可以高效地得到高质量的搜索结果，经受住了时间的考验。
假设我们有一个对“happy hippopotamus”的查询。像happy这样的寻常word肯定权值很低，而hippopotamus权值很高。假设happy的权值为2而hippopotamus有权值5。我们可以画出一副二维向量——[2,5]——从原点(0,0)出发到达(2,5)的向量。
现在假设我们有三个文档：
- “I am happy in summer”
- “After Christmas I’m a hippopotamus”
- “The happy hippopotamus helped Harry”
我们可以对每个文档创建一个相似的向量，包含了每个出现在文档中的查询term的权值——happy和hippopotamus，画在同一幅图上：
- “I am happy in summer”
- “After Christmas I’m a hippopotamus”
- “The happy hippopotamus helped Harry”
向量的一个较好的特性就是他们可以进行比较。通过计算查询向量和文档向量之间的角度，得到他们之间的相关度。可以看到文档1和查询之间的角度最大，所以相关度非常低。文档2好一些。文档3就是完全的匹配。
实践中，只有2维向量可以画在一幅图上。幸运的是，线性代数——数学的一个分支，可以处理向量，提供给我们工具来比较多维向量之间的角度，也就是说我们可以使用上面的原理来进行相似的分析，这就可以处理超过两个term的查询的相关性了。
想进一步了解参见这里
现在我们已经讨论了打分的理论知识，下面可以看看在Lucene中如何实现这个打分的。
