分布式系统中深度分页的问题
深度分页.png
- ElasticSearch 天生就是分布式的，数据保存在多个分片和多台机器上的；
- 当发起一个查询，指定其 From=990，Size=10 的时候，会在每个分片上都先获取 1000 个文档；然后通过 Coordinating Node 聚合所有的结果；最后再通过排序选取前 1000 个文档；
- 页数越深，占用内存越多，为了避免深度分页带来的内存开销，ElasticSearch 有一个设定，默认限制到 10000 个文档，由参数
Index.max_result_window控制；
From & Size | 举个栗子
- from + size 的值大于 10000，ElasticSearch 会报错；
POST tmdb/_search
{
"from": 10000,
"size": 1,
"query": {
"match_all": {
}
}
}
POST tmdb/_search
{
"from": 0,
"size": 10001,
"query": {
"match_all": {
}
}
}
避免深度分页问题 | Search After
- 使用 search_after 的 API 可以避免深度分页；
- 避免深度分页的性能问题，可以实时获取下一页文档的信息
- search_after 不支持指定 From；
- search_after 只能往下翻；
- search_after 使用时的第一步需要指定 sort，并且保证值是唯一的（可以通过加入 _id 保证唯一性）
- 然后使用上一次，最后一个文档的 sort 值，加入到 search_after 里面，进行查询；
Search After | 举个栗子
准备数据
DELETE users
POST users/_doc
{"name":"user1","age":10}
POST users/_doc
{"name":"user2","age":11}
POST users/_doc
{"name":"user2","age":12}
POST users/_doc
{"name":"user2","age":13}
POST users/_count
先取 1 条数据，得到其 sort 字段的值：sort：10，_id：ZQ0vYGsBrR8X3IP75QqX；
POST users/_search
{
"size": 1,
"query": {
"match_all": {}
},
"sort": [
{"age": "desc"} ,
{"_id": "asc"}
]
}
调用 search_after API，指定上一步查出来的用于 sort 的字段的值；
POST users/_search
{
"size": 1,
"query": {
"match_all": {}
},
"search_after":
[
10,
"ZQ0vYGsBrR8X3IP75QqX"],
"sort": [
{"age": "desc"} ,
{"_id": "asc"}
]
}
Search After API 是如何解决深度分页的问题
- 假定 Size 是 10，当查询到 990 - 1000 的文档时；
- 通过 search_after 的 sort 的定位，Coordinating Node 每次只需要在分片上取回 10 条文档，这样就可以通过控制文档的个数，避免深度分页的开销；
Scroll API
- 在调用的第一次，指定一个 Scroll 存活的时间，ElasticSearch 会基于这个请求创建一个快照，带来的问题是：有新的数据写入后，无法被查到；
- 当得到 Scroll 的 Id 后，每次查询输入上一次的 Scroll Id；
Scroll API | 举几个栗子
准备数据
DELETE users
POST users/_doc
{"name":"user1","age":10}
POST users/_doc
{"name":"user2","age":20}
POST users/_doc
{"name":"user3","age":30}
基于 Scroll API 创建快照
- 快照生效的时间是 5 分钟；
- 执行后会返回第一条数据，并得到第一条 Scroll Id：
DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAWAWbWdoQXR2d3ZUd2kzSThwVTh4bVE0QQ==；
POST /users/_search?scroll=5m
{
"size": 1,
"query": {
"match_all" : {
}
}
}
再写入一个文档
POST users/_doc
{"name":"user4","age":40}
调用 Scroll API
- 带上第一次得到的 Scroll Id：
DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAWAWbWdoQXR2d3ZUd2kzSThwVTh4bVE0QQ==，返回第二条数据，并得到第二个 Scroll Id； - 就这样一次次的查，就能获取快照中的所有数据；
- 快照生成的时候，只有 3 条数据，那么在快照期间新写入的文档，就不会被查询到；
POST /_search/scroll
{
"scroll" : "1m",
"scroll_id" : "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAWAWbWdoQXR2d3ZUd2kzSThwVTh4bVE0QQ=="
}
不同搜索类型 | 使用场景
Regular
一般调用 ES 的查询时，只会返回头部的最新的 10 条文档，例如查询最新的订单；
Scroll
需要获取索引中的所有文档，例如导出全部数据；
Pagination
如果有分页的需求，可以使用 From & Size；如果页数非常深的时候，选用 Search After，局限性就是每次只能往后查询；
