ES介绍
ES开源 可扩展 的 分布式 全文搜索和数据分析引擎
功能
- 分布式搜索引擎
- 全文检索
- 数据分析引擎
- 对海量数据进行近实时处理
索引库
GET /lagou-index
# 创建
PUT /lagou-index
# 删除
DELETE /lagou-index
映射
PUT /lagou-index
PUT /lagou-index/_mapping/
{
"properties": {
"name": {
"type": "text",
"analyzer": "ik_max_word"
},
"job": {
"type": "text",
"analyzer": "ik_max_word"
}
}
}
# 查看索引
GET /lagou-index/_mapping/
# 创建索引库和映射
PUT /lagou-index/
{
"settings": {},
"mappings": {
"properties": {
"name": {
"type": "text",
"analyzer": "ik_max_word"
},
"job": {
"type": "text",
"analyzer": "ik_max_word"
}
}
}
}
文档
# 指定id,不指定自动生成
POST /lagou/_doc/{id}
{
"name": "joe",
"job": "engineer"
}
# 更新指定id文档字段,全量更新（更新所有字段，不指定的字段，更新后消失）
PUT /lagou/_doc/{id}
{
"name": "joe",
"job": "AI"
}
# 局部更新，只更新name，其他保持不变
POST /lagou/_update/{id}
{
"doc": {
"name": "joe",
}
}
# 查询指定id
GET /lagou/_doc/{id}
#返回指定字段
GET /lagou/_doc/_source=name,job
# 查询所有
POST /lagou/_search
{
"query":{
"match_all": {}
}
}
# 删除
DELETE /lagou/_doc/{id}
POST /lagou/_doc/_delete_by_query
{
"query": {
"match": {
"字段名": "搜索关键字"
}
}
}
聚合
ES中队数据集求最大，最小，求和，平均 称为指标聚合
数据分组称为 分桶，分组基础上进行指标聚合，称为 桶聚合
# 书的最大价格
POST /book/_search
{
"size": 0,
"aggs": {
"max_price": {
"max": {
"field": "price"
}
}
}
}
ES集群
集群（Cluster）
一个Elasticsearch集群由多个节点（Node）组成，每个集群都有一个共同的集群名称作为标识一个Elasticsearch实例即一个Node
-
node.master：表示节点是否具有成为主节点的资格
- true代表的是有资格竞选主节点
- false代表的是没有资格竞选主节点
node.data：表示节点是否存储数据
Index写调优
- 副本数设置0
- 自动生成doc ID
- 合理设置mapping，对字段不分词，不索引，减少字段内容长度
- 调整_source字段，source 字段用于存储 doc 原始数据，对于部分不需要存储的字段，可以通过 includes excludes过滤
- 对analyzed的字段禁用norms ，Norms用于在搜索时计算doc的评分
- 调整索引的刷新间隔 ，默认1s,调整到30s
- 批处理
- Document的路由处理 ,默认的routing就是id，也可以在发送请求的时候，手动指定一个routing value
Search调优
- 数据分组
- Filter代替Query
- ID字段定义为keyword
段合并
段合并在进行索引和搜索时会自动进行
- 当索引的时候，刷新（refresh）操作会创建新的段并将段打开以供搜索使用。
- 合并进程选择一小部分大小相似的段，并且在后台将它们合并到更大的段中。这并不会中断索引和搜索。
- 合并完成时的活动：
- 新的段被刷新（flush）到了磁盘。 写入一个包含新段且排除旧的和较小的段的新提交点
- 新的段被打开用来搜索。
- 老的段被删除。
Elasticsearch的乐观锁
Elasticsearch的多线程异步并发修改是基于自己的_version版本号进行乐观锁并发控制的
- 比较版本号,版本号相同修改可以成功
- 不相等就再次读取新的数据修改
- 删除操作也会对这条数据的版本号加1
