Elasticsearch基础之基本概念

目录

基本概念

<font color="084B8A">1. Near Realtime(NRT):</font>

Elasticsearch是一个近实时搜索平台。 这意味着从索引文档到可搜索文档的时间有一点延迟(通常是一秒).

<font color="084B8A">2. Cluster:</font>

集群是一个或多个节点(服务器)的集合,它们共同保存您的整个数据,并提供跨所有节点的联合索引和搜索功能。 群集由唯一名称标识,默认情况下为“elasticsearch”。 此名称很重要,因为如果节点设置为按名称加入群集,则该节点只能是群集的一部分。

<font color="084B8A"> 确保不要在不同的环境中重用相同的群集名称,否则最终会导致节点加入错误的群集。 例如,您可以将logging-dev,logging-stage和logging-prod用于开发,登台和生产集群。请注意,如果集群中只有一个节点,那么它是完全正常的。 此外,您还可以拥有多个独立的集群,每个集群都有自己唯一的集群名称。</font>

<font color="084B8A">3. Node: </font>

节点是作为群集一部分的单个服务器,存储数据并参与群集的索引和搜索功能。就像集群一样,节点由名称标识,默认情况下,该名称是在启动时分配给节点的随机通用唯一标识符(UUID)。如果不需要默认值,可以定义所需的任何节点名称。此名称对于管理目的非常重要,您可以在其中识别网络中哪些服务器与Elasticsearch集群中的哪些节点相对应。

<font color=grey>可以将节点配置为按群集名称加入特定群集。默认情况下,每个节点都设置为加入名为elasticsearch的群集,这意味着如果您在网络上启动了许多节点并且 - 假设他们可以相互发现 - 他们将自动形成并加入名为elasticsearch的单个群集。

在单个群集中,您可以拥有任意数量的节点。此外,如果您的网络上当前没有其他Elasticsearch节点正在运行,则默认情况下,启动单个节点将形成名为elasticsearch的新单节点集群。</font>

<font color="084B8A">4. Index:</font>

索引是具有某些类似特征的文档集合。 例如,您可以拥有客户数据的索引,产品目录的另一个索引以及订单数据的另一个索引。 索引由名称标识(必须全部小写),此名称用于在对其中的文档执行索引,搜索,更新和删除操作时引用索引。
在单个群集中,您可以根据需要定义任意数量的索引.

<font color="084B8A">5. Type (在6.0.0中弃用)</font>

一种类型,曾经是索引的逻辑类别/分区,允许您在同一索引中存储不同类型的文档,例如 一种用户类型,另一种用于博客帖子。 不再可能在索引中创建多个类型,并且将在更高版本中删除类型的整个概念。 请参阅删除映射类型以获取更多信息。

<font color="084B8A">6. Document</font>

文档是可以被索引的基本信息单元。 例如,您可以为单个客户提供文档,为单个产品提供另一个文档,为单个订单提供另一个文档。 该文档以JSON(JavaScript Object Notation)表示,JSON是一种普遍存在的互联网数据交换格式。

<font color=grey> 在索引/类型中,您可以根据需要存储任意数量的文档。 请注意,尽管文档实际上驻留在索引中,但实际上必须将文档编入索引/分配给索引中的类型。</font>

<font color="084B8A">7. Shards & Replicas</font>

索引可能存储大量可能超过单个节点的硬件限制的数据。 例如,占用1TB磁盘空间的十亿个文档的单个索引可能不适合单个节点的磁盘,或者可能太慢而无法单独从单个节点提供搜索请求。
为了解决这个问题,Elasticsearch提供了将索引细分为多个称为分片的功能。 创建索引时,只需定义所需的分片数即可。 每个分片本身都是一个功能齐全且独立的“索引”,可以托管在集群中的任何节点上。

<font color=grey> 分片很重要,主要有两个原因:

  • 它允许您水平拆分/缩放内容
  • 它允许您跨分片(可能在多个节点上)分布和并行化操作,从而提高性能/吞吐量</font>

总而言之,每个索引可以拆分为多个分片。 索引也可以复制为零(表示没有副本)或更多次。 复制后,每个索引都将具有主分片(从中复制的原始分片)和副本分片(主分片的副本)。

<font color=grey> 可以在创建索引时为每个索引定义分片和副本的数量。 创建索引后,您还可以随时动态更改副本数。 您可以使用_shrink和_split API更改现有索引的分片数,但这不是一项简单的任务,预先计划正确数量的分片是最佳方法。</font>

默认情况下,Elasticsearch中的每个索引都分配了5个主分片和1个副本,这意味着如果群集中至少有两个节点,则索引将包含5个主分片和另外5个副本分片(1个完整副本),总计为 每个索引10个分片。

<font color="B18904"> note:每个Elasticsearch分片都是Lucene索引。 单个Lucene索引中可以包含最大数量的文档。 自LUCENE-5843起,限制为2,147,483,519(= Integer.MAX_VALUE - 128)个文件。 您可以使用_cat / shards API监视分片大小。</font>

安装

1、下载zip/tar.gz文件

2、配置管理工具安装(可选)

  • Puppet
  • Chef
  • Ansible

3、运行

控制台运行 ./bin/elasticsearch

作为后台程序运行 ./bin/elasticsearch -d -p pid

4、简单配置

配置文件:config/elasticsearch.yml
任何能使用配置文件配置的都可以通过命令行来配置,但是集群配置需要通过配置文件配置,节点配置则可以通过命令行。

5、目录结构

文件夹 内容
bin 脚本
conf 配置
data 索引和分片的数据存放,可以使用多个location path.data
logs 日志 path.logs
plugins 插件
repo 共享文件系统存储库位置。可以容纳多个位置。文件系统存储库可以放在此处指定的任何目录的任何子目录中。 path.repo
script 脚本

使用

索引和查询

1、两种查询方式

2、查询范围

  • query:
  • size:
  • from:
  • sort:

3、查询返回字段:_source

  • 一般我们查询,都会返回该数据的所有 ,倘若只需要查询的部分数据则可以指定_source
{
  "query": { "match_all": {} },
  "_source": ["account_number", "balance"]
}

4、匹配指定条件

GET /bank/_search
{
  "query": { "match": { "account_number": 20 } }
}

5、bool查询

GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}
GET /bank/_search
{
  "query": {
    "bool": {
      "should": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}
GET /bank/_search
{
  "query": {
    "bool": {
      "must_not": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

6、使用过滤器查询
eg 范围查询

7、聚合操作

在Elasticsearch中,可以执行返回匹配的搜索,同时在一个响应中返回与命中相关的聚合结果。而不用执行多次

  • 统计 group by

    GET /bank/_search
    {
    "size": 0,
    "aggs": {
        "group_by_state": {
        "terms": {
            "field": "state.keyword"
        }
        }
    }
    }
    

    等同于数据库中
    SELECT state, COUNT(*) FROM bank GROUP BY state ORDER BY COUNT(*) DESC LIMIT 10;

  • 计算(平均值)

    GET /bank/_search
    {
    "size": 0,
    "aggs": {
        "group_by_state": {
        "terms": {
            "field": "state.keyword",
            "order": {
            "average_balance": "desc"
            }
        },
        "aggs": {
            "average_balance": {
            "avg": {
                "field": "balance"
            }
            }
        }
        }
    }
    }
    

增删改

集群状态

1、基本状态查看

http://ip1:9200/_cat/health?v

epoch      timestamp cluster     status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent

1564467233 06:13:53  elastic_green           3         3    116  58    0    0        0             0                  -                100.0%

status:

  • <font color="11BB">Green</font> : 集群健康
  • <font color="FFaa00">Yellow</font>: 数据正常,但是有些副本还没有分配
  • <font color=red>Red</font>:数据丢失,不可用

2、获取所有的节点信息

http://ip1:9200/_cat/nodes?v

ip            heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
ip1           59          73   0    0.03    0.02     0.00 mdi       *      node-2
ip2           32          94   1    0.05    0.03     0.06 mdi       -      node-3
ip3            65          71   0    0.00    0.00     0.00 mdi       -      node-1

3、获取所有的索引

http://ip1:9200/_cat/indices?v

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,386评论 6 479
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,939评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,851评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,953评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,971评论 5 369
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,784评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,126评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,765评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,148评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,744评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,858评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,479评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,080评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,053评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,278评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,245评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,590评论 2 343