Elasticsearch入门教程

Elasticsearch是著名的开源分布式搜索和数据处理平台，是一个基于Lucene的分布式、实时、全文搜索系统，其稳定、可靠、高可用、可大规模扩展等特性，使得Elasticsearch的应用十分广泛。特别是结合Logstash、Kibana形成的ELK套件，更是在日志收集和可视化场景被大规模应用。

本文将从零开始，介绍Elasticsearch的核心概念、安装和基本使用，目标是看完本文能够快速入门Elasticsearch。


Elasticsearch-Logo-Color-V.jpg.png

一、核心概念

索引(index)

一个索引是一些具有相似特征的文档的集合，例如一个用户信息的索引，一个学生成绩的索引，一个索引在Elasticsearch中由一个名字指定，名字由小写字母组成。

类型(type)

在一个索引中，可以定义一种或者多种类型，类型指的是一个索引上的逻辑分类，一般来说会为一组具有共同字段的文档定义类型，例如保存一个保存用户数据的索引，为会员用户创建一个类型，为普通用户创建一个类型。类型在最新版的Elasticsearch 7.X版本中已经被去掉了。

文档(document)

一个文档是以可被Elasticsearch索引的基础信息单元，文档以通用的数据交换格式JSON表示，存储于索引之中，理论上一个索引中可以存储任意多的文档。

分片(shards)

一个索引理论上可以存放任意多的文档，但是实际情况下单台服务器的容量有限，无法存放所有的数据。例如100亿的文档，单台服务器存储不下。为了解决这种情况，Elasticsearch提供了将一个索引的数据切分成多份存放到多个服务器的功能，每一份就是一个分片。
在创建索引的时候可以指定分片的数量，默认会有5个分片。一般来说指定以后不能更改(更改的代价太大)，索引需要提前进行容量的规划。
分片的设计一方面让Elasticsearch具备了水平扩展的能力，另一方面多个分片可以并行提供查询和索引服务，大大提高系统的性能。

复制(replicas)
一个健壮的系统必须具备高可用性，复制就是Elasticsearch高可用性的体现。当某一个分片出现问题掉线的情况下，必须要有一个"备份"可以进行故障转移，这个备份就是"复制"分片。Elasticsearch允许对某一个主分片创建多个复制分片，默认为1个复制分片。特别需要注意的是，复制分片不能与主分片在同一个节点，否则就失去了高可用的能力。

综上，复制分片的作用：

  • 提供Elasticsearch的高可用性
  • 多个复制分片并行提供搜索功能，提升Elasticsearch的搜索能力。

集群(cluster)
Elasticsearch集群由一个或者多个节点组成，共同承担所有的数据存储和搜索功能。集群由一个唯一的名字进行区分，默认为"elasticsearch"，集群中的节点通过整个唯一的名字加入集群。

节点(node)
节点是Elasticsearch集群的一部分，每个节点也有一个唯一的名称，只要多个节点在同个网络中，节点就可以通过指定集群的名称加入某个集群，与集群中的其他节点相互感知。

近实时(near real-time)

Elasticsearch从存储文档到文档可以被索引查询会存在短暂的延时，延时时间一般在1秒以内，所以是近实时的。

二、安装

2.1 下载Elasticsearch安装包

下载Elasticsearch安装包，并解压缩，本文以6.5.2版本为例。

$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.2.tar.gz
$ tar -zxvf elasticsearch-6.5.2.tar.gz

2.2 修改配置文件（可选）

修改配置文件是可选的一个步骤，只是为了向大家展示Elasticsearch一些基本的配置项，大家可以选择性配置，亦可以跳过使用默认配置。

#集群名字，elasticsearch使用集群名字来加入某一个集群，默认为elasticsearch
cluster.name: my-application
#节点名字
node.name: node-1
node.attr.rack: r1
#数据存放路径
path.data: /home/elastic/data
#日志存放路径
path.logs: /home/elastic/logs
#对外发布的IP
network.host: 192.168.56.3
#http访问的端口
http.port: 9200
#是否开启xpack安全配置
xpack.security.enabled: false
#添加跨域配置
http.cors.enabled: true
http.cors.allow-origin: "*"

2.3 修改系统参数

2.3.1 修改最大文件描述符和最大线程数配置

切换到root用户，修改/etc/security/limits.conf配置文件，添加以下内容并保存。

#添加如下内容并保存
* soft nofile 65536

* hard nofile 131072

* soft nproc 4096

* hard nproc 4096

以上的配置是因为ElasticSearch的运行对最大的文件描述符以及最大线程数有要求，默认值4096和2048太小了，若无以上配置，启动过程中会报如下错误。

max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
[1]: max number of threads [2048] for user [elastic] is too low, increase to at least [4096]

2.3.2 修改max_map_count参数
打开/etc/sysctl.conf配置文件，添加如下内容并保存,执行sysctl -p命令生效。

vm.max_map_count=262144

以上的配置也是因为Elasticsearch对次参数有要求，设置太小启动将会报如下错误

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

2.3.3 关闭系统防火墙(可选)

$ systemctl stop firewalld.service
$ systemctl status firewalld.service

2.4 启动Elasticsearch

经过以上配置，就可以执行以下命令启动Elasticsearch,进入Elasticsearch根目录，执行以下命令

$ bin/elasticsearch

如果看到以下日志，代表已经正常启动

[2019-01-13T08:41:29,796][INFO ][c.f.s.h.SearchGuardHttpServerTransport] [node-1] publish_address {10.0.2.15:9200}, bound_addresses {[::]:9200}
[2019-01-13T08:41:29,796][INFO ][o.e.n.Node               ] [node-1] started

2.5 验证Elasticsearch

使用curl命令或者执行在浏览器输入如下URL，若有正常输出Elasticsearch集群信息，证明已经正常运行。

$ curl http://192.168.56.3:9200
或者
$ curl http://localhost:9200

{
  "name" : "node-1",
  "cluster_name" : "my-application",
  "cluster_uuid" : "C2ILS_NVRM-S-JPFFsHhUg",
  "version" : {
    "number" : "6.5.2",
    "build_flavor" : "default",
    "build_type" : "zip",
    "build_hash" : "424e937",
    "build_date" : "2018-06-11T23:38:03.357887Z",
    "build_snapshot" : false,
    "lucene_version" : "7.3.1",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

三、索引的操作

Elasticsearch提供一整套的RESTful的API用以支持各种索引、文档、搜索等操作。这里我们简单以索引的创建、查询和删除为例子来了解如何操作Elasticsearch的索引。

新建索引

使用HTTP PUT方法可以新建一个索引,如下创建一个名字为customer的索引，pretty参数表示response以方便读取的JSON格式返回。

$ curl -X PUT "localhost:9200/customer?pretty"

返回值如下，表示索引已经创建成功。

{
  "acknowledged":true,
  "shards_acknowledged":true
}
查询索引
$ curl http://localhost:9200/_cat/indices?v
health status index    uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   customer IpQSnki7S1eQfYH6BgDd0Q   5   1          2            0      7.7kb          7.7kb

使用HTTP GET方法访问_cat API的indices接口可以查询到上一步中创建的索引，可以看到customer索引有5个primary分片，有1个复制分片。

删除索引

使用HTTP DELETE方法可以删除一个索引。

$ curl -X DELETE "localhost:9200/customer?pretty"

返回值如下，代表已经删除成功，也可以重新使用索引查询方法进行查询，可以发现索引已被删除。

{
  "acknowledged": true
}

四、文档的操作

Elasticsearch对于文档的操作也包括了一系列的_doc API，我们这里同样使用Document的增删改查为例来讲解如何操作Document(尝试这一步之前前面创建的索引不能删除)

创建一个Document

使用HTTP PUT方法可以新增一个Document,如下指定Document ID为1创建Document

$ curl -X PUT "localhost:9200/customer/_doc/1?pretty" -H 'Content-Type: application/json' -d'
{
  "name": "Liu Jintao"
}
'

返回值如下，代表已经成功创建了文档。

{
  "_index": "customer",
  "_type": "_doc",
  "_id": "1",
  "_version": 2,
  "result": "updated",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 1,
  "_primary_term": 2
}
查询一个Document

使用HTTP GET方法，通过Document ID查询Document

$ curl -X GET "localhost:9200/customer/_doc/1?pretty"

返回值如下，可以发现实际存储的内容放在了source字段。

{
  "_index": "customer",
  "_type": "_doc",
  "_id": "1",
  "_version": 2,
  "found": true,
  "_source": {
    "name": "Liu Jintao"
  }
}
修改一个Document

使用HTTP POST请求修改一个Document，例如将上面创建的Document name的值改为“Test Name”

$ curl -X POST "localhost:9200/customer/_doc/1/_update?pretty" -H 'Content-Type: application/json' -d'
{
  "doc": { "name": "Test Name" }
}
'

返回值如下，可以发现_version字段的值已经改变了，证明我们的更新成功了，也可以使用查询API重新查询确认。

{
  "_index": "customer",
  "_type": "_doc",
  "_id": "1",
  "_version": 3,
  "result": "updated",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 2,
  "_primary_term": 2
}
删除一个Document

使用HTTP DELETE方法可以删除一个Document

$ curl -X DELETE "localhost:9200/customer/_doc/1?pretty"

返回值如下代表删除成功

{
  "_index": "customer",
  "_type": "_doc",
  "_id": "1",
  "_version": 4,
  "result": "deleted",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 3,
  "_primary_term": 2
}

五、数据搜索

数据搜索是Elasticsearch的重头戏，与Document、Index一样，Elasticsearch有一套专门的_search API来支持搜索功能。数据搜索基本使用HTTP GET方法，一般有两种方式:

方式一: 使用Request URI，将查询参数放到URI上

方式二: 使用Request Body，将查询参数放到Request Body下(推荐)

方式一

使用_search API，q=*代表查询customer索引下所有的Document

curl -X GET "localhost:9200/customer/_search?q=*&pretty"

返回值如下，_shards.total代表总共5个分片，_shards.successful为5代表5个分片全部成功进行了查询，hits段代表查询的结果,hits.total为1代表符合条件的Document数量为1。

{
  "took": 17,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 1.0,
    "hits": [
      {
        "_index": "customer",
        "_type": "_doc",
        "_id": "2",
        "_score": 1.0,
        "_source": {
          "name": "Liu jintao"
        }
      }
    ]
  }
}
方式二

使用Request Body的方式进行查询，使用query参数，匹配条件为match_all，结果与上一步的查询结果一致，不再赘述。
这种查询方式使用的是Elasticsearch的 query DSL语法，后续文章会详细讲解这种语法。

$ curl -X GET "localhost:9200/bank/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "query": { "match_all": {} }
}
'

更多内容

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 194,088评论 5赞 459
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 81,715评论 2赞 371
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 141,361评论 0赞 319
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 52,099评论 1赞 263
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 60,987评论 4赞 355
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 46,063评论 1赞 272
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 36,486评论 3赞 381
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 35,175评论 0赞 253
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 39,440评论 1赞 290
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,518评论 2赞 309
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,305评论 1赞 326
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 32,190评论 3赞 312
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 37,550评论 3赞 298
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,880评论 0赞 17
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,152评论 1赞 250
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 41,451评论 2赞 341
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 40,637评论 2赞 335