Elasticsearch容器化部署

Elasticsearch标准软件基于Bitnami Elasticsearch 构建。当前版本为8.11.3

你可以通过轻云UC部署工具直接安装部署,也可以手动按如下文档操作,该项目已经全面开源,可以从如下环境获取 配置文件地址: https://gitee.com/qingplus/qingcloud-platform

qinghub自动安装部署配置库

简介

Elasticsearch是一个分布式、可扩展、实时的搜索与数据分析引擎。它不仅仅只是全文搜索,还支持结构化搜索、数据分析、复杂的语言处理、地理位置和对象间关联关系等。ES也是使用Java编写的,ES的底层依赖Lucene,它的内部使用Lucene做索引与搜索,它的目的是隐藏Lucene的复杂性,取而代之的提供一套简单一致的Restful API。

初始化一个新实例

使用Docker 容器网络,应用程序容器可以轻松访问容器内运行的 Elasticsearch 服务器。

连接到同一网络的容器可以使用容器名称作为主机名来相互通信。

使用命令行

第 1 步:创建网络

docker network create app-tier --driver bridge

第 2 步:启动 Elasticsearch 服务器实例

docker run 添加命令--network app-tier的参数, 将elasticsearch-server容器连接到网络app-tier。

docker run -d --name elasticsearch-server \

    --network app-tier \

    registry.cn-hangzhou.aliyuncs.com/qingcloudtech/elasticsearch:latest

第 3 步:启动应用程序容器

docker run -d --name myapp \

    --network app-tier \

    YOUR_APPLICATION_IMAGE

重要

注意替换YOUR_APPLICATION_IMAGE_占位符

在容器中,使用主机名elasticsearch-server连接到 Elasticsearch 服务器

使用 Docker Compose 文件

如果未指定,Docker Compose 会自动设置一个新网络并将所有已部署的服务附加到该网络。但是我们将显式定义一个bridge名为app-tier的新网络。在此示例中,我们假设您希望从您自己的自定义应用程序映像连接到 Elasticsearch 服务器,该映像在以下代码段中通过服务名称进行标识myapp。

version: '2'

networks:

  app-tier:

    driver: bridge

services:

  elasticsearch:

    image: 'registry.cn-hangzhou.aliyuncs.com/qingcloudtech/elasticsearch:latest'

    networks:

      - app-tier

  myapp:

    image: 'YOUR_APPLICATION_IMAGE'

    networks:

      - app-tier

重要

注意替换YOUR_APPLICATION_IMAGE_占位符

在容器中,使用主机名elasticsearch-server连接到 Elasticsearch 服务器

使用以下命令启动容器:

docker-compose up -d

配置

环境变量

当您启动elasticsearch镜像时,您可以通过在docker-compose文件或docker run命令行上传递一个或多个环境变量来调整实例的配置。

对于 Docker Compose,在应用程序部分下添加变量名称和值:

elasticsearch:

  ...

  environment:

    - ELASTICSEARCH_PORT_NUMBER=9201

  ...

...

对于手动执行,增加-e为每个变量和值添加一个选项:

$ docker run -d --name elasticsearch \

    -p 9201:9201 --network=elasticsearch_network \

    -e ELASTICSEARCH_PORT_NUMBER=9201 \

    -v /path/to/elasticsearch-data-persistence:/bitnami/elasticsearch/data \

    registry.cn-hangzhou.aliyuncs.com/qingcloudtech/elasticsearch

可用变量:

BITNAMI_DEBUG:增加初始化日志的详细程度。默认false

ELASTICSEARCH_EXTRA_FLAGS:elasticsearch守护进程的额外命令行参数

ELASTICSEARCH_CLUSTER_NAME:Elasticsearch 集群名称。默认值:elasticsearch-cluster

ELASTICSEARCH_CLUSTER_HOSTS:用于设置集群的elasticsearch主机列表。可用的分隔符为“ ”、“,”和“;”。没有默认值。

ELASTICSEARCH_CLUSTER_MASTER_HOSTS:符合elasticsearch master资格的主机列表。可用的分隔符为“ ”、“,”和“;”。如果未提供任何值,它将具有与 相同的值ELASTICSEARCH_CLUSTER_HOSTS。

ELASTICSEARCH_IS_DEDICATED_NODE:Elasticsearch 节点充当“专用节点”。默认值:false

ELASTICSEARCH_NODE_TYPE:充当“专用节点”时的 Elasticsearch 节点类型。有效值:master、data、coordinating或ingest。

ELASTICSEARCH_NODE_NAME:Elasticsearch 节点名称。没有默认值。

ELASTICSEARCH_BIND_ADDRESS:Elasticsearch 绑定的地址/接口。默认值:0.0.0.0

ELASTICSEARCH_PORT_NUMBER:Elasticsearch 端口。默认值:9200

ELASTICSEARCH_NODE_PORT_NUMBER:Elasticsearch 节点到节点端口。默认值:9300

ELASTICSEARCH_PLUGINS:逗号、分号或空格分隔的初始化时安装的插件列表。没有默认值。

ELASTICSEARCH_KEYS:要存储的以逗号、分号或空格分隔的键值对 (key=value) 列表。没有默认值。

ELASTICSEARCH_HEAP_SIZE:用于 Xmx 和 Xms java 堆值的内存。默认值:1024m

ELASTICSEARCH_FS_SNAPSHOT_REPO_PATH:Elasticsearch 文件系统快照存储库路径。没有默认值。

ELASTICSEARCH_DATA_DIR_LIST:逗号、分号或空格分隔的用于数据存储的目录列表。没有默认值。

设置集群

可以使用以下环境变量设置集群:

ELASTICSEARCH_CLUSTER_NAME:Elasticsearch 集群名称。默认值:elasticsearch-cluster

ELASTICSEARCH_CLUSTER_HOSTS:用于设置集群的elasticsearch主机列表。可用的分隔符为' ', ',' and ';'. No defaults.

ELASTICSEARCH_CLIENT_NODE:Elasticsearch 节点充当 Kibana 应用程序的“智能路由器”。默认值:false

ELASTICSEARCH_NODE_NAME:Elasticsearch 节点名称。没有默认值。

ELASTICSEARCH_MINIMUM_MASTER_NODES:法定人数的最小 Elasticsearch 主节点。没有默认值。 对于较大的集群,您可以使用以下环境变量设置dedicated nodes:

ELASTICSEARCH_IS_DEDICATED_NODE:Elasticsearch 节点充当dedicated nodes。默认值: no

ELASTICSEARCH_NODE_TYPE:充当dedicated nodes时的 Elasticsearch 节点类型。有效值:master, data, coordinating or ingest

ELASTICSEARCH_CLUSTER_MASTER_HOSTS:符合elasticsearch master资格的主机列表。可用的分隔符为' ', ',' , ';'。如果未提供任何值,它将具有与ELASTICSEARCH_CLUSTER_HOSTS相同的值。

第 1 步:创建新网络

docker network create elasticsearch_network

步骤2:创建第一个节点

docker run --name elasticsearch-node1 \

  --net=elasticsearch_network \

  -p 9200:9200 \

  -e ELASTICSEARCH_CLUSTER_NAME=elasticsearch-cluster \

  -e ELASTICSEARCH_CLUSTER_HOSTS=elasticsearch-node1,elasticsearch-node2 \

  -e ELASTICSEARCH_NODE_NAME=elastic-node1 \

  registry.cn-hangzhou.aliyuncs.com/qingcloudtech/elasticsearch:latest

在上面的命令中,容器被添加到elasticsearch-cluster使用ELASTICSEARCH_CLUSTER_NAME. 该ELASTICSEARCH_CLUSTER_HOSTS参数设置设置集群的节点的名称,因此我们需要为第二个节点启动其他容器。最后,该ELASTICSEARCH_NODE_NAME参数允许指定节点的已知名称,否则elasticsearch将生成一个随机名称。

步骤 3:创建第二个节点

docker run --name elasticsearch-node2 \

  --link elasticsearch-node1:elasticsearch-node1 \

  --net=elasticsearch_network \

  -e ELASTICSEARCH_CLUSTER_NAME=elasticsearch-cluster \

  -e ELASTICSEARCH_CLUSTER_HOSTS=elasticsearch-node1,elasticsearch-node2 \

  -e ELASTICSEARCH_NODE_NAME=elastic-node2 \

  registry.cn-hangzhou.aliyuncs.com/qingcloudtech/elasticsearch:latest

在上面的命令中,一个新的elasticsearch节点被添加到由ELASTICSEARCH_CLUSTER_NAME指示的elasticsearch集群中。

您现在已经启动并运行了一个两节点 Elasticsearch 集群,可以通过添加/删除节点来扩展该集群。

通过 Docker Compose,可以使用以下命令设置集群配置:

version: '2'

services:

  elasticsearch-node1:

    image: registry.cn-hangzhou.aliyuncs.com/qingcloudtech/elasticsearch:latest

    environment:

      - ELASTICSEARCH_CLUSTER_NAME=elasticsearch-cluster

      - ELASTICSEARCH_CLUSTER_HOSTS=elasticsearch-node1,elasticsearch-node2

      - ELASTICSEARCH_NODE_NAME=elastic-node1

  elasticsearch-node2:

    image: registry.cn-hangzhou.aliyuncs.com/qingcloudtech/elasticsearch:latest

    environment:

      - ELASTICSEARCH_CLUSTER_NAME=elasticsearch-cluster

      - ELASTICSEARCH_CLUSTER_HOSTS=elasticsearch-node1,elasticsearch-node2

      - ELASTICSEARCH_NODE_NAME=elastic-node2

配置文件

为了使用自定义配置文件而不是开箱即用的默认配置文件,您可以创建一个名为的文件elasticsearch.yml并将其挂载于/opt/bitnami/elasticsearch/config/elasticsearch.yml以覆盖默认配置:

docker run -d --name elasticsearch \

    -p 9201:9201 \

    -v /path/to/elasticsearch.yml:/opt/bitnami/elasticsearch/config/elasticsearch.yml \

    -v /path/to/elasticsearch-data-persistence:/bitnami/elasticsearch/data \

    registry.cn-hangzhou.aliyuncs.com/qingcloudtech/elasticsearch:latest

或者通过更改docker-compose.yml文件:

elasticsearch:

  ...

  volumes:

    - /path/to/elasticsearch.yml:/opt/bitnami/elasticsearch/config/elasticsearch.yml

    - /path/to/elasticsearch-data-persistence:/bitnami/elasticsearch/data

  ...

请注意,整个配置文件将被提供的默认配置文件替换;确保您提供的语法和字段设置正确且详尽。

如果您宁愿扩展而不是用您的设置替换默认配置,请挂载自定义配置文件到容器/opt/bitnami/elasticsearch/config/my_elasticsearch.yml。

初始化一个新实例

当容器第一次执行时,它会执行/docker-entrypoint-initdb.d目录下扩展名为.sh的文件.

为了将自定义文件放入 Docker 容器中,您可以将它们挂载为卷。

日志

docker logs elasticsearch

或使用 Docker Compose:

docker-compose logs elasticsearch

如果您希望以不同方式使用容器日志,您可以使用该选项配置容器日志记录驱动程序。--log-driver在默认配置中,docker 使用json-file驱动程序。

此外,如果您想修改 Elasticsearch 日志记录配置,可以通过覆盖该文件来完成/opt/bitnami/elasticsearch/config/log4j2.properties。该文件的语法可以在 Elasticsearch日志记录文档中找到。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,445评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,889评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,047评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,760评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,745评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,638评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,011评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,669评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,923评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,655评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,740评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,406评论 4 320
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,995评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,961评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,023评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,483评论 2 342

推荐阅读更多精彩内容