Logstash的一个典型应用场景,就是接收filebeat发送过来的数据并且写入到Elasticsearch, 使用腾讯云Logstash产品,可以通过简单的配置快速地完成这一过程。
创建管道
在“管道管理”页面,点击“新建管道”按钮,创建一个管道:
进入管道配置页面,点击“引用模板”按钮,同时引用“input-beats”和“output-elasticsearch”两个模板:
在管道配置中,分别针对“input-beats”和“output-elasticsearch”进行配置,一些关键的配置参数说明如下:
input-beats
- host: logstash要监听的ip地址,可设置为节点的ip,默认为0.0.0.0
- port: logstash要监听的端口号,默认为5044
- type: 标识字段
查看更多参数,可以参考input-beats
output-elasticsearch
- hosts: elasticsearch集群地址列表
- user: elasticsearch集群账号
- password: elasticsearch集群密码
- index: 索引名称
- document_type: 索引type,对于不同版本的ES集群,该字段有不同的默认值,5.x及以下的集群,默认会使用input中指定的type字段,如果type字段不存在,则该字段的值为doc;6.x的集群,该字段默认值为doc;7.x的集群,该字段默认值为_doc; 8.x的集群,不会使用该字段
- document_id: 文档ID
查看更多参数,可以参考output-elasticsearch
在配置完管道后,点击“保存并部署”创建一个管道并自动部署:
查看日志
在控制台查看Logstash的运行日志,如果没有ERROR级别的日志,则说明管道运行正常:
查看数据写入情况
进入到output-elasticsearch中定义的输出端的ES集群对应的kibana页面,在Dev tools工具栏里查看索引是否存在,以及索引的文档数量是否正确: