参考资料
https://blog.csdn.net/qq_41154522/article/details/107283490
需求
Filebeat向Elasticsearch输入log的时候,INFO 日志肯定没有问题,因为Filebeat也是按照行读取的。
比如这种的
2020-12-11 19:02:13.135 [main] INFO com.example.test.listen.Demo 3644b875-1428-4afb-8fb9-dcc08d147419----第1个 log
但是对于那种错误日志的话,比如
2020-12-11 19:02:13.135 [main] ERROR com.example.test.listen.Demo has a exception
java.lang.Exception: has a exception
at com.example.test.listen.Demo.exception(Demo.java:27)
at com.example.test.listen.Demo.main(Demo.java:19)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.springframework.boot.loader.MainMethodRunner.run(MainMethodRunner.java:49)
at org.springframework.boot.loader.Launcher.launch(Launcher.java:107)
at org.springframework.boot.loader.Launcher.launch(Launcher.java:58)
at org.springframework.boot.loader.JarLauncher.main(JarLauncher.java:88)
这样的话,我们在写入es的时候,没有办法匹配error日志,进而切分成多个字段,这样日志查看也就没有了意义。
解决
幸亏FileBeat自带整合的功能,在filebeat.yml 的文件中(这个是我自己的样例)
multiline.pattern: ^2
multiline.negate: true
multiline.match: after
这些的相关意思为
multiline.pattern: ^2 ------ 正则表达式
multiline.negate: true ------ 默认是false,匹配pattern的行合并到上一行;true,不匹配pattern的行合并到上一行
multiline.match: after ------ after 或 before,合并到上一行的末尾或开头
这样的话就可以将不匹配2开头的日志合并到上一行的最后面