一、Nginx 按天生成日志
定义时间变量指定格式
map $time_iso8601 $logdate {
'~^(?<ymd>\d{4}-\d{2}-\d{2})' $ymd;
default 'date-not-found';
}
自定义日志json格式
log_format json_log '{"time":"$logdate","demo1":"$arg_demo1","demo2":"$arg_demo2"}';
$args $arg_name 是nginx预定义变量
$args 可以接收请求uri后面的参数
$arg_name 当前请求中名为 name 的参数的值，而且还是未解码的原始形式的值
例：http://192.168.31.112:80/web?demo1=aaaa&demo2=bbb
此时$args 的值为demo1=aaaa&demo2=bbb
$arg_demo1 的值为 aaaa
$arg_demo2 的值为 bbb
存储日志
access_log logs/ng_$logdate.log json_log;
二、埋点
前端发送一个请求，ng拦截该请求，返回一个空gif，并将本次请求存入日志
location ^~/web {
access_log logs/ng_$logdate.log json_log;
empty_gif;
}
之后通过filebeat收集日志，在es中做数据统计
完整nginx.conf
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
#default_type application/octet-stream;
map $time_iso8601 $logdate {
'~^(?<ymd>\d{4}-\d{2}-\d{2})' $ymd;
default 'date-not-found';
}
#默认日志
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
#自定义日志格式
log_format json_log '{"time":"$logdate","demo1":"$arg_demo1","demo2":"$arg_demo2"}';
sendfile on;
keepalive_timeout 65;
server {
listen 80;
server_name localhost;
#按天输出access日志
access_log logs/access_$logdate.log main;
location / {
root html;
index index.html index.htm;
}
location ^~/demo {
access_log logs/ng_$logdate.log json_log;
empty_gif;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}
测试
浏览器发送请求
(注：默认情况下访问nginx静态资源只能用get请求，post请求会报405)
http://192.168.31.112:80/web?demo1=aaaa&demo2=bbb
nginx的logs目录下会多出一个ng_2023-01-06.log的日志文件
查看日志：
{"time":"2023-01-06","demo1":"aaaa","demo2":"bbb"}
三、filebeat收集日志并以json保存在elasticsearch中
filebeat安装步骤 略
在filebeat的目录下创建文件filebeat-nginx.yml
filebeat.inputs:
- type: log
enabled: true
paths:
#nginx日志所在绝对路径，用* 去匹配
- /usr/local/nginx/logs/ng_*.log
fields:
index: nginx
json.keys_under_root: true
json.overwrite_keys: true
#===================================
output.elasticsearch:
#es连接地址，多个用逗号分隔
hosts: ["192.168.31.112:9200"]
username: "elastic"
password: "123456"
index: "elk-%{[fields.source]}-*"
indices:
- index: "elk-nginx-%{+yyyy.MM.dd}"
when.equals:
fields:
index: "nginx"
#===================================
setup.kibana:
host: "192.168.31.112:5601"
#===================================
# 允许自动生成index模板
setup.template.enabled: true
# 如果存在模块则覆盖
setup.template.overwrite: true
#和前面的index保持一致
setup.template.name: "elk-nginx"
setup.template.pattern: "elk-*"
setup.ilm.enabled: auto
# 这里一定要注意 会在alias后面自动添加-*
setup.ilm.rollover_alias: "park-ssm"
setup.ilm.pattern: "{now/d}"
# 当我们该属性为false时，就不再遵循ilm的管理，而是索引到我们自己指定的index中
setup.ilm.enabled: false
重要：一定要清空es之前收集的传统日志格式的数据，还要把nginx日志情况，如果有多台nginx服务器，则改完json格式的日志后，一定要把日志清空，否则将会在kibana中显示两种日志格式；删除原有（如果有）elk-nginx-* 的索引
DELETE /elk-nginx-*
启动filebeat：
前台指定配置文件启动：
./filebeat -e -c filebeat-nginx.yml -d "publish"
后台启动
nohup ./filebeat -c /usr/local/filebeat/filebeat-nginx.yml -e > /usr/local/filebeat/logs/filebeat.log 2>&1
敲重点：
此时你关闭终端，断开ssh连接，会导致这个nohup进程也同时终止。因为断开连接时，会发送SIGHUP信号给当前shell的作业列表的所有进程，nohup进程接收到SIGHUP信号后终止。也就是说后台启动的filebeat会停止运行。
解决办法
解决终端关闭导致后台的nohup进程停止的有两种办法。
第一种是，在关闭xshell终端之前，先用exit命令断开ssh连接，然后就可以关闭终端了。但该方法一定程度上仍可能存在直接关闭终端导致nohup进程终止的危险。
第二种是，在原来的命令之前加上disown参数，这个参数将会使启动的nohup进程从当前shell的作业列表中清除，从而避免nohup进程在关闭这个shell时接收到SIGHUP信号。
nohup ./filebeat -c /usr/local/filebeat/filebeat-nginx.yml -e > /usr/local/filebeat/logs/filebeat.log 2>&1 & disown
在浏览器中发送器请求
http://192.168.31.112:80/web?demo1=aaaa&demo2=bbb
在kibana中查询
GET /elk-nginx-2023.01.06/_search
{
"query": {
"match_all": {}
}
}
会发现数据已经是根据自己定义的键值对存储
四、将filebeat做成服务
#进入对应目录
cd /etc/systemd/system
#创建文件
touch filebeat.service
#赋予可执行权限
chmod 777 filebeat.service
#编辑内容
vi filebeat.service
在文件中输入如下内容
[Unit]
Description=filebeat
Wants=network-online.target
After=network-online.target
[Service]
User=root
ExecStart=/usr/local/filebeat-7.17.8/filebeat -e -c /usr/local/filebeat-7.17.8/filebeat-nginx.yml
Restart=always
[Install]
WantedBy=multi-user.target
systemctl daemon-reload
systemctl enable filebeat
systemctl start filebeat
systemctl status filebeat
systemctl stop filebeat
ok
