刚被告知服务器磁盘严重预警，最近刚加大的磁盘感觉有点诡异，于是跟踪排查了一下，最终发现是Elasticsearch的启动方式导致的。在此记录一下排查步骤，以备后用。
问题排查
第一步：肯定是确认磁盘占用率
df -h
查看磁盘占用率的确超过80%
第二步：查找大目录
du -h --max-depth=1
跟踪到文件目录为logstash的bin目录
第三步：定位大文件
ls -lht
第四步：保留最近1万条数据，清空nohup.out
log=`tail -n 10000 nohup.out`;
echo "$log" > nohup.out
至此磁盘占用率恢复正常
原因回顾
为了使我们的项目不会因为其他原因而挂掉，大家一般会使用nohup命令，我这个最初启动logstash的脚本也是
nohup ./logstash -f start.conf &
用nohup命令会在当前的目录产生一个nohup.out的日志文件，时间长了磁盘消耗很大。elasticsearch吃内存，logstash吃磁盘，这就很尴尬了。
扩展阅读
1. nohup.out的由来及作用
用途：LINUX命令用法，不挂断地运行命令。
语法：nohup Command [ Arg ... ] [ & ]
描述：nohup 命令运行由 Command 参数和任何相关的 Arg 参数指定的命令，忽略所有挂断（SIGHUP）信号。在注销后使用 nohup 命令运行后台中的程序。要运行后台中的 nohup 命令，添加 &（ 表示“and”的符号）到命令尾部。
例子： nohup ./startWeblogic.sh & 意思是即使退出ssh界面，命令仍然在后台执行，并且打印过程日志到nohup.out，当然也可以将nohup.out的输出转向到其他文件
2. nohup.out的查看方法
实际使用过程中往往因为懒，经常没有给nohup.out进行重定向输出，也没有按日期分割文件，会造成这个文件特别巨大，这个使用想查看文件，搜索出错内容就比较痛苦了。一般有两种方式：
- linux本机查看：使用tail 命令查看最新的日志，或滚动监控日志打印。
tail -1000 nohup.out (查看最后1000行日志文本）
tail -ｆ nohup.out（监控日志打印）
- 采用Ftp等工具下载到本地，用编辑器查看
3. nohup.out维护管理方法
如果直接使用rm -rf nohup.out删除，目录中没有这个文件了，但是磁盘空间还是没有减少。这是因为我们的项目正在使用中，就像我们熟悉的Windos系统打开一个文件你是无法删除的。
这种问题处理办法：
关闭当前的服务，rm -rf 直接删掉，启动服务。
生产环境勿用。清空nohup.out，这个不需要关闭服务
第一种：echo '' > nohup.out
第一种：cp /dev/null nohup.out
第三种：cat /dev/null > nohup.out
4. 一劳永逸解决nohup.out文件过大的问题
以下是定义日志打印级别，除了高于级别2的告警信息记录到log文件外，其余直接不记录
# 只输出错误信息到日志文件
nohup ./logstash - f start.conf > /dev/null 2 > log &
# 指定到黑洞目录，什么信息也不要
nohup ./logstash - f > /dev/null 2 > &1 &
Linux的三种重定向
- 0: 表示标准输入
- 1: 标准输出，在一般使用时默认的是标准输出
- 2: 标准错误信息输出，可以用来指定需要重定向的标准输入或输出
例如将某个程序的错误信息输出到log文件中：./program 2 > log。这样标准输出还是在屏幕上，但是错误信息会输出到log文件中。另外也可以实现0，1，2之间的重定向。2>&1：将错误信息重定向到标准输出。
关于/dev/null文件
Linux下还有一个特殊的文件/dev/null，它就像一个无底洞，所有重定向到它的信息都会消失得无影无踪。这一点非常有用，当我们不需要回显程序的所有信息时，就可以将输出重定向到/dev/null。
