一、看影响范围，是什么程度的挂了
有的时候可能是别的服务挂了导致本服务的部分功能挂了，有的时候是基础服务挂了，有时候是服务所有功能都不可用了。需要确定一下影响范围。怎么确定呢？最快的方式就是去页面看一下都有哪些功能不可用了，以及关注下sentry的报警。如果说服务挂了所有功能不可用，那么sentry会疯狂报警、页面全都打不开，error日志都是在刷屏（这时候就不要看error日志了），然后看一下机器大盘监控，一半来说机器挂了的话，能很明显从大盘监控看出来CPU飙升。
二、快速解决问题
深呼吸，保持冷静，本着以最快速度解决问题的精神，看下是否有新代码部署，或者脚本在跑，如果有的话需要快速回滚代码。回滚无效的话，需要问一下运维是不是底层服务出了问题，配合去处理，看下其他服务最近是否有上线，如果最近有上线的话，需要回滚。
三、如何定位问题？
关注第一条报警，往往是问题发生的根源！！！这是最重要的，因为我就碰到忽略了第一条最重要的报警，然后看各种error日志，看大盘监控，查询bi的nginx都毫无头绪的情况，回过头来才发现是因为没关注第一条报警。所以最后定位到mq挂了的原因是由于发布消息的时候超时时间设置为5s，但是mq出现故障了，很多mq任务一直在尝试建立连接，导致连接数爆满，然后CPU开始飙升，之后很多请求没办法处理，就出现了很多499，502，504。后来重启服务之后，服务能正常了，但是出现很多消息堆积的现象，并且内存很满，这里内存快要溢出的原因可能是消息堆积了？？
四、避免服务挂了
设置各类报警，比如错误日志报警、sentry报警、服务状态报警、慢查询报警、499报警等，然后遇到报警第一时间处理，关注第一条报警是什么。这非常重要！！
服务挂了怎么办？
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 一、交易型系统设计的一些原则 1.在设计系统时，应该多思考墨菲定律： * 任何事情都没有表面看起来那么简单 * 所...
- 点赞再看，养成习惯本文 GitHub https://github.com/JavaFamily 已收录，有一线大...
