写在最前
工作过程发现的一些问题和一些项目中我们要思考的问题,总结如下:
- Log4j多进程写同一文件的问题
- redis set过大的问题
- redis pipline的问题
- redis超时的问题
- redis 没有优化成pipline方式的问题
- kafka同步发送和异步发送的耗时问题
- storm workers设置问题
- hive数据恢复问题
- 定时模块的容错问题
- 群监控问题;监控资源,提前进行流量评估,报警等等。
- 重要进程异常停止后的自启动问题
- 日志收集、监控和分析
- 业务逻辑的监控问题,监控重要业务逻辑的完整性,异常、失败、错误等等维度
- 程序异常的处理方式,网络异常的处理方式、机房故障时的处理
- 备份机制、降级机制、
- redis的cpu抖动问题,如何排查问题:slowlog和 Redis Faina工具
- redis的key惩罚问题
- redis的分布式锁的问题:setnx / del / getset
- redis key的设计合理性问题,key可以设计的简单些
- redis expire同一时刻失效过多引发的问题
- redis事务的处理问题
- JVM运行时监控问题,热点分布,cpu占用,实例数等等维度
- mysql索引问题
- 分布式程序下,本地缓存同步问题
- mysql分布式下的分库分表问题
- mysql分布式下的数据同步,更新操作、全局id问题
- cache的穿透和雪崩,热点数据的问题,限流,高可用,多线程问题
写在最后
有问题可以一起讨论,看看大家都使如何实现的。