系统稳定性治理

一、微服务内部异常描述微服务Pod自动重启表现服务波动响应时间不稳定、监控指标异常Pod重启次数增加CPU/内存波动、Kubernetes事件记录容器重启原因影响服务中断、性能波动、资源消耗增加、可能引发链路雪崩监控指标Pod自动重启告警规则1分钟内Pod重启次数 0常见原因健康检查失败Liveness/Readiness Probe配置不当容器异常退出如OOM Killed配置变更触发重启排查步骤查看Pod状态及事件检查Pod日志定位异常资源耗尽、代码错误等验证健康检查探针配置合理性检查资源限制requests/limits分析CPU/内存等监控指标排查配置变更或网络/存储问题解决方案健康检查失败扩容Pod、放宽探针阈值、修复中间件/网络容器异常退出监控内存使用分析OOM Dump文件二、微服务接口响应失败率高描述接口请求失败率高但部分请求成功表现接口频繁告警业务仍可运行影响业务异常、系统稳定性下降监控指标接口失败率告警规则指定时间内接口失败率 x%指定时间内接口失败次数 x常见原因依赖服务节点宕机带宽占用过高网络策略未开白/调整依赖服务GC异常排查步骤分析日志检查依赖服务节点状态CPU等测试网络带宽与连通性检查JVM信息线程池、GC停顿解决方案完善监控机制CPU/JVM/带宽等配置服务宕机告警建立依赖方问题同步机制三、数据库连接池获取超时描述服务接口大面积超时表现P99延迟、线程数激增、数据库负载高影响系统性能下降、请求失败、事务中断监控指标获取数据库连接池超时告警规则获取数据库连接池超时数量 1常见原因连接池配置不当最大连接数过小、超时过短数据库性能瓶颈网络延迟连接泄露未正确关闭排查步骤检查日志连接池错误监控数据库性能指标CPU/内存等验证连接池参数合理性测试网络连通性审查代码确保连接释放解决方案优化连接池配置调整最大连接数/超时时间提升数据库性能SQL优化、分库分表修复代码泄露问题引入连接池监控工具四、JVM内存OOM描述服务无法启动或Pod不定期重启表现CPU/内存/网络连接数异常升高影响系统性能下降、服务中断、资源耗尽监控指标IO、线程数、文件句柄数、内存告警规则各监控指标 x常见原因堆内存溢出对象过多、内存泄露方法区溢出类加载过多栈内存溢出递归过深、线程过多排查步骤定位报错信息如OutOfMemoryError使用top/jstat分析GC情况生成Dump文件分析内存泄漏解决方案优化代码减少对象创建、调整递归内存泄漏检测工具监控调整JVM参数堆大小、线程栈等五、MySQL数据库异常1. CPU占用率高描述系统响应慢、连接超限、查询性能下降影响性能下降、资源争用、稳定性风险监控指标cpu_usage_idle告警规则CPU使用率 70%原因慢查询、数据量大、硬件不足、高并发排查确认CPU占用率检查连接数SHOW PROCESSLIST分析慢SQLEXPLAIN解决优化SQL、调整配置、升级硬件2. 连接数过高描述响应延迟、Too many connections错误影响性能下降、资源耗尽、服务崩溃监控指标连接数占比告警规则连接数 最大连接数的80%原因连接泄露、连接池设置不当、长查询解决调整max_connections优化连接池引入缓存如Redis六、中间件异常Kafka消息堆积表现消费者延迟增大、Rebalance频繁影响消费缓慢、异步链路阻塞告警规则消息堆积数量超阈值原因消费者处理能力不足Partition过少生产速率过快解决调整max.poll.records降低单次拉取量扩容消费者或Partition配置堆积监控告警Nacos异常表现服务启动失败、配置更新延迟影响服务调用中断原因内存不足、版本冲突、网络问题排查检查Nacos服务状态测试网络连通性验证客户端版本一致性解决扩容Nacos资源规范配置拉取频率七、网络异常域名DNS解析失败表现UnknownHostException、服务错误率上升影响业务功能故障、资源消耗原因域名配置错误、DNS服务器故障解决检查Hosts文件/DNS配置清理本地DNS缓存配置日志监控告警端口不通表现ConnectException、SocketTimeoutException影响服务调用超时排查使用telnet/nc/ping测试端口检查防火墙规则解决修正防火墙策略确保目标服务端口监听正常