问题描述

金蝶云苍穹系统使用三层缓存机制来提供系统性能，redis缓存就是其中之一。在系统使用redis过程中往往不可避免会有一些慢查询，而慢查询就会影响redis的性能了，甚至会影响哨兵集群的状态从而使redis服务不可用。

举例场景：某客户每天半夜有大量库存的调度任务，其中会使用redis进行缓存数据，每天凌晨0点-4点业务日志都会出现：redis write error 或者出现  redis Read time out 错误，后发现是redis主从频繁切换导致。

redis哨兵频繁切换主从日志

频繁切换主从后

导致哨兵出现脑裂情况

原因分析

从redis慢日志中查看确实有耗时非常长的慢查询：

由于redis是单线程运行的，如果有命令超过3秒，哨兵心跳检查就会失败，最终导致频繁切换主从和脑裂情况。

解决方案

优化哨兵心跳检查间隔参数：从3秒改为30秒，默认是30秒

# vi sentinel-7505.conf

sentinel down-after-milliseconds mymaster 30000

修改完成后重启sentinel服务（哨兵依次修改并重启）

# systemctl restart sentinel-7505

重启哨兵服务后查看配置文件是否修改生效

tips：另外两套也可以一并修改： sentinel-7506 和 sentinel-7507