高可用之裂脑问题

什么是裂脑问题呢?

两个节点互相认为对方已挂掉,然后开始争抢共享资源,结果会导致系统混乱,数据损坏。这就是脑裂问题。

怎么产生的呢?

  • 高可用服务器之间心跳线链路故障,导致无法正常通信。

    • 心跳线坏了(包括断了,老化)。

    • 网卡即相关驱动坏了,IP配置及冲突问题(网卡直连)

    • 心跳线间连接的设备故障(网卡及交换机)

    • 仲裁的机器出问题(采用仲裁的方案)。

  • 高可用服务器对上开启了iptables防火墙阻挡了心跳信息传输。

  • 高可用服务器对上心跳网卡地址等信息配置不正确,导致发送心跳失败。

  • 其他服务器配置不当等原因,如心跳方式不同,心跳广播冲突,软件BUG

解决方案

  • 同时使用串行电缆和以太网电缆连接,同时用两条心跳线路,这样一条线路坏了,另一个还是好的,依然能传送心跳消息。

  • 当检测到裂脑时强行关闭一个心跳节点(这个功能需特殊设备支持,如fence,stonith)。相当于备节点接收不到心跳信息,发送关机命令通过单独的线路关闭主节点电源。

  • 做好对裂脑的监控报警(如邮件及手机短信等),在问题发生时人为的第一时间介入仲裁,降低损失。例如:百度的监控报警短信就有上行和下行的区别。报警信息到管理员手机上,就可以通过回复对应的字符串等操作就可以返回给服务器,让服务器根据指令自动执行处理相关故障

参考文章:http://blog.51cto.com/dadonggg/1948737

实例:裂脑检测脚本:

#!/bin/sh
while true
do
ping -c 2 -W 3 192.168.27.167 &> /dev/null
if[$? -eq 0 -a `ip add|grep 192.168.27.160|wc -l` -eq 1]
  then
    echo "split brain....."
else
    echo "HA is ok"
fi
sleep 5
done

如果能ping通另一个主机,而且本地有vip地址,就是裂脑。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 什么是裂脑 由于某些原因,导致两台高可用服务器之间在指定时间内,无法互相检测到对方心跳而各自启动故障转移功能,取得...
    _阿聪阅读 5,649评论 0 3
  • 专业考题类型管理运行工作负责人一般作业考题内容选项A选项B选项C选项D选项E选项F正确答案 变电单选GYSZ本规程...
    小白兔去钓鱼阅读 12,982评论 0 13
  • feisky云计算、虚拟化与Linux技术笔记posts - 1014, comments - 298, trac...
    不排版阅读 9,369评论 0 5
  • Keepalive:http://www.keepalived.org/《老男孩Linux运维》 Keepaliv...
    Zhang21阅读 10,440评论 0 10