原理图:
高可用:
最擅长的是为我们解决物理损坏
MHA Failover 原理
0.启动Manager
调用 masterha_manager 脚本启动manager程序
1.监控?
通过 masterha_master_monitor 心跳检测脚本,数据库节点,主要监控主库。
默认探测4次,每隔(ping interval=2)秒,如果主库还没有心跳,认为主库宕机,进入failover过程。(故障转移)
2 选主?
#1.优先级(主观) 如果在节点配置时(/etc/mha/app1.cnf 对应的[server2]此类节点下),加入了candidate_master=1 参数。
如果备选主,日志量落后master太多(默认是落后100M的日志量),也不会选择新主。
可以通过check_repl_delay=0,不检查日志落后的情况。
#2 日志量最接近主库
#3 日志量一样。配置文件顺序。
3.日志补偿
#情况1:ssh能连上,通过save_binary_logs
立即保存部分缺失部分的日志到从库并恢复
#情况2:ssh不能连,对比从库之间的relaylog的差异(apply_diff_relay_logs)
两个从库进行日志diff差异补偿。
4.主从身份切换,所有从库取消原有主库的复制关系(stop slave,reset slave all)
新主库和剩余从库从新构建主从关系。
5.故障库自动被剔除集群(master_conf_host配置信息去掉)
6.MHA是一次性高可用,Failover后,Manger自动退出.
以上是,MHA的基础环境所有具备的功能。
不足的地方有哪些?
0.应用透明
1.数据补偿
2.自动提醒
3.自愈功能
1) MHA + K8s + Operator
2) 8.0版本 MGR + mysqlsh
无状态服务: 没有数据的服务
4.应用透明vip功能
说明:只能同机房使用,无法跨机房网络
4.1配置参数(db03)
master_ip_failover_script=/usr/local/bin/master_ip_failover
注意:/usr/local/bin/master_ip_failover,必须事先准备好
修改脚本内容
vi /usr/local/bin/master_ip_failover
my $vip = '10.0.0.55/24';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip"; (eth0 三个节点网卡名称)
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";
master_ip_failover脚本里有中文字符,需要转换
安装工具:yum -y install dos2unix
进行转换:[root@later03/usr/local/bin]# dos2unix master_ip_failover
dos2unix: converting file master_ip_failover to Unix format ...
更改manager配置文件:
vi /etc/mha/app1.cnf添加:master_ip_failover_script=/usr/local/bin/master_ip_failover
加入执行权限 [root@db03~]# chmod +x /usr/local/bin/master_ip_failover
主库上,手工生成第一个vip地址
手工在主库上绑定vip,注意一定要和配置文件中的ethN一致,我的是eth0:1(1是key指定的值)
ifconfig eth0:1 10.0.0.55/24
重启mha
masterha_stop --conf=/etc/mha/app1.cnf
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null> /var/log/mha/app1/manager.log 2>&1 &
检测:
masterha_check_status --conf=/etc/mha/app1.cnf
注意:
keeplive 的话,需要candidate_master=1和check_repl_delay=0进行配合,
防止vip飘逸不再一个节点上。
5.数据补偿:
解决办法:找一台机器实时拉取主库的binlog日志,如果主库损坏,
那么也保证了主库完整的binlog用于进行从库的日志补偿。
binlogserver配置:找一台额外的机器,必须要有5.6以上的版本,支持gtid并开启,我们直接用的第二个slave(db03)
vim/etc/mha/app1.cnf
[binlog1]
no_master=1 --不参与选主
hostname=39.101.204.8
master_binlog_dir=/binlog/3306
创建必要目录
mkdir -p /data/mysql/binlog
chown -R mysql.mysql /data/*
修改完成后,将主库binlog拉过来(从000001开始拉,之后的binlog会自动按顺序过来)
拉取主库binlog日志
cd /data/mysql/binlog -----》必须进入到自己创建好的目录
mysqlbinlog -R --host=39.101.199.159 --user=mha --password=mha --raw --stop-never mysql-bin.000001 &
生产中:
show master status; 查看主库正在使用的binlog日志位置点
查看为:mysql-bin.000003
也可以先 flush logs;然后在进行拉取
直接拉取正在用的日志点以及以后的:
mysqlbinlog -R --host=39.101.199.159 --user=mha --password=mha --raw --stop-never mysql-bin.000003 &
注意:拉取日志的起点,需要按照目前从库的已经获取到的二进制日志点为起点
重启mha:
masterha_stop --conf=/etc/mha/app1.cnf
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null> /var/log/mha/app1/manager.log 2>&1 &
检测:
masterha_check_status --conf=/etc/mha/app1.cnf
6.邮件提醒
1.参数:report_script=/usr/local/bin/send
2.准备邮件脚本send_report
(1)准备发邮件的脚本(上传 email_2019-最新.zip中的脚本,拷贝到/usr/local/bin/中)
cp -a * /usr/local/bin/
赋予执行权限:
chmod +x *
修改脚本,邮箱信息
注意:这里因为阿里云屏蔽了邮箱的25端口,导致不能使用linux自带的工具,所以没能用上老师提供的脚本,这里自己写了一个python脚本 test.py 然后集成到 send 脚本 进行调用.
[root@later03/data/mysql/binlog]# cat /usr/local/bin/send
#! /usr/bin/perl -w
system ("python3 /usr/local/bin/test.py")
(2)将准备好的脚本添加到mha配置文件中,让其调用
3.修改manager配置文件,调用邮件脚本
vi/etc/mha/app1.cnf
report_script=/usr/local/bin/send
(3)停止MHA masterha_stop --conf=/etc/mha/app1.cnf
(4)开启MHA nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null> /var/log/mha/app1/manager.log 2>&1 &
(5)关闭主库,看警告邮件
7.测试MHA的功能
宕机主库测试
测试查看vip
查看邮件
切换日志
故障库是否剔除
8.故障修复思路
# 1.排查进程状态
故障修复:
1.恢复故障节点
(1)实例宕掉/etc/init.d/mysqld start
(2)主机损坏,有可能数据也损坏了备份并恢复故障节点。
2.恢复主从环境看日志文件:CHANGEMASTERTOMASTER_HOST='10.0.0.52',MASTER_PORT=3306,MASTER_AUTO_POSITION=1,MASTER_USER='repl',MASTER_PASSWORD='123';
start slave;
3.恢复manager
3.1修好的故障节点配置信息,加入到配置文件
[server1]hostname=10.0.0.51
port=3306
3.2启动
manager: nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null> /var/log/mha/app1/manager.log 2>&1 &
网友评论