-
当系统不再提供与其规范一致的服务时,故障就发生了,可用性就是指系统修复故障的能力,它关注的方面包括如何检测系统故障,系统故障发生的频度,出现故障发生什么情况,允许系统有多长时间非正常运行,什么时候可以安全地出现故障等。
-
衡量系统的可用性可以用公式 MTBF/(MTBF+MTTR),其中MTBF为系统出错的时间间隔也就是平均正常工作时间,而MTTR表示系统修复错误用的时间。当然上面的公式计算出的结果越大表示系统的可用性越好。
-
故障和错误的区别是:如果不对错误采取解决措施,错误最终就会变成系统故障。
-
可用性的一般场景
-
源
系统内部,系统外部:人,硬件,软件,物理架构,物理环境
-
刺激(触发事件)
错误:疏忽,崩溃,时间,响应
-
制品
系统的处理器,通信通道,持久存储器,进程
-
环境
正常操作,启动,关闭,修复模式,降级操作,过载操作
-
响应
- 在错误变成故障之前,检测出错误
- 记录错误
- 通知相关的人和系统
- 从故障中进行修复
- 禁止导致故障的事件源
- 在一段预先制定的时间间隔内不可用,在这段时间内对系统进行检修
- 对错误或者故障进行修复,或者就用鸵鸟策略让它处于故障不做处理当作故障没有发生
- 进行降级操作
- 在错误变成故障之前,检测出错误
-
响应度量
- 系统必须可用的时间间隔
- 可用性(以百分比的形式)
- 检测故障的时间
- 修复故障的时间
- 系统可以在降级模式下运行的时间
- 系统不用当机就可以从错误中恢复的比例
-
-
可用性战术
-
就像上面说的,错误可能会导致故障的发生,而可用性战术将会阻止错误发展成为故障,至少能把错误的影响限制在一定范围内,从而使修复成为可能。
错误->控制可用性的战术->所屏蔽的错误或所做的修复
下面主要就是讨论的可用性战术就主要针对错误的检测,错误的恢复和错误的预防
-
错误的检测
-
Ping/echo
通过系统监视器发出Ping请求来探测服务的通信路径是不是通的,某个组件是不是还在工作。
-
监视(Monitor)
通过使用一个监视器的组件来检测其他组件的健康状况。
-
心跳(Heartbeat)
通过组建定区发出一个心跳信息,来主动的告诉系统它正在工作。
-
时间戳(Time stamp)
这个策略是用来探测事件到达的顺序
-
健康检测(sanity checking)
检测组件的某一个操作或者输出的有效性
-
条件监视(Condition monitoring)
对特定条件进行检测,比如检验和。
-
投票(Voting)
使用冗余的组件做同一件事情,以相同的输入,如果产生不同的输出,则忽略少数,采纳多数的结果。
-
异常检测(Exception detection)
对保证系统正常运行的条件的检测
-
自检(Self-test)
对自身资源,依赖库和硬件的检测
-
-
从错误中恢复
有的时候不一定从一开始就检测到有错误发生,那就需要在错误发生后有恢复机制,恢复机制包括以下两种形式。
-
准备和修复策略(Preparation and repair tactics)
-
在运行过程中同时处理所有备份和主模块(Active redundancy)
虽然只是把主模块展示给客户,但备份的组件也在运行,和主模块保持同步
-
定期对备份进行更新(Passive redundancy)
主模块在运行的过程中,不要求备份的数据实时和主模块保持一致,而是定期对备份的数据进行更新
-
冷处理(Spare)
表示不会对备份进行更新,只是在主模块当掉的时候,启用备份,意味着从头开始,因为备份没有任何同步的数据
-
异常处理
当检测到有异常发生时,针对这个异常有一定的措施,不至于异常导致错误使整个系统都不能正常工作
-
回滚(rollback)
就是让系统回滚到之前好的版本运行
-
软件升级(software upgrade)
不停止服务的对软件进行升级,来满足对新特性和可用性的支持
-
重试(Retry)
-
忽略错误的行为(ignore faulty behavior)
-
退化操作(degradation)
只保持重要功能部分,这样保证出现的只是部分功能性问题,不会影响整个系统
-
重新配置(Reconfiguration)
-
-
在从错误中恢复后进行重启(Reintroduction)
-
shadow
在正式加入系统前,先尝试运行,并对这段时间的运行过程进行监控和修正
-
状态重新同步
适用于前面讲的active redundancy 和 passive redundancy
-
逐步重启(Escalation)
-
Non-stop-forwarding
就是在不停止对外服务的情况下,对部分功能进行重启
-
-
-
错误的预防
相比于检测系统发生的错误和发生错误后对系统的恢复来说,也可以从一开始就禁止错误的发生
-
直接从服务中将某个部件移除
-
事务
参考数据库出错的恢复机制,就是记录系统的一系列的步骤,出错了可以有序的撤销
-
预测模型
通过监控系统的健康状况来保证系统正在正常的方向上运行,一旦出错,立即停止
-
阻止异常
使用try-catch,这样即使发生了异常,系统自动执行catch中的操作,保证系统正常运行
-
增加系统的能力
增强系统处理各种错误异常的能力,确保在不报错和异常的情况下坚强的运行下去
-
-
网友评论